arch/powerpc/include/asm/tlb.h

   1 /* SPDX-License-Identifier: GPL-2.0-or-later */
   2 /*
   3  *      TLB shootdown specifics for powerpc
   4  *
   5  * Copyright (C) 2002 Anton Blanchard, IBM Corp.
   6  * Copyright (C) 2002 Paul Mackerras, IBM Corp.
   7  */
   8 #ifndef _ASM_POWERPC_TLB_H
   9 #define _ASM_POWERPC_TLB_H
  10 #ifdef __KERNEL__
  11
  12 #ifndef __powerpc64__
  13 #include <asm/pgtable.h>
  14 #endif
  15 #include <asm/pgalloc.h>
  16 #ifndef __powerpc64__
  17 #include <asm/page.h>
  18 #include <asm/mmu.h>
  19 #endif
  20
  21 #include <linux/pagemap.h>
  22
  23 #define tlb_start_vma(tlb, vma) do { } while (0)
  24 #define tlb_end_vma(tlb, vma)   do { } while (0)
  25 #define __tlb_remove_tlb_entry  __tlb_remove_tlb_entry
  26
  27 #define tlb_flush tlb_flush
  28 extern void tlb_flush(struct mmu_gather *tlb);
  29
  30 /* Get the generic bits... */
  31 #include <asm-generic/tlb.h>
  32
  33 extern void flush_hash_entry(struct mm_struct *mm, pte_t *ptep,
  34                              unsigned long address);
  35
  36 static inline void __tlb_remove_tlb_entry(struct mmu_gather *tlb, pte_t *ptep,
  37                                           unsigned long address)
  38 {
  39 #ifdef CONFIG_PPC_BOOK3S_32
  40         if (pte_val(*ptep) & _PAGE_HASHPTE)
  41                 flush_hash_entry(tlb->mm, ptep, address);
  42 #endif
  43 }
  44
  45 #ifdef CONFIG_SMP
  46 static inline int mm_is_core_local(struct mm_struct *mm)
  47 {
  48         return cpumask_subset(mm_cpumask(mm),
  49                               topology_sibling_cpumask(smp_processor_id()));
  50 }
  51
  52 #ifdef CONFIG_PPC_BOOK3S_64
  53 static inline int mm_is_thread_local(struct mm_struct *mm)
  54 {
  55         if (atomic_read(&mm->context.active_cpus) > 1)
  56                 return false;
  57         return cpumask_test_cpu(smp_processor_id(), mm_cpumask(mm));
  58 }
  59 static inline void mm_reset_thread_local(struct mm_struct *mm)
  60 {
  61         WARN_ON(atomic_read(&mm->context.copros) > 0);
  62         /*
  63          * It's possible for mm_access to take a reference on mm_users to
  64          * access the remote mm from another thread, but it's not allowed
  65          * to set mm_cpumask, so mm_users may be > 1 here.
  66          */
  67         WARN_ON(current->mm != mm);
  68         atomic_set(&mm->context.active_cpus, 1);
  69         cpumask_clear(mm_cpumask(mm));
  70         cpumask_set_cpu(smp_processor_id(), mm_cpumask(mm));
  71 }
  72 #else /* CONFIG_PPC_BOOK3S_64 */
  73 static inline int mm_is_thread_local(struct mm_struct *mm)
  74 {
  75         return cpumask_equal(mm_cpumask(mm),
  76                               cpumask_of(smp_processor_id()));
  77 }
  78 #endif /* !CONFIG_PPC_BOOK3S_64 */
  79
  80 #else /* CONFIG_SMP */
  81 static inline int mm_is_core_local(struct mm_struct *mm)
  82 {
  83         return 1;
  84 }
  85
  86 static inline int mm_is_thread_local(struct mm_struct *mm)
  87 {
  88         return 1;
  89 }
  90 #endif
  91
  92 #endif /* __KERNEL__ */
  93 #endif /* __ASM_POWERPC_TLB_H */