arch/i386/atomic_arch.h

   1 #define a_ctz_64 a_ctz_64
   2 static inline int a_ctz_64(uint64_t x)
   3 {
   4         int r;
   5         __asm__( "bsf %1,%0 ; jnz 1f ; bsf %2,%0 ; addl $32,%0\n1:"
   6                 : "=&r"(r) : "r"((unsigned)x), "r"((unsigned)(x>>32)) );
   7         return r;
   8 }
   9
  10 #define a_ctz_l a_ctz_l
  11 static inline int a_ctz_l(unsigned long x)
  12 {
  13         long r;
  14         __asm__( "bsf %1,%0" : "=r"(r) : "r"(x) );
  15         return r;
  16 }
  17
  18 #define a_and_64 a_and_64
  19 static inline void a_and_64(volatile uint64_t *p, uint64_t v)
  20 {
  21         __asm__( "lock ; andl %1, (%0) ; lock ; andl %2, 4(%0)"
  22                 : : "r"((long *)p), "r"((unsigned)v), "r"((unsigned)(v>>32)) : "memory" );
  23 }
  24
  25 #define a_or_64 a_or_64
  26 static inline void a_or_64(volatile uint64_t *p, uint64_t v)
  27 {
  28         __asm__( "lock ; orl %1, (%0) ; lock ; orl %2, 4(%0)"
  29                 : : "r"((long *)p), "r"((unsigned)v), "r"((unsigned)(v>>32)) : "memory" );
  30 }
  31
  32 #define a_or_l a_or_l
  33 static inline void a_or_l(volatile void *p, long v)
  34 {
  35         __asm__( "lock ; orl %1, %0"
  36                 : "=m"(*(long *)p) : "r"(v) : "memory" );
  37 }
  38
  39 #define a_cas a_cas
  40 static inline int a_cas(volatile int *p, int t, int s)
  41 {
  42         __asm__( "lock ; cmpxchg %3, %1"
  43                 : "=a"(t), "=m"(*p) : "a"(t), "r"(s) : "memory" );
  44         return t;
  45 }
  46
  47 #define a_or a_or
  48 static inline void a_or(volatile int *p, int v)
  49 {
  50         __asm__( "lock ; orl %1, %0"
  51                 : "=m"(*p) : "r"(v) : "memory" );
  52 }
  53
  54 #define a_and a_and
  55 static inline void a_and(volatile int *p, int v)
  56 {
  57         __asm__( "lock ; andl %1, %0"
  58                 : "=m"(*p) : "r"(v) : "memory" );
  59 }
  60
  61 #define a_swap a_swap
  62 static inline int a_swap(volatile int *x, int v)
  63 {
  64         __asm__( "xchg %0, %1" : "=r"(v), "=m"(*x) : "0"(v) : "memory" );
  65         return v;
  66 }
  67
  68 #define a_fetch_add a_fetch_add
  69 static inline int a_fetch_add(volatile int *x, int v)
  70 {
  71         __asm__( "lock ; xadd %0, %1" : "=r"(v), "=m"(*x) : "0"(v) : "memory" );
  72         return v;
  73 }
  74
  75 #define a_inc a_inc
  76 static inline void a_inc(volatile int *x)
  77 {
  78         __asm__( "lock ; incl %0" : "=m"(*x) : "m"(*x) : "memory" );
  79 }
  80
  81 #define a_dec a_dec
  82 static inline void a_dec(volatile int *x)
  83 {
  84         __asm__( "lock ; decl %0" : "=m"(*x) : "m"(*x) : "memory" );
  85 }
  86
  87 #define a_store a_store
  88 static inline void a_store(volatile int *p, int x)
  89 {
  90         __asm__( "movl %1, %0 ; lock ; orl $0,(%%esp)" : "=m"(*p) : "r"(x) : "memory" );
  91 }
  92
  93 #define a_spin a_spin
  94 static inline void a_spin()
  95 {
  96         __asm__ __volatile__( "pause" : : : "memory" );
  97 }
  98
  99 #define a_barrier a_barrier
 100 static inline void a_barrier()
 101 {
 102         __asm__ __volatile__( "" : : : "memory" );
 103 }
 104
 105 #define a_crash a_crash
 106 static inline void a_crash()
 107 {
 108         __asm__ __volatile__( "hlt" : : : "memory" );
 109 }