test/CodeGen/X86/pmul.ll

   1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown | FileCheck %s --check-prefix=ALL --check-prefix=SSE2
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=sse4.1 | FileCheck %s --check-prefix=ALL --check-prefix=SSE41
   3
   4 define <16 x i8> @mul8c(<16 x i8> %i) nounwind  {
   5 ; SSE2-LABEL: mul8c:
   6 ; SSE2:       # BB#0: # %entry
   7 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [117,117,117,117,117,117,117,117,117,117,117,117,117,117,117,117]
   8 ; SSE2-NEXT:    psraw $8, %xmm1
   9 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
  10 ; SSE2-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
  11 ; SSE2-NEXT:    psraw $8, %xmm2
  12 ; SSE2-NEXT:    pmullw %xmm1, %xmm2
  13 ; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [255,255,255,255,255,255,255,255]
  14 ; SSE2-NEXT:    pand %xmm3, %xmm2
  15 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
  16 ; SSE2-NEXT:    psraw $8, %xmm0
  17 ; SSE2-NEXT:    pmullw %xmm1, %xmm0
  18 ; SSE2-NEXT:    pand %xmm3, %xmm0
  19 ; SSE2-NEXT:    packuswb %xmm2, %xmm0
  20 ; SSE2-NEXT:    retq
  21 ;
  22 ; SSE41-LABEL: mul8c:
  23 ; SSE41:       # BB#0: # %entry
  24 ; SSE41-NEXT:    pmovsxbw %xmm0, %xmm1
  25 ; SSE41-NEXT:    pmovsxbw {{.*}}(%rip), %xmm2
  26 ; SSE41-NEXT:    pmullw %xmm2, %xmm1
  27 ; SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [255,255,255,255,255,255,255,255]
  28 ; SSE41-NEXT:    pand %xmm3, %xmm1
  29 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
  30 ; SSE41-NEXT:    pmovsxbw %xmm0, %xmm0
  31 ; SSE41-NEXT:    pmullw %xmm2, %xmm0
  32 ; SSE41-NEXT:    pand %xmm3, %xmm0
  33 ; SSE41-NEXT:    packuswb %xmm0, %xmm1
  34 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
  35 ; SSE41-NEXT:    retq
  36 entry:
  37   %A = mul <16 x i8> %i, < i8 117, i8 117, i8 117, i8 117, i8 117, i8 117, i8 117, i8 117, i8 117, i8 117, i8 117, i8 117, i8 117, i8 117, i8 117, i8 117 >
  38   ret <16 x i8> %A
  39 }
  40
  41 define <8 x i16> @mul16c(<8 x i16> %i) nounwind  {
  42 ; ALL-LABEL: mul16c:
  43 ; ALL:       # BB#0: # %entry
  44 ; ALL-NEXT:    pmullw {{.*}}(%rip), %xmm0
  45 ; ALL-NEXT:    retq
  46 entry:
  47   %A = mul <8 x i16> %i, < i16 117, i16 117, i16 117, i16 117, i16 117, i16 117, i16 117, i16 117 >
  48   ret <8 x i16> %A
  49 }
  50
  51 define <4 x i32> @a(<4 x i32> %i) nounwind  {
  52 ; SSE2-LABEL: a:
  53 ; SSE2:       # BB#0: # %entry
  54 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [117,117,117,117]
  55 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
  56 ; SSE2-NEXT:    pmuludq %xmm1, %xmm0
  57 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
  58 ; SSE2-NEXT:    pmuludq %xmm1, %xmm2
  59 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
  60 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
  61 ; SSE2-NEXT:    retq
  62 ;
  63 ; SSE41-LABEL: a:
  64 ; SSE41:       # BB#0: # %entry
  65 ; SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
  66 ; SSE41-NEXT:    retq
  67 entry:
  68   %A = mul <4 x i32> %i, < i32 117, i32 117, i32 117, i32 117 >
  69   ret <4 x i32> %A
  70 }
  71
  72 define <2 x i64> @b(<2 x i64> %i) nounwind  {
  73 ; ALL-LABEL: b:
  74 ; ALL:       # BB#0: # %entry
  75 ; ALL-NEXT:    movdqa {{.*#+}} xmm1 = [117,117]
  76 ; ALL-NEXT:    movdqa %xmm0, %xmm2
  77 ; ALL-NEXT:    pmuludq %xmm1, %xmm2
  78 ; ALL-NEXT:    pxor %xmm3, %xmm3
  79 ; ALL-NEXT:    pmuludq %xmm0, %xmm3
  80 ; ALL-NEXT:    psllq $32, %xmm3
  81 ; ALL-NEXT:    paddq %xmm3, %xmm2
  82 ; ALL-NEXT:    psrlq $32, %xmm0
  83 ; ALL-NEXT:    pmuludq %xmm1, %xmm0
  84 ; ALL-NEXT:    psllq $32, %xmm0
  85 ; ALL-NEXT:    paddq %xmm2, %xmm0
  86 ; ALL-NEXT:    retq
  87 entry:
  88   %A = mul <2 x i64> %i, < i64 117, i64 117 >
  89   ret <2 x i64> %A
  90 }
  91
  92 define <16 x i8> @mul8(<16 x i8> %i, <16 x i8> %j) nounwind  {
  93 ; SSE2-LABEL: mul8:
  94 ; SSE2:       # BB#0: # %entry
  95 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
  96 ; SSE2-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
  97 ; SSE2-NEXT:    psraw $8, %xmm2
  98 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
  99 ; SSE2-NEXT:    punpckhbw {{.*#+}} xmm3 = xmm3[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 100 ; SSE2-NEXT:    psraw $8, %xmm3
 101 ; SSE2-NEXT:    pmullw %xmm2, %xmm3
 102 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255]
 103 ; SSE2-NEXT:    pand %xmm2, %xmm3
 104 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 105 ; SSE2-NEXT:    psraw $8, %xmm1
 106 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 107 ; SSE2-NEXT:    psraw $8, %xmm0
 108 ; SSE2-NEXT:    pmullw %xmm1, %xmm0
 109 ; SSE2-NEXT:    pand %xmm2, %xmm0
 110 ; SSE2-NEXT:    packuswb %xmm3, %xmm0
 111 ; SSE2-NEXT:    retq
 112 ;
 113 ; SSE41-LABEL: mul8:
 114 ; SSE41:       # BB#0: # %entry
 115 ; SSE41-NEXT:    pmovsxbw %xmm1, %xmm3
 116 ; SSE41-NEXT:    pmovsxbw %xmm0, %xmm2
 117 ; SSE41-NEXT:    pmullw %xmm3, %xmm2
 118 ; SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [255,255,255,255,255,255,255,255]
 119 ; SSE41-NEXT:    pand %xmm3, %xmm2
 120 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
 121 ; SSE41-NEXT:    pmovsxbw %xmm1, %xmm1
 122 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
 123 ; SSE41-NEXT:    pmovsxbw %xmm0, %xmm0
 124 ; SSE41-NEXT:    pmullw %xmm1, %xmm0
 125 ; SSE41-NEXT:    pand %xmm3, %xmm0
 126 ; SSE41-NEXT:    packuswb %xmm0, %xmm2
 127 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 128 ; SSE41-NEXT:    retq
 129 entry:
 130   %A = mul <16 x i8> %i, %j
 131   ret <16 x i8> %A
 132 }
 133
 134 define <8 x i16> @mul16(<8 x i16> %i, <8 x i16> %j) nounwind  {
 135 ; ALL-LABEL: mul16:
 136 ; ALL:       # BB#0: # %entry
 137 ; ALL-NEXT:    pmullw %xmm1, %xmm0
 138 ; ALL-NEXT:    retq
 139 entry:
 140   %A = mul <8 x i16> %i, %j
 141   ret <8 x i16> %A
 142 }
 143
 144 define <4 x i32> @c(<4 x i32> %i, <4 x i32> %j) nounwind  {
 145 ; SSE2-LABEL: c:
 146 ; SSE2:       # BB#0: # %entry
 147 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 148 ; SSE2-NEXT:    pmuludq %xmm1, %xmm0
 149 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 150 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 151 ; SSE2-NEXT:    pmuludq %xmm2, %xmm1
 152 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 153 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 154 ; SSE2-NEXT:    retq
 155 ;
 156 ; SSE41-LABEL: c:
 157 ; SSE41:       # BB#0: # %entry
 158 ; SSE41-NEXT:    pmulld %xmm1, %xmm0
 159 ; SSE41-NEXT:    retq
 160 entry:
 161   %A = mul <4 x i32> %i, %j
 162   ret <4 x i32> %A
 163 }
 164
 165 define <2 x i64> @d(<2 x i64> %i, <2 x i64> %j) nounwind  {
 166 ; ALL-LABEL: d:
 167 ; ALL:       # BB#0: # %entry
 168 ; ALL-NEXT:    movdqa %xmm0, %xmm2
 169 ; ALL-NEXT:    pmuludq %xmm1, %xmm2
 170 ; ALL-NEXT:    movdqa %xmm1, %xmm3
 171 ; ALL-NEXT:    psrlq $32, %xmm3
 172 ; ALL-NEXT:    pmuludq %xmm0, %xmm3
 173 ; ALL-NEXT:    psllq $32, %xmm3
 174 ; ALL-NEXT:    paddq %xmm3, %xmm2
 175 ; ALL-NEXT:    psrlq $32, %xmm0
 176 ; ALL-NEXT:    pmuludq %xmm1, %xmm0
 177 ; ALL-NEXT:    psllq $32, %xmm0
 178 ; ALL-NEXT:    paddq %xmm2, %xmm0
 179 ; ALL-NEXT:    retq
 180 entry:
 181   %A = mul <2 x i64> %i, %j
 182   ret <2 x i64> %A
 183 }
 184
 185 declare void @foo()
 186
 187 define <4 x i32> @e(<4 x i32> %i, <4 x i32> %j) nounwind  {
 188 ; SSE2-LABEL: e:
 189 ; SSE2:       # BB#0: # %entry
 190 ; SSE2-NEXT:    subq $40, %rsp
 191 ; SSE2-NEXT:    movaps %xmm1, {{[0-9]+}}(%rsp) # 16-byte Spill
 192 ; SSE2-NEXT:    movaps %xmm0, (%rsp) # 16-byte Spill
 193 ; SSE2-NEXT:    callq foo
 194 ; SSE2-NEXT:    movdqa (%rsp), %xmm0 # 16-byte Reload
 195 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 196 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm2 # 16-byte Reload
 197 ; SSE2-NEXT:    pmuludq %xmm2, %xmm0
 198 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 199 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 200 ; SSE2-NEXT:    pmuludq %xmm1, %xmm2
 201 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 202 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 203 ; SSE2-NEXT:    addq $40, %rsp
 204 ; SSE2-NEXT:    retq
 205 ;
 206 ; SSE41-LABEL: e:
 207 ; SSE41:       # BB#0: # %entry
 208 ; SSE41-NEXT:    subq $40, %rsp
 209 ; SSE41-NEXT:    movaps %xmm1, {{[0-9]+}}(%rsp) # 16-byte Spill
 210 ; SSE41-NEXT:    movaps %xmm0, (%rsp) # 16-byte Spill
 211 ; SSE41-NEXT:    callq foo
 212 ; SSE41-NEXT:    movdqa (%rsp), %xmm0 # 16-byte Reload
 213 ; SSE41-NEXT:    pmulld {{[0-9]+}}(%rsp), %xmm0 # 16-byte Folded Reload
 214 ; SSE41-NEXT:    addq $40, %rsp
 215 ; SSE41-NEXT:    retq
 216 entry:
 217   ; Use a call to force spills.
 218   call void @foo()
 219   %A = mul <4 x i32> %i, %j
 220   ret <4 x i32> %A
 221 }
 222
 223 define <2 x i64> @f(<2 x i64> %i, <2 x i64> %j) nounwind  {
 224 ; ALL-LABEL: f:
 225 ; ALL:       # BB#0: # %entry
 226 ; ALL-NEXT:    subq $40, %rsp
 227 ; ALL-NEXT:    movaps %xmm1, {{[0-9]+}}(%rsp) # 16-byte Spill
 228 ; ALL-NEXT:    movaps %xmm0, (%rsp) # 16-byte Spill
 229 ; ALL-NEXT:    callq foo
 230 ; ALL-NEXT:    movdqa (%rsp), %xmm0 # 16-byte Reload
 231 ; ALL-NEXT:    movdqa %xmm0, %xmm2
 232 ; ALL-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm3 # 16-byte Reload
 233 ; ALL-NEXT:    pmuludq %xmm3, %xmm2
 234 ; ALL-NEXT:    movdqa %xmm3, %xmm1
 235 ; ALL-NEXT:    psrlq $32, %xmm1
 236 ; ALL-NEXT:    pmuludq %xmm0, %xmm1
 237 ; ALL-NEXT:    psllq $32, %xmm1
 238 ; ALL-NEXT:    paddq %xmm1, %xmm2
 239 ; ALL-NEXT:    psrlq $32, %xmm0
 240 ; ALL-NEXT:    pmuludq %xmm3, %xmm0
 241 ; ALL-NEXT:    psllq $32, %xmm0
 242 ; ALL-NEXT:    paddq %xmm2, %xmm0
 243 ; ALL-NEXT:    addq $40, %rsp
 244 ; ALL-NEXT:    retq
 245 entry:
 246   ; Use a call to force spills.
 247   call void @foo()
 248   %A = mul <2 x i64> %i, %j
 249   ret <2 x i64> %A
 250 }