1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
2 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-apple-darwin -mattr=sse2 | FileCheck %s --check-prefixes=SSE,SSE2
3 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-apple-darwin -mattr=sse4.2 | FileCheck %s --check-prefixes=SSE,SSE42
4 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-apple-darwin -mattr=avx | FileCheck %s --check-prefixes=AVX,AVX1OR2,AVX1
5 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-apple-darwin -mattr=avx2 | FileCheck %s --check-prefixes=AVX,AVX1OR2,AVX2
6 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-apple-darwin -mattr=avx512f | FileCheck %s --check-prefixes=AVX,AVX512,AVX512F
7 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-apple-darwin -mattr=avx512f,avx512dq,avx512vl | FileCheck %s --check-prefixes=AVX,AVX512,AVX512VL,AVX512VLDQ
8 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-apple-darwin -mattr=avx512f,avx512bw,avx512vl | FileCheck %s --check-prefixes=AVX,AVX512,AVX512VL,AVX512VLBW
14 define <1 x double> @load_v1f64_v1i64(<1 x i64> %trigger, <1 x double>* %addr, <1 x double> %dst) {
15 ; SSE-LABEL: load_v1f64_v1i64:
17 ; SSE-NEXT: testq %rdi, %rdi
18 ; SSE-NEXT: jne LBB0_2
19 ; SSE-NEXT: ## %bb.1: ## %cond.load
20 ; SSE-NEXT: movsd {{.*#+}} xmm0 = mem[0],zero
21 ; SSE-NEXT: LBB0_2: ## %else
24 ; AVX-LABEL: load_v1f64_v1i64:
26 ; AVX-NEXT: testq %rdi, %rdi
27 ; AVX-NEXT: jne LBB0_2
28 ; AVX-NEXT: ## %bb.1: ## %cond.load
29 ; AVX-NEXT: vmovsd {{.*#+}} xmm0 = mem[0],zero
30 ; AVX-NEXT: LBB0_2: ## %else
32 %mask = icmp eq <1 x i64> %trigger, zeroinitializer
33 %res = call <1 x double> @llvm.masked.load.v1f64.p0v1f64(<1 x double>* %addr, i32 4, <1 x i1> %mask, <1 x double> %dst)
37 define <2 x double> @load_v2f64_v2i64(<2 x i64> %trigger, <2 x double>* %addr, <2 x double> %dst) {
38 ; SSE2-LABEL: load_v2f64_v2i64:
40 ; SSE2-NEXT: pxor %xmm2, %xmm2
41 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm2
42 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm2[1,0,3,2]
43 ; SSE2-NEXT: pand %xmm2, %xmm0
44 ; SSE2-NEXT: movd %xmm0, %eax
45 ; SSE2-NEXT: testb $1, %al
46 ; SSE2-NEXT: je LBB1_2
47 ; SSE2-NEXT: ## %bb.1: ## %cond.load
48 ; SSE2-NEXT: movlpd {{.*#+}} xmm1 = mem[0],xmm1[1]
49 ; SSE2-NEXT: LBB1_2: ## %else
50 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
51 ; SSE2-NEXT: testb $1, %al
52 ; SSE2-NEXT: je LBB1_4
53 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
54 ; SSE2-NEXT: movhpd {{.*#+}} xmm1 = xmm1[0],mem[0]
55 ; SSE2-NEXT: LBB1_4: ## %else2
56 ; SSE2-NEXT: movapd %xmm1, %xmm0
59 ; SSE42-LABEL: load_v2f64_v2i64:
61 ; SSE42-NEXT: pxor %xmm2, %xmm2
62 ; SSE42-NEXT: pcmpeqq %xmm0, %xmm2
63 ; SSE42-NEXT: pextrb $0, %xmm2, %eax
64 ; SSE42-NEXT: testb $1, %al
65 ; SSE42-NEXT: je LBB1_2
66 ; SSE42-NEXT: ## %bb.1: ## %cond.load
67 ; SSE42-NEXT: movlpd {{.*#+}} xmm1 = mem[0],xmm1[1]
68 ; SSE42-NEXT: LBB1_2: ## %else
69 ; SSE42-NEXT: pextrb $8, %xmm2, %eax
70 ; SSE42-NEXT: testb $1, %al
71 ; SSE42-NEXT: je LBB1_4
72 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
73 ; SSE42-NEXT: movhpd {{.*#+}} xmm1 = xmm1[0],mem[0]
74 ; SSE42-NEXT: LBB1_4: ## %else2
75 ; SSE42-NEXT: movapd %xmm1, %xmm0
78 ; AVX1OR2-LABEL: load_v2f64_v2i64:
80 ; AVX1OR2-NEXT: vpxor %xmm2, %xmm2, %xmm2
81 ; AVX1OR2-NEXT: vpcmpeqq %xmm2, %xmm0, %xmm0
82 ; AVX1OR2-NEXT: vmaskmovpd (%rdi), %xmm0, %xmm2
83 ; AVX1OR2-NEXT: vblendvpd %xmm0, %xmm2, %xmm1, %xmm0
86 ; AVX512F-LABEL: load_v2f64_v2i64:
88 ; AVX512F-NEXT: ## kill: def $xmm1 killed $xmm1 def $zmm1
89 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 def $zmm0
90 ; AVX512F-NEXT: vptestnmq %zmm0, %zmm0, %k0
91 ; AVX512F-NEXT: kshiftlw $14, %k0, %k0
92 ; AVX512F-NEXT: kshiftrw $14, %k0, %k1
93 ; AVX512F-NEXT: vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
94 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 killed $zmm0
95 ; AVX512F-NEXT: vzeroupper
98 ; AVX512VL-LABEL: load_v2f64_v2i64:
100 ; AVX512VL-NEXT: vptestnmq %xmm0, %xmm0, %k1
101 ; AVX512VL-NEXT: vblendmpd (%rdi), %xmm1, %xmm0 {%k1}
102 ; AVX512VL-NEXT: retq
103 %mask = icmp eq <2 x i64> %trigger, zeroinitializer
104 %res = call <2 x double> @llvm.masked.load.v2f64.p0v2f64(<2 x double>* %addr, i32 4, <2 x i1> %mask, <2 x double> %dst)
105 ret <2 x double> %res
108 define <4 x double> @load_v4f64_v4i32(<4 x i32> %trigger, <4 x double>* %addr, <4 x double> %dst) {
109 ; SSE2-LABEL: load_v4f64_v4i32:
111 ; SSE2-NEXT: pxor %xmm3, %xmm3
112 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm3
113 ; SSE2-NEXT: movd %xmm3, %eax
114 ; SSE2-NEXT: testb $1, %al
115 ; SSE2-NEXT: je LBB2_2
116 ; SSE2-NEXT: ## %bb.1: ## %cond.load
117 ; SSE2-NEXT: movlpd {{.*#+}} xmm1 = mem[0],xmm1[1]
118 ; SSE2-NEXT: LBB2_2: ## %else
119 ; SSE2-NEXT: pextrw $2, %xmm3, %eax
120 ; SSE2-NEXT: testb $1, %al
121 ; SSE2-NEXT: je LBB2_4
122 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
123 ; SSE2-NEXT: movhpd {{.*#+}} xmm1 = xmm1[0],mem[0]
124 ; SSE2-NEXT: LBB2_4: ## %else2
125 ; SSE2-NEXT: pxor %xmm3, %xmm3
126 ; SSE2-NEXT: pcmpeqd %xmm3, %xmm0
127 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
128 ; SSE2-NEXT: testb $1, %al
129 ; SSE2-NEXT: je LBB2_6
130 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
131 ; SSE2-NEXT: movlpd {{.*#+}} xmm2 = mem[0],xmm2[1]
132 ; SSE2-NEXT: LBB2_6: ## %else5
133 ; SSE2-NEXT: pextrw $6, %xmm0, %eax
134 ; SSE2-NEXT: testb $1, %al
135 ; SSE2-NEXT: je LBB2_8
136 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
137 ; SSE2-NEXT: movhpd {{.*#+}} xmm2 = xmm2[0],mem[0]
138 ; SSE2-NEXT: LBB2_8: ## %else8
139 ; SSE2-NEXT: movapd %xmm1, %xmm0
140 ; SSE2-NEXT: movapd %xmm2, %xmm1
143 ; SSE42-LABEL: load_v4f64_v4i32:
145 ; SSE42-NEXT: pxor %xmm3, %xmm3
146 ; SSE42-NEXT: pcmpeqd %xmm0, %xmm3
147 ; SSE42-NEXT: pextrb $0, %xmm3, %eax
148 ; SSE42-NEXT: testb $1, %al
149 ; SSE42-NEXT: je LBB2_2
150 ; SSE42-NEXT: ## %bb.1: ## %cond.load
151 ; SSE42-NEXT: movlpd {{.*#+}} xmm1 = mem[0],xmm1[1]
152 ; SSE42-NEXT: LBB2_2: ## %else
153 ; SSE42-NEXT: pextrb $4, %xmm3, %eax
154 ; SSE42-NEXT: testb $1, %al
155 ; SSE42-NEXT: je LBB2_4
156 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
157 ; SSE42-NEXT: movhpd {{.*#+}} xmm1 = xmm1[0],mem[0]
158 ; SSE42-NEXT: LBB2_4: ## %else2
159 ; SSE42-NEXT: pxor %xmm3, %xmm3
160 ; SSE42-NEXT: pcmpeqd %xmm3, %xmm0
161 ; SSE42-NEXT: pextrb $8, %xmm0, %eax
162 ; SSE42-NEXT: testb $1, %al
163 ; SSE42-NEXT: je LBB2_6
164 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
165 ; SSE42-NEXT: movlpd {{.*#+}} xmm2 = mem[0],xmm2[1]
166 ; SSE42-NEXT: LBB2_6: ## %else5
167 ; SSE42-NEXT: pextrb $12, %xmm0, %eax
168 ; SSE42-NEXT: testb $1, %al
169 ; SSE42-NEXT: je LBB2_8
170 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
171 ; SSE42-NEXT: movhpd {{.*#+}} xmm2 = xmm2[0],mem[0]
172 ; SSE42-NEXT: LBB2_8: ## %else8
173 ; SSE42-NEXT: movapd %xmm1, %xmm0
174 ; SSE42-NEXT: movapd %xmm2, %xmm1
177 ; AVX1-LABEL: load_v4f64_v4i32:
179 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
180 ; AVX1-NEXT: vpcmpeqd %xmm2, %xmm0, %xmm0
181 ; AVX1-NEXT: vpmovsxdq %xmm0, %xmm2
182 ; AVX1-NEXT: vpshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
183 ; AVX1-NEXT: vpmovsxdq %xmm0, %xmm0
184 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm2, %ymm0
185 ; AVX1-NEXT: vmaskmovpd (%rdi), %ymm0, %ymm2
186 ; AVX1-NEXT: vblendvpd %ymm0, %ymm2, %ymm1, %ymm0
189 ; AVX2-LABEL: load_v4f64_v4i32:
191 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
192 ; AVX2-NEXT: vpcmpeqd %xmm2, %xmm0, %xmm0
193 ; AVX2-NEXT: vpmovsxdq %xmm0, %ymm0
194 ; AVX2-NEXT: vmaskmovpd (%rdi), %ymm0, %ymm2
195 ; AVX2-NEXT: vblendvpd %ymm0, %ymm2, %ymm1, %ymm0
198 ; AVX512F-LABEL: load_v4f64_v4i32:
200 ; AVX512F-NEXT: ## kill: def $ymm1 killed $ymm1 def $zmm1
201 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 def $zmm0
202 ; AVX512F-NEXT: vptestnmd %zmm0, %zmm0, %k0
203 ; AVX512F-NEXT: kshiftlw $12, %k0, %k0
204 ; AVX512F-NEXT: kshiftrw $12, %k0, %k1
205 ; AVX512F-NEXT: vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
206 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 killed $zmm0
209 ; AVX512VL-LABEL: load_v4f64_v4i32:
210 ; AVX512VL: ## %bb.0:
211 ; AVX512VL-NEXT: vptestnmd %xmm0, %xmm0, %k1
212 ; AVX512VL-NEXT: vblendmpd (%rdi), %ymm1, %ymm0 {%k1}
213 ; AVX512VL-NEXT: retq
214 %mask = icmp eq <4 x i32> %trigger, zeroinitializer
215 %res = call <4 x double> @llvm.masked.load.v4f64.p0v4f64(<4 x double>* %addr, i32 32, <4 x i1> %mask, <4 x double> %dst)
216 ret <4 x double> %res
219 define <4 x double> @load_v4f64_v4i32_zero(<4 x i32> %trigger, <4 x double>* %addr) {
220 ; SSE2-LABEL: load_v4f64_v4i32_zero:
222 ; SSE2-NEXT: movdqa %xmm0, %xmm2
223 ; SSE2-NEXT: pxor %xmm0, %xmm0
224 ; SSE2-NEXT: movdqa %xmm2, %xmm3
225 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm3
226 ; SSE2-NEXT: movd %xmm3, %eax
227 ; SSE2-NEXT: testb $1, %al
228 ; SSE2-NEXT: xorpd %xmm1, %xmm1
229 ; SSE2-NEXT: je LBB3_2
230 ; SSE2-NEXT: ## %bb.1: ## %cond.load
231 ; SSE2-NEXT: movq {{.*#+}} xmm0 = mem[0],zero
232 ; SSE2-NEXT: xorpd %xmm1, %xmm1
233 ; SSE2-NEXT: LBB3_2: ## %else
234 ; SSE2-NEXT: pextrw $2, %xmm3, %eax
235 ; SSE2-NEXT: testb $1, %al
236 ; SSE2-NEXT: je LBB3_4
237 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
238 ; SSE2-NEXT: movhpd {{.*#+}} xmm0 = xmm0[0],mem[0]
239 ; SSE2-NEXT: LBB3_4: ## %else2
240 ; SSE2-NEXT: pxor %xmm3, %xmm3
241 ; SSE2-NEXT: pcmpeqd %xmm3, %xmm2
242 ; SSE2-NEXT: pextrw $4, %xmm2, %eax
243 ; SSE2-NEXT: testb $1, %al
244 ; SSE2-NEXT: je LBB3_6
245 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
246 ; SSE2-NEXT: movlpd {{.*#+}} xmm1 = mem[0],xmm1[1]
247 ; SSE2-NEXT: LBB3_6: ## %else5
248 ; SSE2-NEXT: pextrw $6, %xmm2, %eax
249 ; SSE2-NEXT: testb $1, %al
250 ; SSE2-NEXT: je LBB3_8
251 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
252 ; SSE2-NEXT: movhpd {{.*#+}} xmm1 = xmm1[0],mem[0]
253 ; SSE2-NEXT: LBB3_8: ## %else8
256 ; SSE42-LABEL: load_v4f64_v4i32_zero:
258 ; SSE42-NEXT: movdqa %xmm0, %xmm2
259 ; SSE42-NEXT: pxor %xmm0, %xmm0
260 ; SSE42-NEXT: movdqa %xmm2, %xmm3
261 ; SSE42-NEXT: pcmpeqd %xmm0, %xmm3
262 ; SSE42-NEXT: pextrb $0, %xmm3, %eax
263 ; SSE42-NEXT: testb $1, %al
264 ; SSE42-NEXT: xorpd %xmm1, %xmm1
265 ; SSE42-NEXT: je LBB3_2
266 ; SSE42-NEXT: ## %bb.1: ## %cond.load
267 ; SSE42-NEXT: movq {{.*#+}} xmm0 = mem[0],zero
268 ; SSE42-NEXT: xorpd %xmm1, %xmm1
269 ; SSE42-NEXT: LBB3_2: ## %else
270 ; SSE42-NEXT: pextrb $4, %xmm3, %eax
271 ; SSE42-NEXT: testb $1, %al
272 ; SSE42-NEXT: je LBB3_4
273 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
274 ; SSE42-NEXT: movhpd {{.*#+}} xmm0 = xmm0[0],mem[0]
275 ; SSE42-NEXT: LBB3_4: ## %else2
276 ; SSE42-NEXT: pxor %xmm3, %xmm3
277 ; SSE42-NEXT: pcmpeqd %xmm3, %xmm2
278 ; SSE42-NEXT: pextrb $8, %xmm2, %eax
279 ; SSE42-NEXT: testb $1, %al
280 ; SSE42-NEXT: je LBB3_6
281 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
282 ; SSE42-NEXT: movlpd {{.*#+}} xmm1 = mem[0],xmm1[1]
283 ; SSE42-NEXT: LBB3_6: ## %else5
284 ; SSE42-NEXT: pextrb $12, %xmm2, %eax
285 ; SSE42-NEXT: testb $1, %al
286 ; SSE42-NEXT: je LBB3_8
287 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
288 ; SSE42-NEXT: movhpd {{.*#+}} xmm1 = xmm1[0],mem[0]
289 ; SSE42-NEXT: LBB3_8: ## %else8
292 ; AVX1-LABEL: load_v4f64_v4i32_zero:
294 ; AVX1-NEXT: vpxor %xmm1, %xmm1, %xmm1
295 ; AVX1-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0
296 ; AVX1-NEXT: vpmovsxdq %xmm0, %xmm1
297 ; AVX1-NEXT: vpshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
298 ; AVX1-NEXT: vpmovsxdq %xmm0, %xmm0
299 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0
300 ; AVX1-NEXT: vmaskmovpd (%rdi), %ymm0, %ymm0
303 ; AVX2-LABEL: load_v4f64_v4i32_zero:
305 ; AVX2-NEXT: vpxor %xmm1, %xmm1, %xmm1
306 ; AVX2-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0
307 ; AVX2-NEXT: vpmovsxdq %xmm0, %ymm0
308 ; AVX2-NEXT: vmaskmovpd (%rdi), %ymm0, %ymm0
311 ; AVX512F-LABEL: load_v4f64_v4i32_zero:
313 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 def $zmm0
314 ; AVX512F-NEXT: vptestnmd %zmm0, %zmm0, %k0
315 ; AVX512F-NEXT: kshiftlw $12, %k0, %k0
316 ; AVX512F-NEXT: kshiftrw $12, %k0, %k1
317 ; AVX512F-NEXT: vmovupd (%rdi), %zmm0 {%k1} {z}
318 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 killed $zmm0
321 ; AVX512VL-LABEL: load_v4f64_v4i32_zero:
322 ; AVX512VL: ## %bb.0:
323 ; AVX512VL-NEXT: vptestnmd %xmm0, %xmm0, %k1
324 ; AVX512VL-NEXT: vmovapd (%rdi), %ymm0 {%k1} {z}
325 ; AVX512VL-NEXT: retq
326 %mask = icmp eq <4 x i32> %trigger, zeroinitializer
327 %res = call <4 x double> @llvm.masked.load.v4f64.p0v4f64(<4 x double>* %addr, i32 32, <4 x i1> %mask, <4 x double>zeroinitializer)
328 ret <4 x double> %res
331 define <4 x double> @load_v4f64_v4i64(<4 x i64> %trigger, <4 x double>* %addr, <4 x double> %dst) {
332 ; SSE2-LABEL: load_v4f64_v4i64:
334 ; SSE2-NEXT: pxor %xmm4, %xmm4
335 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm4
336 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm4[1,0,3,2]
337 ; SSE2-NEXT: pand %xmm4, %xmm0
338 ; SSE2-NEXT: movd %xmm0, %eax
339 ; SSE2-NEXT: testb $1, %al
340 ; SSE2-NEXT: je LBB4_2
341 ; SSE2-NEXT: ## %bb.1: ## %cond.load
342 ; SSE2-NEXT: movlpd {{.*#+}} xmm2 = mem[0],xmm2[1]
343 ; SSE2-NEXT: LBB4_2: ## %else
344 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
345 ; SSE2-NEXT: testb $1, %al
346 ; SSE2-NEXT: je LBB4_4
347 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
348 ; SSE2-NEXT: movhpd {{.*#+}} xmm2 = xmm2[0],mem[0]
349 ; SSE2-NEXT: LBB4_4: ## %else2
350 ; SSE2-NEXT: pxor %xmm0, %xmm0
351 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm1
352 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm1[1,0,3,2]
353 ; SSE2-NEXT: pand %xmm1, %xmm0
354 ; SSE2-NEXT: pextrw $0, %xmm0, %eax
355 ; SSE2-NEXT: testb $1, %al
356 ; SSE2-NEXT: je LBB4_6
357 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
358 ; SSE2-NEXT: movlpd {{.*#+}} xmm3 = mem[0],xmm3[1]
359 ; SSE2-NEXT: LBB4_6: ## %else5
360 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
361 ; SSE2-NEXT: testb $1, %al
362 ; SSE2-NEXT: je LBB4_8
363 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
364 ; SSE2-NEXT: movhpd {{.*#+}} xmm3 = xmm3[0],mem[0]
365 ; SSE2-NEXT: LBB4_8: ## %else8
366 ; SSE2-NEXT: movapd %xmm2, %xmm0
367 ; SSE2-NEXT: movapd %xmm3, %xmm1
370 ; SSE42-LABEL: load_v4f64_v4i64:
372 ; SSE42-NEXT: pxor %xmm4, %xmm4
373 ; SSE42-NEXT: pcmpeqq %xmm0, %xmm4
374 ; SSE42-NEXT: pextrb $0, %xmm4, %eax
375 ; SSE42-NEXT: testb $1, %al
376 ; SSE42-NEXT: je LBB4_2
377 ; SSE42-NEXT: ## %bb.1: ## %cond.load
378 ; SSE42-NEXT: movlpd {{.*#+}} xmm2 = mem[0],xmm2[1]
379 ; SSE42-NEXT: LBB4_2: ## %else
380 ; SSE42-NEXT: pextrb $8, %xmm4, %eax
381 ; SSE42-NEXT: testb $1, %al
382 ; SSE42-NEXT: je LBB4_4
383 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
384 ; SSE42-NEXT: movhpd {{.*#+}} xmm2 = xmm2[0],mem[0]
385 ; SSE42-NEXT: LBB4_4: ## %else2
386 ; SSE42-NEXT: pxor %xmm0, %xmm0
387 ; SSE42-NEXT: pcmpeqq %xmm0, %xmm1
388 ; SSE42-NEXT: pextrb $0, %xmm1, %eax
389 ; SSE42-NEXT: testb $1, %al
390 ; SSE42-NEXT: je LBB4_6
391 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
392 ; SSE42-NEXT: movlpd {{.*#+}} xmm3 = mem[0],xmm3[1]
393 ; SSE42-NEXT: LBB4_6: ## %else5
394 ; SSE42-NEXT: pextrb $8, %xmm1, %eax
395 ; SSE42-NEXT: testb $1, %al
396 ; SSE42-NEXT: je LBB4_8
397 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
398 ; SSE42-NEXT: movhpd {{.*#+}} xmm3 = xmm3[0],mem[0]
399 ; SSE42-NEXT: LBB4_8: ## %else8
400 ; SSE42-NEXT: movapd %xmm2, %xmm0
401 ; SSE42-NEXT: movapd %xmm3, %xmm1
404 ; AVX1-LABEL: load_v4f64_v4i64:
406 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
407 ; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3
408 ; AVX1-NEXT: vpcmpeqq %xmm3, %xmm2, %xmm2
409 ; AVX1-NEXT: vpcmpeqq %xmm3, %xmm0, %xmm0
410 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm0, %ymm0
411 ; AVX1-NEXT: vmaskmovpd (%rdi), %ymm0, %ymm2
412 ; AVX1-NEXT: vblendvpd %ymm0, %ymm2, %ymm1, %ymm0
415 ; AVX2-LABEL: load_v4f64_v4i64:
417 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
418 ; AVX2-NEXT: vpcmpeqq %ymm2, %ymm0, %ymm0
419 ; AVX2-NEXT: vmaskmovpd (%rdi), %ymm0, %ymm2
420 ; AVX2-NEXT: vblendvpd %ymm0, %ymm2, %ymm1, %ymm0
423 ; AVX512F-LABEL: load_v4f64_v4i64:
425 ; AVX512F-NEXT: ## kill: def $ymm1 killed $ymm1 def $zmm1
426 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 def $zmm0
427 ; AVX512F-NEXT: vptestnmq %zmm0, %zmm0, %k0
428 ; AVX512F-NEXT: kshiftlw $12, %k0, %k0
429 ; AVX512F-NEXT: kshiftrw $12, %k0, %k1
430 ; AVX512F-NEXT: vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
431 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 killed $zmm0
434 ; AVX512VL-LABEL: load_v4f64_v4i64:
435 ; AVX512VL: ## %bb.0:
436 ; AVX512VL-NEXT: vptestnmq %ymm0, %ymm0, %k1
437 ; AVX512VL-NEXT: vblendmpd (%rdi), %ymm1, %ymm0 {%k1}
438 ; AVX512VL-NEXT: retq
439 %mask = icmp eq <4 x i64> %trigger, zeroinitializer
440 %res = call <4 x double> @llvm.masked.load.v4f64.p0v4f64(<4 x double>* %addr, i32 4, <4 x i1> %mask, <4 x double> %dst)
441 ret <4 x double> %res
444 define <8 x double> @load_v8f64_v8i16(<8 x i16> %trigger, <8 x double>* %addr, <8 x double> %dst) {
445 ; SSE2-LABEL: load_v8f64_v8i16:
447 ; SSE2-NEXT: pxor %xmm5, %xmm5
448 ; SSE2-NEXT: pcmpeqw %xmm0, %xmm5
449 ; SSE2-NEXT: movd %xmm5, %eax
450 ; SSE2-NEXT: testb $1, %al
451 ; SSE2-NEXT: je LBB5_2
452 ; SSE2-NEXT: ## %bb.1: ## %cond.load
453 ; SSE2-NEXT: movlpd {{.*#+}} xmm1 = mem[0],xmm1[1]
454 ; SSE2-NEXT: LBB5_2: ## %else
455 ; SSE2-NEXT: shrl $16, %eax
456 ; SSE2-NEXT: testb $1, %al
457 ; SSE2-NEXT: je LBB5_4
458 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
459 ; SSE2-NEXT: movhpd {{.*#+}} xmm1 = xmm1[0],mem[0]
460 ; SSE2-NEXT: LBB5_4: ## %else2
461 ; SSE2-NEXT: pxor %xmm5, %xmm5
462 ; SSE2-NEXT: pcmpeqw %xmm0, %xmm5
463 ; SSE2-NEXT: pextrw $2, %xmm5, %eax
464 ; SSE2-NEXT: testb $1, %al
465 ; SSE2-NEXT: je LBB5_6
466 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
467 ; SSE2-NEXT: movlpd {{.*#+}} xmm2 = mem[0],xmm2[1]
468 ; SSE2-NEXT: LBB5_6: ## %else5
469 ; SSE2-NEXT: pextrw $3, %xmm5, %eax
470 ; SSE2-NEXT: testb $1, %al
471 ; SSE2-NEXT: je LBB5_8
472 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
473 ; SSE2-NEXT: movhpd {{.*#+}} xmm2 = xmm2[0],mem[0]
474 ; SSE2-NEXT: LBB5_8: ## %else8
475 ; SSE2-NEXT: pxor %xmm5, %xmm5
476 ; SSE2-NEXT: pcmpeqw %xmm0, %xmm5
477 ; SSE2-NEXT: pextrw $4, %xmm5, %eax
478 ; SSE2-NEXT: testb $1, %al
479 ; SSE2-NEXT: je LBB5_10
480 ; SSE2-NEXT: ## %bb.9: ## %cond.load10
481 ; SSE2-NEXT: movlpd {{.*#+}} xmm3 = mem[0],xmm3[1]
482 ; SSE2-NEXT: LBB5_10: ## %else11
483 ; SSE2-NEXT: pextrw $5, %xmm5, %eax
484 ; SSE2-NEXT: testb $1, %al
485 ; SSE2-NEXT: je LBB5_12
486 ; SSE2-NEXT: ## %bb.11: ## %cond.load13
487 ; SSE2-NEXT: movhpd {{.*#+}} xmm3 = xmm3[0],mem[0]
488 ; SSE2-NEXT: LBB5_12: ## %else14
489 ; SSE2-NEXT: pxor %xmm5, %xmm5
490 ; SSE2-NEXT: pcmpeqw %xmm5, %xmm0
491 ; SSE2-NEXT: pextrw $6, %xmm0, %eax
492 ; SSE2-NEXT: testb $1, %al
493 ; SSE2-NEXT: je LBB5_14
494 ; SSE2-NEXT: ## %bb.13: ## %cond.load16
495 ; SSE2-NEXT: movlpd {{.*#+}} xmm4 = mem[0],xmm4[1]
496 ; SSE2-NEXT: LBB5_14: ## %else17
497 ; SSE2-NEXT: pextrw $7, %xmm0, %eax
498 ; SSE2-NEXT: testb $1, %al
499 ; SSE2-NEXT: je LBB5_16
500 ; SSE2-NEXT: ## %bb.15: ## %cond.load19
501 ; SSE2-NEXT: movhpd {{.*#+}} xmm4 = xmm4[0],mem[0]
502 ; SSE2-NEXT: LBB5_16: ## %else20
503 ; SSE2-NEXT: movapd %xmm1, %xmm0
504 ; SSE2-NEXT: movapd %xmm2, %xmm1
505 ; SSE2-NEXT: movapd %xmm3, %xmm2
506 ; SSE2-NEXT: movapd %xmm4, %xmm3
509 ; SSE42-LABEL: load_v8f64_v8i16:
511 ; SSE42-NEXT: pxor %xmm5, %xmm5
512 ; SSE42-NEXT: pcmpeqw %xmm0, %xmm5
513 ; SSE42-NEXT: pextrb $0, %xmm5, %eax
514 ; SSE42-NEXT: testb $1, %al
515 ; SSE42-NEXT: je LBB5_2
516 ; SSE42-NEXT: ## %bb.1: ## %cond.load
517 ; SSE42-NEXT: movlpd {{.*#+}} xmm1 = mem[0],xmm1[1]
518 ; SSE42-NEXT: LBB5_2: ## %else
519 ; SSE42-NEXT: pextrb $2, %xmm5, %eax
520 ; SSE42-NEXT: testb $1, %al
521 ; SSE42-NEXT: je LBB5_4
522 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
523 ; SSE42-NEXT: movhpd {{.*#+}} xmm1 = xmm1[0],mem[0]
524 ; SSE42-NEXT: LBB5_4: ## %else2
525 ; SSE42-NEXT: pxor %xmm5, %xmm5
526 ; SSE42-NEXT: pcmpeqw %xmm0, %xmm5
527 ; SSE42-NEXT: pextrb $4, %xmm5, %eax
528 ; SSE42-NEXT: testb $1, %al
529 ; SSE42-NEXT: je LBB5_6
530 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
531 ; SSE42-NEXT: movlpd {{.*#+}} xmm2 = mem[0],xmm2[1]
532 ; SSE42-NEXT: LBB5_6: ## %else5
533 ; SSE42-NEXT: pextrb $6, %xmm5, %eax
534 ; SSE42-NEXT: testb $1, %al
535 ; SSE42-NEXT: je LBB5_8
536 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
537 ; SSE42-NEXT: movhpd {{.*#+}} xmm2 = xmm2[0],mem[0]
538 ; SSE42-NEXT: LBB5_8: ## %else8
539 ; SSE42-NEXT: pxor %xmm5, %xmm5
540 ; SSE42-NEXT: pcmpeqw %xmm0, %xmm5
541 ; SSE42-NEXT: pextrb $8, %xmm5, %eax
542 ; SSE42-NEXT: testb $1, %al
543 ; SSE42-NEXT: je LBB5_10
544 ; SSE42-NEXT: ## %bb.9: ## %cond.load10
545 ; SSE42-NEXT: movlpd {{.*#+}} xmm3 = mem[0],xmm3[1]
546 ; SSE42-NEXT: LBB5_10: ## %else11
547 ; SSE42-NEXT: pextrb $10, %xmm5, %eax
548 ; SSE42-NEXT: testb $1, %al
549 ; SSE42-NEXT: je LBB5_12
550 ; SSE42-NEXT: ## %bb.11: ## %cond.load13
551 ; SSE42-NEXT: movhpd {{.*#+}} xmm3 = xmm3[0],mem[0]
552 ; SSE42-NEXT: LBB5_12: ## %else14
553 ; SSE42-NEXT: pxor %xmm5, %xmm5
554 ; SSE42-NEXT: pcmpeqw %xmm5, %xmm0
555 ; SSE42-NEXT: pextrb $12, %xmm0, %eax
556 ; SSE42-NEXT: testb $1, %al
557 ; SSE42-NEXT: je LBB5_14
558 ; SSE42-NEXT: ## %bb.13: ## %cond.load16
559 ; SSE42-NEXT: movlpd {{.*#+}} xmm4 = mem[0],xmm4[1]
560 ; SSE42-NEXT: LBB5_14: ## %else17
561 ; SSE42-NEXT: pextrb $14, %xmm0, %eax
562 ; SSE42-NEXT: testb $1, %al
563 ; SSE42-NEXT: je LBB5_16
564 ; SSE42-NEXT: ## %bb.15: ## %cond.load19
565 ; SSE42-NEXT: movhpd {{.*#+}} xmm4 = xmm4[0],mem[0]
566 ; SSE42-NEXT: LBB5_16: ## %else20
567 ; SSE42-NEXT: movapd %xmm1, %xmm0
568 ; SSE42-NEXT: movapd %xmm2, %xmm1
569 ; SSE42-NEXT: movapd %xmm3, %xmm2
570 ; SSE42-NEXT: movapd %xmm4, %xmm3
573 ; AVX1-LABEL: load_v8f64_v8i16:
575 ; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3
576 ; AVX1-NEXT: vpunpckhwd {{.*#+}} xmm4 = xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
577 ; AVX1-NEXT: vpcmpeqd %xmm3, %xmm4, %xmm4
578 ; AVX1-NEXT: vpmovsxdq %xmm4, %xmm5
579 ; AVX1-NEXT: vpshufd {{.*#+}} xmm4 = xmm4[2,3,0,1]
580 ; AVX1-NEXT: vpmovsxdq %xmm4, %xmm4
581 ; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm5, %ymm4
582 ; AVX1-NEXT: vpmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
583 ; AVX1-NEXT: vpcmpeqd %xmm3, %xmm0, %xmm0
584 ; AVX1-NEXT: vpmovsxdq %xmm0, %xmm3
585 ; AVX1-NEXT: vpshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
586 ; AVX1-NEXT: vpmovsxdq %xmm0, %xmm0
587 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm3, %ymm0
588 ; AVX1-NEXT: vmaskmovpd (%rdi), %ymm0, %ymm3
589 ; AVX1-NEXT: vblendvpd %ymm0, %ymm3, %ymm1, %ymm0
590 ; AVX1-NEXT: vmaskmovpd 32(%rdi), %ymm4, %ymm1
591 ; AVX1-NEXT: vblendvpd %ymm4, %ymm1, %ymm2, %ymm1
594 ; AVX2-LABEL: load_v8f64_v8i16:
596 ; AVX2-NEXT: vpxor %xmm3, %xmm3, %xmm3
597 ; AVX2-NEXT: vpunpckhwd {{.*#+}} xmm4 = xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
598 ; AVX2-NEXT: vpcmpeqd %xmm3, %xmm4, %xmm4
599 ; AVX2-NEXT: vpmovsxdq %xmm4, %ymm4
600 ; AVX2-NEXT: vpmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
601 ; AVX2-NEXT: vpcmpeqd %xmm3, %xmm0, %xmm0
602 ; AVX2-NEXT: vpmovsxdq %xmm0, %ymm0
603 ; AVX2-NEXT: vmaskmovpd (%rdi), %ymm0, %ymm3
604 ; AVX2-NEXT: vblendvpd %ymm0, %ymm3, %ymm1, %ymm0
605 ; AVX2-NEXT: vmaskmovpd 32(%rdi), %ymm4, %ymm1
606 ; AVX2-NEXT: vblendvpd %ymm4, %ymm1, %ymm2, %ymm1
609 ; AVX512F-LABEL: load_v8f64_v8i16:
611 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
612 ; AVX512F-NEXT: vpcmpeqw %xmm2, %xmm0, %xmm0
613 ; AVX512F-NEXT: vpmovsxwq %xmm0, %zmm0
614 ; AVX512F-NEXT: vptestmq %zmm0, %zmm0, %k1
615 ; AVX512F-NEXT: vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
618 ; AVX512VLDQ-LABEL: load_v8f64_v8i16:
619 ; AVX512VLDQ: ## %bb.0:
620 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
621 ; AVX512VLDQ-NEXT: vpcmpeqw %xmm2, %xmm0, %xmm0
622 ; AVX512VLDQ-NEXT: vpmovsxwd %xmm0, %ymm0
623 ; AVX512VLDQ-NEXT: vpmovd2m %ymm0, %k1
624 ; AVX512VLDQ-NEXT: vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
625 ; AVX512VLDQ-NEXT: retq
627 ; AVX512VLBW-LABEL: load_v8f64_v8i16:
628 ; AVX512VLBW: ## %bb.0:
629 ; AVX512VLBW-NEXT: vptestnmw %xmm0, %xmm0, %k1
630 ; AVX512VLBW-NEXT: vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
631 ; AVX512VLBW-NEXT: retq
632 %mask = icmp eq <8 x i16> %trigger, zeroinitializer
633 %res = call <8 x double> @llvm.masked.load.v8f64.p0v8f64(<8 x double>* %addr, i32 4, <8 x i1> %mask, <8 x double> %dst)
634 ret <8 x double> %res
637 define <8 x double> @load_v8f64_v8i64(<8 x i64> %trigger, <8 x double>* %addr, <8 x double> %dst) {
638 ; SSE2-LABEL: load_v8f64_v8i64:
640 ; SSE2-NEXT: movdqa %xmm7, %xmm8
641 ; SSE2-NEXT: pxor %xmm7, %xmm7
642 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm7
643 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm7[1,0,3,2]
644 ; SSE2-NEXT: pand %xmm7, %xmm0
645 ; SSE2-NEXT: movd %xmm0, %eax
646 ; SSE2-NEXT: testb $1, %al
647 ; SSE2-NEXT: je LBB6_2
648 ; SSE2-NEXT: ## %bb.1: ## %cond.load
649 ; SSE2-NEXT: movlpd {{.*#+}} xmm4 = mem[0],xmm4[1]
650 ; SSE2-NEXT: LBB6_2: ## %else
651 ; SSE2-NEXT: psrldq {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero
652 ; SSE2-NEXT: movd %xmm0, %eax
653 ; SSE2-NEXT: shrl $16, %eax
654 ; SSE2-NEXT: testb $1, %al
655 ; SSE2-NEXT: je LBB6_4
656 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
657 ; SSE2-NEXT: movhpd {{.*#+}} xmm4 = xmm4[0],mem[0]
658 ; SSE2-NEXT: LBB6_4: ## %else2
659 ; SSE2-NEXT: pxor %xmm0, %xmm0
660 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm1
661 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm1[1,0,3,2]
662 ; SSE2-NEXT: pand %xmm1, %xmm0
663 ; SSE2-NEXT: pextrw $0, %xmm0, %eax
664 ; SSE2-NEXT: testb $1, %al
665 ; SSE2-NEXT: je LBB6_6
666 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
667 ; SSE2-NEXT: movlpd {{.*#+}} xmm5 = mem[0],xmm5[1]
668 ; SSE2-NEXT: LBB6_6: ## %else5
669 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
670 ; SSE2-NEXT: testb $1, %al
671 ; SSE2-NEXT: je LBB6_8
672 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
673 ; SSE2-NEXT: movhpd {{.*#+}} xmm5 = xmm5[0],mem[0]
674 ; SSE2-NEXT: LBB6_8: ## %else8
675 ; SSE2-NEXT: pxor %xmm0, %xmm0
676 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm2
677 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm2[1,0,3,2]
678 ; SSE2-NEXT: pand %xmm2, %xmm0
679 ; SSE2-NEXT: pextrw $0, %xmm0, %eax
680 ; SSE2-NEXT: testb $1, %al
681 ; SSE2-NEXT: je LBB6_10
682 ; SSE2-NEXT: ## %bb.9: ## %cond.load10
683 ; SSE2-NEXT: movlpd {{.*#+}} xmm6 = mem[0],xmm6[1]
684 ; SSE2-NEXT: LBB6_10: ## %else11
685 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
686 ; SSE2-NEXT: testb $1, %al
687 ; SSE2-NEXT: je LBB6_12
688 ; SSE2-NEXT: ## %bb.11: ## %cond.load13
689 ; SSE2-NEXT: movhpd {{.*#+}} xmm6 = xmm6[0],mem[0]
690 ; SSE2-NEXT: LBB6_12: ## %else14
691 ; SSE2-NEXT: pxor %xmm0, %xmm0
692 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm3
693 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm3[1,0,3,2]
694 ; SSE2-NEXT: pand %xmm3, %xmm0
695 ; SSE2-NEXT: pextrw $0, %xmm0, %eax
696 ; SSE2-NEXT: testb $1, %al
697 ; SSE2-NEXT: je LBB6_14
698 ; SSE2-NEXT: ## %bb.13: ## %cond.load16
699 ; SSE2-NEXT: movlpd {{.*#+}} xmm8 = mem[0],xmm8[1]
700 ; SSE2-NEXT: LBB6_14: ## %else17
701 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
702 ; SSE2-NEXT: testb $1, %al
703 ; SSE2-NEXT: je LBB6_16
704 ; SSE2-NEXT: ## %bb.15: ## %cond.load19
705 ; SSE2-NEXT: movhpd {{.*#+}} xmm8 = xmm8[0],mem[0]
706 ; SSE2-NEXT: LBB6_16: ## %else20
707 ; SSE2-NEXT: movapd %xmm4, %xmm0
708 ; SSE2-NEXT: movapd %xmm5, %xmm1
709 ; SSE2-NEXT: movapd %xmm6, %xmm2
710 ; SSE2-NEXT: movapd %xmm8, %xmm3
713 ; SSE42-LABEL: load_v8f64_v8i64:
715 ; SSE42-NEXT: movdqa %xmm7, %xmm8
716 ; SSE42-NEXT: pxor %xmm7, %xmm7
717 ; SSE42-NEXT: pcmpeqq %xmm0, %xmm7
718 ; SSE42-NEXT: pextrb $0, %xmm7, %eax
719 ; SSE42-NEXT: testb $1, %al
720 ; SSE42-NEXT: je LBB6_2
721 ; SSE42-NEXT: ## %bb.1: ## %cond.load
722 ; SSE42-NEXT: movlpd {{.*#+}} xmm4 = mem[0],xmm4[1]
723 ; SSE42-NEXT: LBB6_2: ## %else
724 ; SSE42-NEXT: pextrb $8, %xmm7, %eax
725 ; SSE42-NEXT: testb $1, %al
726 ; SSE42-NEXT: je LBB6_4
727 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
728 ; SSE42-NEXT: movhpd {{.*#+}} xmm4 = xmm4[0],mem[0]
729 ; SSE42-NEXT: LBB6_4: ## %else2
730 ; SSE42-NEXT: pxor %xmm0, %xmm0
731 ; SSE42-NEXT: pcmpeqq %xmm0, %xmm1
732 ; SSE42-NEXT: pextrb $0, %xmm1, %eax
733 ; SSE42-NEXT: testb $1, %al
734 ; SSE42-NEXT: je LBB6_6
735 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
736 ; SSE42-NEXT: movlpd {{.*#+}} xmm5 = mem[0],xmm5[1]
737 ; SSE42-NEXT: LBB6_6: ## %else5
738 ; SSE42-NEXT: pextrb $8, %xmm1, %eax
739 ; SSE42-NEXT: testb $1, %al
740 ; SSE42-NEXT: je LBB6_8
741 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
742 ; SSE42-NEXT: movhpd {{.*#+}} xmm5 = xmm5[0],mem[0]
743 ; SSE42-NEXT: LBB6_8: ## %else8
744 ; SSE42-NEXT: pxor %xmm0, %xmm0
745 ; SSE42-NEXT: pcmpeqq %xmm0, %xmm2
746 ; SSE42-NEXT: pextrb $0, %xmm2, %eax
747 ; SSE42-NEXT: testb $1, %al
748 ; SSE42-NEXT: je LBB6_10
749 ; SSE42-NEXT: ## %bb.9: ## %cond.load10
750 ; SSE42-NEXT: movlpd {{.*#+}} xmm6 = mem[0],xmm6[1]
751 ; SSE42-NEXT: LBB6_10: ## %else11
752 ; SSE42-NEXT: pextrb $8, %xmm2, %eax
753 ; SSE42-NEXT: testb $1, %al
754 ; SSE42-NEXT: je LBB6_12
755 ; SSE42-NEXT: ## %bb.11: ## %cond.load13
756 ; SSE42-NEXT: movhpd {{.*#+}} xmm6 = xmm6[0],mem[0]
757 ; SSE42-NEXT: LBB6_12: ## %else14
758 ; SSE42-NEXT: pxor %xmm0, %xmm0
759 ; SSE42-NEXT: pcmpeqq %xmm0, %xmm3
760 ; SSE42-NEXT: pextrb $0, %xmm3, %eax
761 ; SSE42-NEXT: testb $1, %al
762 ; SSE42-NEXT: je LBB6_14
763 ; SSE42-NEXT: ## %bb.13: ## %cond.load16
764 ; SSE42-NEXT: movlpd {{.*#+}} xmm8 = mem[0],xmm8[1]
765 ; SSE42-NEXT: LBB6_14: ## %else17
766 ; SSE42-NEXT: pextrb $8, %xmm3, %eax
767 ; SSE42-NEXT: testb $1, %al
768 ; SSE42-NEXT: je LBB6_16
769 ; SSE42-NEXT: ## %bb.15: ## %cond.load19
770 ; SSE42-NEXT: movhpd {{.*#+}} xmm8 = xmm8[0],mem[0]
771 ; SSE42-NEXT: LBB6_16: ## %else20
772 ; SSE42-NEXT: movapd %xmm4, %xmm0
773 ; SSE42-NEXT: movapd %xmm5, %xmm1
774 ; SSE42-NEXT: movapd %xmm6, %xmm2
775 ; SSE42-NEXT: movapd %xmm8, %xmm3
778 ; AVX1-LABEL: load_v8f64_v8i64:
780 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm4
781 ; AVX1-NEXT: vpxor %xmm5, %xmm5, %xmm5
782 ; AVX1-NEXT: vpcmpeqq %xmm5, %xmm4, %xmm4
783 ; AVX1-NEXT: vpcmpeqq %xmm5, %xmm1, %xmm1
784 ; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm1, %ymm1
785 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm4
786 ; AVX1-NEXT: vpcmpeqq %xmm5, %xmm4, %xmm4
787 ; AVX1-NEXT: vpcmpeqq %xmm5, %xmm0, %xmm0
788 ; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm0, %ymm0
789 ; AVX1-NEXT: vmaskmovpd (%rdi), %ymm0, %ymm4
790 ; AVX1-NEXT: vblendvpd %ymm0, %ymm4, %ymm2, %ymm0
791 ; AVX1-NEXT: vmaskmovpd 32(%rdi), %ymm1, %ymm2
792 ; AVX1-NEXT: vblendvpd %ymm1, %ymm2, %ymm3, %ymm1
795 ; AVX2-LABEL: load_v8f64_v8i64:
797 ; AVX2-NEXT: vpxor %xmm4, %xmm4, %xmm4
798 ; AVX2-NEXT: vpcmpeqq %ymm4, %ymm1, %ymm1
799 ; AVX2-NEXT: vpcmpeqq %ymm4, %ymm0, %ymm0
800 ; AVX2-NEXT: vmaskmovpd (%rdi), %ymm0, %ymm4
801 ; AVX2-NEXT: vblendvpd %ymm0, %ymm4, %ymm2, %ymm0
802 ; AVX2-NEXT: vmaskmovpd 32(%rdi), %ymm1, %ymm2
803 ; AVX2-NEXT: vblendvpd %ymm1, %ymm2, %ymm3, %ymm1
806 ; AVX512-LABEL: load_v8f64_v8i64:
808 ; AVX512-NEXT: vptestnmq %zmm0, %zmm0, %k1
809 ; AVX512-NEXT: vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
811 %mask = icmp eq <8 x i64> %trigger, zeroinitializer
812 %res = call <8 x double> @llvm.masked.load.v8f64.p0v8f64(<8 x double>* %addr, i32 4, <8 x i1> %mask, <8 x double> %dst)
813 ret <8 x double> %res
820 define <2 x float> @load_v2f32_v2i32(<2 x i32> %trigger, <2 x float>* %addr, <2 x float> %dst) {
821 ; SSE2-LABEL: load_v2f32_v2i32:
823 ; SSE2-NEXT: pand {{.*}}(%rip), %xmm0
824 ; SSE2-NEXT: pxor %xmm2, %xmm2
825 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm2
826 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm2[1,0,3,2]
827 ; SSE2-NEXT: pand %xmm2, %xmm0
828 ; SSE2-NEXT: movd %xmm0, %eax
829 ; SSE2-NEXT: testb $1, %al
830 ; SSE2-NEXT: je LBB7_2
831 ; SSE2-NEXT: ## %bb.1: ## %cond.load
832 ; SSE2-NEXT: movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
833 ; SSE2-NEXT: movss {{.*#+}} xmm1 = xmm2[0],xmm1[1,2,3]
834 ; SSE2-NEXT: LBB7_2: ## %else
835 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
836 ; SSE2-NEXT: testb $1, %al
837 ; SSE2-NEXT: je LBB7_4
838 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
839 ; SSE2-NEXT: movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
840 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[0,0]
841 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
842 ; SSE2-NEXT: movaps %xmm0, %xmm1
843 ; SSE2-NEXT: LBB7_4: ## %else2
844 ; SSE2-NEXT: movaps %xmm1, %xmm0
847 ; SSE42-LABEL: load_v2f32_v2i32:
849 ; SSE42-NEXT: pxor %xmm2, %xmm2
850 ; SSE42-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
851 ; SSE42-NEXT: pcmpeqq %xmm2, %xmm0
852 ; SSE42-NEXT: pextrb $0, %xmm0, %eax
853 ; SSE42-NEXT: testb $1, %al
854 ; SSE42-NEXT: je LBB7_2
855 ; SSE42-NEXT: ## %bb.1: ## %cond.load
856 ; SSE42-NEXT: movd {{.*#+}} xmm2 = mem[0],zero,zero,zero
857 ; SSE42-NEXT: pblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3,4,5,6,7]
858 ; SSE42-NEXT: LBB7_2: ## %else
859 ; SSE42-NEXT: pextrb $8, %xmm0, %eax
860 ; SSE42-NEXT: testb $1, %al
861 ; SSE42-NEXT: je LBB7_4
862 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
863 ; SSE42-NEXT: insertps {{.*#+}} xmm1 = xmm1[0],mem[0],xmm1[2,3]
864 ; SSE42-NEXT: LBB7_4: ## %else2
865 ; SSE42-NEXT: movaps %xmm1, %xmm0
868 ; AVX1-LABEL: load_v2f32_v2i32:
870 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
871 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
872 ; AVX1-NEXT: vpcmpeqq %xmm2, %xmm0, %xmm0
873 ; AVX1-NEXT: vinsertps {{.*#+}} xmm0 = xmm0[0,2],zero,zero
874 ; AVX1-NEXT: vmaskmovps (%rdi), %xmm0, %xmm2
875 ; AVX1-NEXT: vblendvps %xmm0, %xmm2, %xmm1, %xmm0
878 ; AVX2-LABEL: load_v2f32_v2i32:
880 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
881 ; AVX2-NEXT: vpblendd {{.*#+}} xmm0 = xmm0[0],xmm2[1],xmm0[2],xmm2[3]
882 ; AVX2-NEXT: vpcmpeqq %xmm2, %xmm0, %xmm0
883 ; AVX2-NEXT: vinsertps {{.*#+}} xmm0 = xmm0[0,2],zero,zero
884 ; AVX2-NEXT: vmaskmovps (%rdi), %xmm0, %xmm2
885 ; AVX2-NEXT: vblendvps %xmm0, %xmm2, %xmm1, %xmm0
888 ; AVX512F-LABEL: load_v2f32_v2i32:
890 ; AVX512F-NEXT: ## kill: def $xmm1 killed $xmm1 def $zmm1
891 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
892 ; AVX512F-NEXT: vpblendd {{.*#+}} xmm0 = xmm0[0],xmm2[1],xmm0[2],xmm2[3]
893 ; AVX512F-NEXT: vptestnmq %zmm0, %zmm0, %k0
894 ; AVX512F-NEXT: kshiftlw $14, %k0, %k0
895 ; AVX512F-NEXT: kshiftrw $14, %k0, %k1
896 ; AVX512F-NEXT: vblendmps (%rdi), %zmm1, %zmm0 {%k1}
897 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 killed $zmm0
898 ; AVX512F-NEXT: vzeroupper
901 ; AVX512VL-LABEL: load_v2f32_v2i32:
902 ; AVX512VL: ## %bb.0:
903 ; AVX512VL-NEXT: vpxor %xmm2, %xmm2, %xmm2
904 ; AVX512VL-NEXT: vpblendd {{.*#+}} xmm0 = xmm0[0],xmm2[1],xmm0[2],xmm2[3]
905 ; AVX512VL-NEXT: vptestnmq %xmm0, %xmm0, %k1
906 ; AVX512VL-NEXT: vblendmps (%rdi), %xmm1, %xmm0 {%k1}
907 ; AVX512VL-NEXT: retq
908 %mask = icmp eq <2 x i32> %trigger, zeroinitializer
909 %res = call <2 x float> @llvm.masked.load.v2f32.p0v2f32(<2 x float>* %addr, i32 4, <2 x i1> %mask, <2 x float> %dst)
913 define <2 x float> @load_v2f32_v2i32_undef(<2 x i32> %trigger, <2 x float>* %addr) {
914 ; SSE2-LABEL: load_v2f32_v2i32_undef:
916 ; SSE2-NEXT: pand {{.*}}(%rip), %xmm0
917 ; SSE2-NEXT: pxor %xmm2, %xmm2
918 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm2
919 ; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm2[1,0,3,2]
920 ; SSE2-NEXT: pand %xmm2, %xmm1
921 ; SSE2-NEXT: movd %xmm1, %eax
922 ; SSE2-NEXT: testb $1, %al
923 ; SSE2-NEXT: ## implicit-def: $xmm0
924 ; SSE2-NEXT: je LBB8_2
925 ; SSE2-NEXT: ## %bb.1: ## %cond.load
926 ; SSE2-NEXT: movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
927 ; SSE2-NEXT: LBB8_2: ## %else
928 ; SSE2-NEXT: pextrw $4, %xmm1, %eax
929 ; SSE2-NEXT: testb $1, %al
930 ; SSE2-NEXT: je LBB8_4
931 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
932 ; SSE2-NEXT: movss {{.*#+}} xmm1 = mem[0],zero,zero,zero
933 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,0]
934 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[2,3]
935 ; SSE2-NEXT: movaps %xmm1, %xmm0
936 ; SSE2-NEXT: LBB8_4: ## %else2
939 ; SSE42-LABEL: load_v2f32_v2i32_undef:
941 ; SSE42-NEXT: movdqa %xmm0, %xmm1
942 ; SSE42-NEXT: pxor %xmm0, %xmm0
943 ; SSE42-NEXT: pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,3],xmm1[4,5],xmm0[6,7]
944 ; SSE42-NEXT: pcmpeqq %xmm0, %xmm1
945 ; SSE42-NEXT: pextrb $0, %xmm1, %eax
946 ; SSE42-NEXT: testb $1, %al
947 ; SSE42-NEXT: ## implicit-def: $xmm0
948 ; SSE42-NEXT: je LBB8_2
949 ; SSE42-NEXT: ## %bb.1: ## %cond.load
950 ; SSE42-NEXT: movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
951 ; SSE42-NEXT: LBB8_2: ## %else
952 ; SSE42-NEXT: pextrb $8, %xmm1, %eax
953 ; SSE42-NEXT: testb $1, %al
954 ; SSE42-NEXT: je LBB8_4
955 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
956 ; SSE42-NEXT: insertps {{.*#+}} xmm0 = xmm0[0],mem[0],xmm0[2,3]
957 ; SSE42-NEXT: LBB8_4: ## %else2
960 ; AVX1-LABEL: load_v2f32_v2i32_undef:
962 ; AVX1-NEXT: vpxor %xmm1, %xmm1, %xmm1
963 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
964 ; AVX1-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm0
965 ; AVX1-NEXT: vinsertps {{.*#+}} xmm0 = xmm0[0,2],zero,zero
966 ; AVX1-NEXT: vmaskmovps (%rdi), %xmm0, %xmm0
969 ; AVX2-LABEL: load_v2f32_v2i32_undef:
971 ; AVX2-NEXT: vpxor %xmm1, %xmm1, %xmm1
972 ; AVX2-NEXT: vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
973 ; AVX2-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm0
974 ; AVX2-NEXT: vinsertps {{.*#+}} xmm0 = xmm0[0,2],zero,zero
975 ; AVX2-NEXT: vmaskmovps (%rdi), %xmm0, %xmm0
978 ; AVX512F-LABEL: load_v2f32_v2i32_undef:
980 ; AVX512F-NEXT: vpxor %xmm1, %xmm1, %xmm1
981 ; AVX512F-NEXT: vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
982 ; AVX512F-NEXT: vptestnmq %zmm0, %zmm0, %k0
983 ; AVX512F-NEXT: kshiftlw $14, %k0, %k0
984 ; AVX512F-NEXT: kshiftrw $14, %k0, %k1
985 ; AVX512F-NEXT: vmovups (%rdi), %zmm0 {%k1} {z}
986 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 killed $zmm0
987 ; AVX512F-NEXT: vzeroupper
990 ; AVX512VL-LABEL: load_v2f32_v2i32_undef:
991 ; AVX512VL: ## %bb.0:
992 ; AVX512VL-NEXT: vpxor %xmm1, %xmm1, %xmm1
993 ; AVX512VL-NEXT: vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
994 ; AVX512VL-NEXT: vptestnmq %xmm0, %xmm0, %k1
995 ; AVX512VL-NEXT: vmovups (%rdi), %xmm0 {%k1} {z}
996 ; AVX512VL-NEXT: retq
997 %mask = icmp eq <2 x i32> %trigger, zeroinitializer
998 %res = call <2 x float> @llvm.masked.load.v2f32.p0v2f32(<2 x float>* %addr, i32 4, <2 x i1> %mask, <2 x float>undef)
1002 define <4 x float> @load_v4f32_v4i32(<4 x i32> %trigger, <4 x float>* %addr, <4 x float> %dst) {
1003 ; SSE2-LABEL: load_v4f32_v4i32:
1005 ; SSE2-NEXT: pxor %xmm2, %xmm2
1006 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm2
1007 ; SSE2-NEXT: movd %xmm2, %eax
1008 ; SSE2-NEXT: testb $1, %al
1009 ; SSE2-NEXT: je LBB9_2
1010 ; SSE2-NEXT: ## %bb.1: ## %cond.load
1011 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1012 ; SSE2-NEXT: movss {{.*#+}} xmm1 = xmm3[0],xmm1[1,2,3]
1013 ; SSE2-NEXT: LBB9_2: ## %else
1014 ; SSE2-NEXT: pextrw $2, %xmm2, %eax
1015 ; SSE2-NEXT: testb $1, %al
1016 ; SSE2-NEXT: je LBB9_4
1017 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
1018 ; SSE2-NEXT: movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
1019 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,0],xmm1[0,0]
1020 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[2,3]
1021 ; SSE2-NEXT: movaps %xmm2, %xmm1
1022 ; SSE2-NEXT: LBB9_4: ## %else2
1023 ; SSE2-NEXT: xorps %xmm2, %xmm2
1024 ; SSE2-NEXT: pcmpeqd %xmm2, %xmm0
1025 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
1026 ; SSE2-NEXT: testb $1, %al
1027 ; SSE2-NEXT: je LBB9_6
1028 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
1029 ; SSE2-NEXT: movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
1030 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,0],xmm1[3,0]
1031 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
1032 ; SSE2-NEXT: LBB9_6: ## %else5
1033 ; SSE2-NEXT: pextrw $6, %xmm0, %eax
1034 ; SSE2-NEXT: testb $1, %al
1035 ; SSE2-NEXT: je LBB9_8
1036 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
1037 ; SSE2-NEXT: movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
1038 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[2,0]
1039 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
1040 ; SSE2-NEXT: LBB9_8: ## %else8
1041 ; SSE2-NEXT: movaps %xmm1, %xmm0
1044 ; SSE42-LABEL: load_v4f32_v4i32:
1046 ; SSE42-NEXT: pxor %xmm2, %xmm2
1047 ; SSE42-NEXT: pcmpeqd %xmm0, %xmm2
1048 ; SSE42-NEXT: pextrb $0, %xmm2, %eax
1049 ; SSE42-NEXT: testb $1, %al
1050 ; SSE42-NEXT: je LBB9_2
1051 ; SSE42-NEXT: ## %bb.1: ## %cond.load
1052 ; SSE42-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1053 ; SSE42-NEXT: blendps {{.*#+}} xmm1 = xmm3[0],xmm1[1,2,3]
1054 ; SSE42-NEXT: LBB9_2: ## %else
1055 ; SSE42-NEXT: pextrb $4, %xmm2, %eax
1056 ; SSE42-NEXT: testb $1, %al
1057 ; SSE42-NEXT: je LBB9_4
1058 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
1059 ; SSE42-NEXT: insertps {{.*#+}} xmm1 = xmm1[0],mem[0],xmm1[2,3]
1060 ; SSE42-NEXT: LBB9_4: ## %else2
1061 ; SSE42-NEXT: pxor %xmm2, %xmm2
1062 ; SSE42-NEXT: pcmpeqd %xmm2, %xmm0
1063 ; SSE42-NEXT: pextrb $8, %xmm0, %eax
1064 ; SSE42-NEXT: testb $1, %al
1065 ; SSE42-NEXT: je LBB9_6
1066 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
1067 ; SSE42-NEXT: insertps {{.*#+}} xmm1 = xmm1[0,1],mem[0],xmm1[3]
1068 ; SSE42-NEXT: LBB9_6: ## %else5
1069 ; SSE42-NEXT: pextrb $12, %xmm0, %eax
1070 ; SSE42-NEXT: testb $1, %al
1071 ; SSE42-NEXT: je LBB9_8
1072 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
1073 ; SSE42-NEXT: insertps {{.*#+}} xmm1 = xmm1[0,1,2],mem[0]
1074 ; SSE42-NEXT: LBB9_8: ## %else8
1075 ; SSE42-NEXT: movaps %xmm1, %xmm0
1078 ; AVX1OR2-LABEL: load_v4f32_v4i32:
1079 ; AVX1OR2: ## %bb.0:
1080 ; AVX1OR2-NEXT: vpxor %xmm2, %xmm2, %xmm2
1081 ; AVX1OR2-NEXT: vpcmpeqd %xmm2, %xmm0, %xmm0
1082 ; AVX1OR2-NEXT: vmaskmovps (%rdi), %xmm0, %xmm2
1083 ; AVX1OR2-NEXT: vblendvps %xmm0, %xmm2, %xmm1, %xmm0
1084 ; AVX1OR2-NEXT: retq
1086 ; AVX512F-LABEL: load_v4f32_v4i32:
1087 ; AVX512F: ## %bb.0:
1088 ; AVX512F-NEXT: ## kill: def $xmm1 killed $xmm1 def $zmm1
1089 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 def $zmm0
1090 ; AVX512F-NEXT: vptestnmd %zmm0, %zmm0, %k0
1091 ; AVX512F-NEXT: kshiftlw $12, %k0, %k0
1092 ; AVX512F-NEXT: kshiftrw $12, %k0, %k1
1093 ; AVX512F-NEXT: vblendmps (%rdi), %zmm1, %zmm0 {%k1}
1094 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 killed $zmm0
1095 ; AVX512F-NEXT: vzeroupper
1096 ; AVX512F-NEXT: retq
1098 ; AVX512VL-LABEL: load_v4f32_v4i32:
1099 ; AVX512VL: ## %bb.0:
1100 ; AVX512VL-NEXT: vptestnmd %xmm0, %xmm0, %k1
1101 ; AVX512VL-NEXT: vblendmps (%rdi), %xmm1, %xmm0 {%k1}
1102 ; AVX512VL-NEXT: retq
1103 %mask = icmp eq <4 x i32> %trigger, zeroinitializer
1104 %res = call <4 x float> @llvm.masked.load.v4f32.p0v4f32(<4 x float>* %addr, i32 4, <4 x i1> %mask, <4 x float> %dst)
1105 ret <4 x float> %res
1108 define <8 x float> @load_v8f32_v8i1_zero(<8 x i1> %mask, <8 x float>* %addr) {
1109 ; SSE2-LABEL: load_v8f32_v8i1_zero:
1111 ; SSE2-NEXT: movdqa %xmm0, %xmm2
1112 ; SSE2-NEXT: movd %xmm0, %eax
1113 ; SSE2-NEXT: pxor %xmm0, %xmm0
1114 ; SSE2-NEXT: testb $1, %al
1115 ; SSE2-NEXT: xorps %xmm1, %xmm1
1116 ; SSE2-NEXT: je LBB10_2
1117 ; SSE2-NEXT: ## %bb.1: ## %cond.load
1118 ; SSE2-NEXT: movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
1119 ; SSE2-NEXT: xorps %xmm1, %xmm1
1120 ; SSE2-NEXT: LBB10_2: ## %else
1121 ; SSE2-NEXT: shrl $16, %eax
1122 ; SSE2-NEXT: testb $1, %al
1123 ; SSE2-NEXT: je LBB10_4
1124 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
1125 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1126 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[0,0]
1127 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[2,0],xmm0[2,3]
1128 ; SSE2-NEXT: movaps %xmm3, %xmm0
1129 ; SSE2-NEXT: LBB10_4: ## %else2
1130 ; SSE2-NEXT: pextrw $2, %xmm2, %eax
1131 ; SSE2-NEXT: testb $1, %al
1132 ; SSE2-NEXT: je LBB10_6
1133 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
1134 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1135 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[3,0]
1136 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,1],xmm3[0,2]
1137 ; SSE2-NEXT: LBB10_6: ## %else5
1138 ; SSE2-NEXT: pextrw $3, %xmm2, %eax
1139 ; SSE2-NEXT: testb $1, %al
1140 ; SSE2-NEXT: je LBB10_8
1141 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
1142 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1143 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[2,0]
1144 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,1],xmm3[2,0]
1145 ; SSE2-NEXT: LBB10_8: ## %else8
1146 ; SSE2-NEXT: pextrw $4, %xmm2, %eax
1147 ; SSE2-NEXT: testb $1, %al
1148 ; SSE2-NEXT: je LBB10_10
1149 ; SSE2-NEXT: ## %bb.9: ## %cond.load10
1150 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1151 ; SSE2-NEXT: movss {{.*#+}} xmm1 = xmm3[0],xmm1[1,2,3]
1152 ; SSE2-NEXT: LBB10_10: ## %else11
1153 ; SSE2-NEXT: pextrw $5, %xmm2, %eax
1154 ; SSE2-NEXT: testb $1, %al
1155 ; SSE2-NEXT: je LBB10_12
1156 ; SSE2-NEXT: ## %bb.11: ## %cond.load13
1157 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1158 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm1[0,0]
1159 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[2,0],xmm1[2,3]
1160 ; SSE2-NEXT: movaps %xmm3, %xmm1
1161 ; SSE2-NEXT: LBB10_12: ## %else14
1162 ; SSE2-NEXT: pextrw $6, %xmm2, %eax
1163 ; SSE2-NEXT: testb $1, %al
1164 ; SSE2-NEXT: je LBB10_14
1165 ; SSE2-NEXT: ## %bb.13: ## %cond.load16
1166 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1167 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm1[3,0]
1168 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,1],xmm3[0,2]
1169 ; SSE2-NEXT: LBB10_14: ## %else17
1170 ; SSE2-NEXT: pextrw $7, %xmm2, %eax
1171 ; SSE2-NEXT: testb $1, %al
1172 ; SSE2-NEXT: je LBB10_16
1173 ; SSE2-NEXT: ## %bb.15: ## %cond.load19
1174 ; SSE2-NEXT: movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
1175 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,0],xmm1[2,0]
1176 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,0]
1177 ; SSE2-NEXT: LBB10_16: ## %else20
1180 ; SSE42-LABEL: load_v8f32_v8i1_zero:
1182 ; SSE42-NEXT: movdqa %xmm0, %xmm2
1183 ; SSE42-NEXT: pextrb $0, %xmm0, %eax
1184 ; SSE42-NEXT: pxor %xmm0, %xmm0
1185 ; SSE42-NEXT: testb $1, %al
1186 ; SSE42-NEXT: xorps %xmm1, %xmm1
1187 ; SSE42-NEXT: je LBB10_2
1188 ; SSE42-NEXT: ## %bb.1: ## %cond.load
1189 ; SSE42-NEXT: movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
1190 ; SSE42-NEXT: xorps %xmm1, %xmm1
1191 ; SSE42-NEXT: LBB10_2: ## %else
1192 ; SSE42-NEXT: pextrb $2, %xmm2, %eax
1193 ; SSE42-NEXT: testb $1, %al
1194 ; SSE42-NEXT: je LBB10_4
1195 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
1196 ; SSE42-NEXT: insertps {{.*#+}} xmm0 = xmm0[0],mem[0],xmm0[2,3]
1197 ; SSE42-NEXT: LBB10_4: ## %else2
1198 ; SSE42-NEXT: pextrb $4, %xmm2, %eax
1199 ; SSE42-NEXT: testb $1, %al
1200 ; SSE42-NEXT: je LBB10_6
1201 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
1202 ; SSE42-NEXT: insertps {{.*#+}} xmm0 = xmm0[0,1],mem[0],xmm0[3]
1203 ; SSE42-NEXT: LBB10_6: ## %else5
1204 ; SSE42-NEXT: pextrb $6, %xmm2, %eax
1205 ; SSE42-NEXT: testb $1, %al
1206 ; SSE42-NEXT: je LBB10_8
1207 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
1208 ; SSE42-NEXT: insertps {{.*#+}} xmm0 = xmm0[0,1,2],mem[0]
1209 ; SSE42-NEXT: LBB10_8: ## %else8
1210 ; SSE42-NEXT: pextrb $8, %xmm2, %eax
1211 ; SSE42-NEXT: testb $1, %al
1212 ; SSE42-NEXT: je LBB10_10
1213 ; SSE42-NEXT: ## %bb.9: ## %cond.load10
1214 ; SSE42-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1215 ; SSE42-NEXT: blendps {{.*#+}} xmm1 = xmm3[0],xmm1[1,2,3]
1216 ; SSE42-NEXT: LBB10_10: ## %else11
1217 ; SSE42-NEXT: pextrb $10, %xmm2, %eax
1218 ; SSE42-NEXT: testb $1, %al
1219 ; SSE42-NEXT: je LBB10_12
1220 ; SSE42-NEXT: ## %bb.11: ## %cond.load13
1221 ; SSE42-NEXT: insertps {{.*#+}} xmm1 = xmm1[0],mem[0],xmm1[2,3]
1222 ; SSE42-NEXT: LBB10_12: ## %else14
1223 ; SSE42-NEXT: pextrb $12, %xmm2, %eax
1224 ; SSE42-NEXT: testb $1, %al
1225 ; SSE42-NEXT: je LBB10_14
1226 ; SSE42-NEXT: ## %bb.13: ## %cond.load16
1227 ; SSE42-NEXT: insertps {{.*#+}} xmm1 = xmm1[0,1],mem[0],xmm1[3]
1228 ; SSE42-NEXT: LBB10_14: ## %else17
1229 ; SSE42-NEXT: pextrb $14, %xmm2, %eax
1230 ; SSE42-NEXT: testb $1, %al
1231 ; SSE42-NEXT: je LBB10_16
1232 ; SSE42-NEXT: ## %bb.15: ## %cond.load19
1233 ; SSE42-NEXT: insertps {{.*#+}} xmm1 = xmm1[0,1,2],mem[0]
1234 ; SSE42-NEXT: LBB10_16: ## %else20
1237 ; AVX1-LABEL: load_v8f32_v8i1_zero:
1239 ; AVX1-NEXT: vpmovzxwd {{.*#+}} xmm1 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
1240 ; AVX1-NEXT: vpslld $31, %xmm1, %xmm1
1241 ; AVX1-NEXT: vpsrad $31, %xmm1, %xmm1
1242 ; AVX1-NEXT: vpunpckhwd {{.*#+}} xmm0 = xmm0[4,4,5,5,6,6,7,7]
1243 ; AVX1-NEXT: vpslld $31, %xmm0, %xmm0
1244 ; AVX1-NEXT: vpsrad $31, %xmm0, %xmm0
1245 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0
1246 ; AVX1-NEXT: vmaskmovps (%rdi), %ymm0, %ymm0
1249 ; AVX2-LABEL: load_v8f32_v8i1_zero:
1251 ; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
1252 ; AVX2-NEXT: vpslld $31, %ymm0, %ymm0
1253 ; AVX2-NEXT: vpsrad $31, %ymm0, %ymm0
1254 ; AVX2-NEXT: vmaskmovps (%rdi), %ymm0, %ymm0
1257 ; AVX512F-LABEL: load_v8f32_v8i1_zero:
1258 ; AVX512F: ## %bb.0:
1259 ; AVX512F-NEXT: vpmovzxwq {{.*#+}} zmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero,xmm0[2],zero,zero,zero,xmm0[3],zero,zero,zero,xmm0[4],zero,zero,zero,xmm0[5],zero,zero,zero,xmm0[6],zero,zero,zero,xmm0[7],zero,zero,zero
1260 ; AVX512F-NEXT: vpsllq $63, %zmm0, %zmm0
1261 ; AVX512F-NEXT: vptestmq %zmm0, %zmm0, %k1
1262 ; AVX512F-NEXT: vmovups (%rdi), %zmm0 {%k1} {z}
1263 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 killed $zmm0
1264 ; AVX512F-NEXT: retq
1266 ; AVX512VLDQ-LABEL: load_v8f32_v8i1_zero:
1267 ; AVX512VLDQ: ## %bb.0:
1268 ; AVX512VLDQ-NEXT: vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
1269 ; AVX512VLDQ-NEXT: vpslld $31, %ymm0, %ymm0
1270 ; AVX512VLDQ-NEXT: vpmovd2m %ymm0, %k1
1271 ; AVX512VLDQ-NEXT: vmovaps (%rdi), %ymm0 {%k1} {z}
1272 ; AVX512VLDQ-NEXT: retq
1274 ; AVX512VLBW-LABEL: load_v8f32_v8i1_zero:
1275 ; AVX512VLBW: ## %bb.0:
1276 ; AVX512VLBW-NEXT: vpsllw $15, %xmm0, %xmm0
1277 ; AVX512VLBW-NEXT: vpmovw2m %xmm0, %k1
1278 ; AVX512VLBW-NEXT: vmovaps (%rdi), %ymm0 {%k1} {z}
1279 ; AVX512VLBW-NEXT: retq
1280 %res = call <8 x float> @llvm.masked.load.v8f32.p0v8f32(<8 x float>* %addr, i32 32, <8 x i1> %mask, <8 x float> zeroinitializer)
1281 ret <8 x float> %res
1284 define <8 x float> @load_v8f32_v8i32(<8 x i32> %trigger, <8 x float>* %addr, <8 x float> %dst) {
1285 ; SSE2-LABEL: load_v8f32_v8i32:
1287 ; SSE2-NEXT: pxor %xmm4, %xmm4
1288 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm4
1289 ; SSE2-NEXT: movdqa %xmm4, %xmm5
1290 ; SSE2-NEXT: packssdw %xmm0, %xmm5
1291 ; SSE2-NEXT: movd %xmm5, %eax
1292 ; SSE2-NEXT: testb $1, %al
1293 ; SSE2-NEXT: je LBB11_2
1294 ; SSE2-NEXT: ## %bb.1: ## %cond.load
1295 ; SSE2-NEXT: movss {{.*#+}} xmm5 = mem[0],zero,zero,zero
1296 ; SSE2-NEXT: movss {{.*#+}} xmm2 = xmm5[0],xmm2[1,2,3]
1297 ; SSE2-NEXT: LBB11_2: ## %else
1298 ; SSE2-NEXT: psrlq $16, %xmm4
1299 ; SSE2-NEXT: movd %xmm4, %eax
1300 ; SSE2-NEXT: shrl $16, %eax
1301 ; SSE2-NEXT: testb $1, %al
1302 ; SSE2-NEXT: je LBB11_4
1303 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
1304 ; SSE2-NEXT: movss {{.*#+}} xmm4 = mem[0],zero,zero,zero
1305 ; SSE2-NEXT: shufps {{.*#+}} xmm4 = xmm4[0,0],xmm2[0,0]
1306 ; SSE2-NEXT: shufps {{.*#+}} xmm4 = xmm4[2,0],xmm2[2,3]
1307 ; SSE2-NEXT: movaps %xmm4, %xmm2
1308 ; SSE2-NEXT: LBB11_4: ## %else2
1309 ; SSE2-NEXT: xorps %xmm4, %xmm4
1310 ; SSE2-NEXT: pcmpeqd %xmm4, %xmm0
1311 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
1312 ; SSE2-NEXT: testb $1, %al
1313 ; SSE2-NEXT: je LBB11_6
1314 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
1315 ; SSE2-NEXT: movss {{.*#+}} xmm4 = mem[0],zero,zero,zero
1316 ; SSE2-NEXT: shufps {{.*#+}} xmm4 = xmm4[0,0],xmm2[3,0]
1317 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,1],xmm4[0,2]
1318 ; SSE2-NEXT: LBB11_6: ## %else5
1319 ; SSE2-NEXT: pextrw $6, %xmm0, %eax
1320 ; SSE2-NEXT: testb $1, %al
1321 ; SSE2-NEXT: je LBB11_8
1322 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
1323 ; SSE2-NEXT: movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
1324 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,0],xmm2[2,0]
1325 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,1],xmm0[2,0]
1326 ; SSE2-NEXT: LBB11_8: ## %else8
1327 ; SSE2-NEXT: xorps %xmm0, %xmm0
1328 ; SSE2-NEXT: pcmpeqd %xmm1, %xmm0
1329 ; SSE2-NEXT: pextrw $0, %xmm0, %eax
1330 ; SSE2-NEXT: testb $1, %al
1331 ; SSE2-NEXT: je LBB11_10
1332 ; SSE2-NEXT: ## %bb.9: ## %cond.load10
1333 ; SSE2-NEXT: movss {{.*#+}} xmm4 = mem[0],zero,zero,zero
1334 ; SSE2-NEXT: movss {{.*#+}} xmm3 = xmm4[0],xmm3[1,2,3]
1335 ; SSE2-NEXT: LBB11_10: ## %else11
1336 ; SSE2-NEXT: pextrw $2, %xmm0, %eax
1337 ; SSE2-NEXT: testb $1, %al
1338 ; SSE2-NEXT: je LBB11_12
1339 ; SSE2-NEXT: ## %bb.11: ## %cond.load13
1340 ; SSE2-NEXT: movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
1341 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,0],xmm3[0,0]
1342 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[2,0],xmm3[2,3]
1343 ; SSE2-NEXT: movaps %xmm0, %xmm3
1344 ; SSE2-NEXT: LBB11_12: ## %else14
1345 ; SSE2-NEXT: xorps %xmm0, %xmm0
1346 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm1
1347 ; SSE2-NEXT: pextrw $4, %xmm1, %eax
1348 ; SSE2-NEXT: testb $1, %al
1349 ; SSE2-NEXT: je LBB11_14
1350 ; SSE2-NEXT: ## %bb.13: ## %cond.load16
1351 ; SSE2-NEXT: movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
1352 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,0],xmm3[3,0]
1353 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,1],xmm0[0,2]
1354 ; SSE2-NEXT: LBB11_14: ## %else17
1355 ; SSE2-NEXT: pextrw $6, %xmm1, %eax
1356 ; SSE2-NEXT: testb $1, %al
1357 ; SSE2-NEXT: je LBB11_16
1358 ; SSE2-NEXT: ## %bb.15: ## %cond.load19
1359 ; SSE2-NEXT: movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
1360 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,0],xmm3[2,0]
1361 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,1],xmm0[2,0]
1362 ; SSE2-NEXT: LBB11_16: ## %else20
1363 ; SSE2-NEXT: movaps %xmm2, %xmm0
1364 ; SSE2-NEXT: movaps %xmm3, %xmm1
1367 ; SSE42-LABEL: load_v8f32_v8i32:
1369 ; SSE42-NEXT: pxor %xmm4, %xmm4
1370 ; SSE42-NEXT: pcmpeqd %xmm0, %xmm4
1371 ; SSE42-NEXT: pextrb $0, %xmm4, %eax
1372 ; SSE42-NEXT: testb $1, %al
1373 ; SSE42-NEXT: je LBB11_2
1374 ; SSE42-NEXT: ## %bb.1: ## %cond.load
1375 ; SSE42-NEXT: movss {{.*#+}} xmm5 = mem[0],zero,zero,zero
1376 ; SSE42-NEXT: blendps {{.*#+}} xmm2 = xmm5[0],xmm2[1,2,3]
1377 ; SSE42-NEXT: LBB11_2: ## %else
1378 ; SSE42-NEXT: pextrb $4, %xmm4, %eax
1379 ; SSE42-NEXT: testb $1, %al
1380 ; SSE42-NEXT: je LBB11_4
1381 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
1382 ; SSE42-NEXT: insertps {{.*#+}} xmm2 = xmm2[0],mem[0],xmm2[2,3]
1383 ; SSE42-NEXT: LBB11_4: ## %else2
1384 ; SSE42-NEXT: pxor %xmm4, %xmm4
1385 ; SSE42-NEXT: pcmpeqd %xmm4, %xmm0
1386 ; SSE42-NEXT: pextrb $8, %xmm0, %eax
1387 ; SSE42-NEXT: testb $1, %al
1388 ; SSE42-NEXT: je LBB11_6
1389 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
1390 ; SSE42-NEXT: insertps {{.*#+}} xmm2 = xmm2[0,1],mem[0],xmm2[3]
1391 ; SSE42-NEXT: LBB11_6: ## %else5
1392 ; SSE42-NEXT: pextrb $12, %xmm0, %eax
1393 ; SSE42-NEXT: testb $1, %al
1394 ; SSE42-NEXT: je LBB11_8
1395 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
1396 ; SSE42-NEXT: insertps {{.*#+}} xmm2 = xmm2[0,1,2],mem[0]
1397 ; SSE42-NEXT: LBB11_8: ## %else8
1398 ; SSE42-NEXT: pxor %xmm0, %xmm0
1399 ; SSE42-NEXT: pcmpeqd %xmm1, %xmm0
1400 ; SSE42-NEXT: pextrb $0, %xmm0, %eax
1401 ; SSE42-NEXT: testb $1, %al
1402 ; SSE42-NEXT: je LBB11_10
1403 ; SSE42-NEXT: ## %bb.9: ## %cond.load10
1404 ; SSE42-NEXT: movd {{.*#+}} xmm4 = mem[0],zero,zero,zero
1405 ; SSE42-NEXT: pblendw {{.*#+}} xmm3 = xmm4[0,1],xmm3[2,3,4,5,6,7]
1406 ; SSE42-NEXT: LBB11_10: ## %else11
1407 ; SSE42-NEXT: pextrb $4, %xmm0, %eax
1408 ; SSE42-NEXT: testb $1, %al
1409 ; SSE42-NEXT: je LBB11_12
1410 ; SSE42-NEXT: ## %bb.11: ## %cond.load13
1411 ; SSE42-NEXT: insertps {{.*#+}} xmm3 = xmm3[0],mem[0],xmm3[2,3]
1412 ; SSE42-NEXT: LBB11_12: ## %else14
1413 ; SSE42-NEXT: pxor %xmm0, %xmm0
1414 ; SSE42-NEXT: pcmpeqd %xmm0, %xmm1
1415 ; SSE42-NEXT: pextrb $8, %xmm1, %eax
1416 ; SSE42-NEXT: testb $1, %al
1417 ; SSE42-NEXT: je LBB11_14
1418 ; SSE42-NEXT: ## %bb.13: ## %cond.load16
1419 ; SSE42-NEXT: insertps {{.*#+}} xmm3 = xmm3[0,1],mem[0],xmm3[3]
1420 ; SSE42-NEXT: LBB11_14: ## %else17
1421 ; SSE42-NEXT: pextrb $12, %xmm1, %eax
1422 ; SSE42-NEXT: testb $1, %al
1423 ; SSE42-NEXT: je LBB11_16
1424 ; SSE42-NEXT: ## %bb.15: ## %cond.load19
1425 ; SSE42-NEXT: insertps {{.*#+}} xmm3 = xmm3[0,1,2],mem[0]
1426 ; SSE42-NEXT: LBB11_16: ## %else20
1427 ; SSE42-NEXT: movaps %xmm2, %xmm0
1428 ; SSE42-NEXT: movaps %xmm3, %xmm1
1431 ; AVX1-LABEL: load_v8f32_v8i32:
1433 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
1434 ; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3
1435 ; AVX1-NEXT: vpcmpeqd %xmm3, %xmm2, %xmm2
1436 ; AVX1-NEXT: vpcmpeqd %xmm3, %xmm0, %xmm0
1437 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm0, %ymm0
1438 ; AVX1-NEXT: vmaskmovps (%rdi), %ymm0, %ymm2
1439 ; AVX1-NEXT: vblendvps %ymm0, %ymm2, %ymm1, %ymm0
1442 ; AVX2-LABEL: load_v8f32_v8i32:
1444 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
1445 ; AVX2-NEXT: vpcmpeqd %ymm2, %ymm0, %ymm0
1446 ; AVX2-NEXT: vmaskmovps (%rdi), %ymm0, %ymm2
1447 ; AVX2-NEXT: vblendvps %ymm0, %ymm2, %ymm1, %ymm0
1450 ; AVX512F-LABEL: load_v8f32_v8i32:
1451 ; AVX512F: ## %bb.0:
1452 ; AVX512F-NEXT: ## kill: def $ymm1 killed $ymm1 def $zmm1
1453 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 def $zmm0
1454 ; AVX512F-NEXT: vptestnmd %zmm0, %zmm0, %k0
1455 ; AVX512F-NEXT: kshiftlw $8, %k0, %k0
1456 ; AVX512F-NEXT: kshiftrw $8, %k0, %k1
1457 ; AVX512F-NEXT: vblendmps (%rdi), %zmm1, %zmm0 {%k1}
1458 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 killed $zmm0
1459 ; AVX512F-NEXT: retq
1461 ; AVX512VL-LABEL: load_v8f32_v8i32:
1462 ; AVX512VL: ## %bb.0:
1463 ; AVX512VL-NEXT: vptestnmd %ymm0, %ymm0, %k1
1464 ; AVX512VL-NEXT: vblendmps (%rdi), %ymm1, %ymm0 {%k1}
1465 ; AVX512VL-NEXT: retq
1466 %mask = icmp eq <8 x i32> %trigger, zeroinitializer
1467 %res = call <8 x float> @llvm.masked.load.v8f32.p0v8f32(<8 x float>* %addr, i32 32, <8 x i1> %mask, <8 x float> %dst)
1468 ret <8 x float> %res
1476 define <1 x i64> @load_v1i64_v1i64(<1 x i64> %trigger, <1 x i64>* %addr, <1 x i64> %dst) {
1477 ; SSE-LABEL: load_v1i64_v1i64:
1479 ; SSE-NEXT: testq %rdi, %rdi
1480 ; SSE-NEXT: jne LBB12_1
1481 ; SSE-NEXT: ## %bb.2: ## %cond.load
1482 ; SSE-NEXT: movq (%rsi), %rax
1484 ; SSE-NEXT: LBB12_1:
1485 ; SSE-NEXT: movq %rdx, %rax
1488 ; AVX-LABEL: load_v1i64_v1i64:
1490 ; AVX-NEXT: testq %rdi, %rdi
1491 ; AVX-NEXT: jne LBB12_1
1492 ; AVX-NEXT: ## %bb.2: ## %cond.load
1493 ; AVX-NEXT: movq (%rsi), %rax
1495 ; AVX-NEXT: LBB12_1:
1496 ; AVX-NEXT: movq %rdx, %rax
1498 %mask = icmp eq <1 x i64> %trigger, zeroinitializer
1499 %res = call <1 x i64> @llvm.masked.load.v1i64.p0v1i64(<1 x i64>* %addr, i32 4, <1 x i1> %mask, <1 x i64> %dst)
1503 define <2 x i64> @load_v2i64_v2i64(<2 x i64> %trigger, <2 x i64>* %addr, <2 x i64> %dst) {
1504 ; SSE2-LABEL: load_v2i64_v2i64:
1506 ; SSE2-NEXT: pxor %xmm2, %xmm2
1507 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm2
1508 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm2[1,0,3,2]
1509 ; SSE2-NEXT: pand %xmm2, %xmm0
1510 ; SSE2-NEXT: movd %xmm0, %eax
1511 ; SSE2-NEXT: testb $1, %al
1512 ; SSE2-NEXT: je LBB13_2
1513 ; SSE2-NEXT: ## %bb.1: ## %cond.load
1514 ; SSE2-NEXT: movlpd {{.*#+}} xmm1 = mem[0],xmm1[1]
1515 ; SSE2-NEXT: LBB13_2: ## %else
1516 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
1517 ; SSE2-NEXT: testb $1, %al
1518 ; SSE2-NEXT: je LBB13_4
1519 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
1520 ; SSE2-NEXT: movsd {{.*#+}} xmm0 = mem[0],zero
1521 ; SSE2-NEXT: unpcklpd {{.*#+}} xmm1 = xmm1[0],xmm0[0]
1522 ; SSE2-NEXT: LBB13_4: ## %else2
1523 ; SSE2-NEXT: movapd %xmm1, %xmm0
1526 ; SSE42-LABEL: load_v2i64_v2i64:
1528 ; SSE42-NEXT: pxor %xmm2, %xmm2
1529 ; SSE42-NEXT: pcmpeqq %xmm0, %xmm2
1530 ; SSE42-NEXT: pextrb $0, %xmm2, %eax
1531 ; SSE42-NEXT: testb $1, %al
1532 ; SSE42-NEXT: je LBB13_2
1533 ; SSE42-NEXT: ## %bb.1: ## %cond.load
1534 ; SSE42-NEXT: pinsrq $0, (%rdi), %xmm1
1535 ; SSE42-NEXT: LBB13_2: ## %else
1536 ; SSE42-NEXT: pextrb $8, %xmm2, %eax
1537 ; SSE42-NEXT: testb $1, %al
1538 ; SSE42-NEXT: je LBB13_4
1539 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
1540 ; SSE42-NEXT: pinsrq $1, 8(%rdi), %xmm1
1541 ; SSE42-NEXT: LBB13_4: ## %else2
1542 ; SSE42-NEXT: movdqa %xmm1, %xmm0
1545 ; AVX1-LABEL: load_v2i64_v2i64:
1547 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
1548 ; AVX1-NEXT: vpcmpeqq %xmm2, %xmm0, %xmm0
1549 ; AVX1-NEXT: vmaskmovpd (%rdi), %xmm0, %xmm2
1550 ; AVX1-NEXT: vblendvpd %xmm0, %xmm2, %xmm1, %xmm0
1553 ; AVX2-LABEL: load_v2i64_v2i64:
1555 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
1556 ; AVX2-NEXT: vpcmpeqq %xmm2, %xmm0, %xmm0
1557 ; AVX2-NEXT: vpmaskmovq (%rdi), %xmm0, %xmm2
1558 ; AVX2-NEXT: vblendvpd %xmm0, %xmm2, %xmm1, %xmm0
1561 ; AVX512F-LABEL: load_v2i64_v2i64:
1562 ; AVX512F: ## %bb.0:
1563 ; AVX512F-NEXT: ## kill: def $xmm1 killed $xmm1 def $zmm1
1564 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 def $zmm0
1565 ; AVX512F-NEXT: vptestnmq %zmm0, %zmm0, %k0
1566 ; AVX512F-NEXT: kshiftlw $14, %k0, %k0
1567 ; AVX512F-NEXT: kshiftrw $14, %k0, %k1
1568 ; AVX512F-NEXT: vpblendmq (%rdi), %zmm1, %zmm0 {%k1}
1569 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 killed $zmm0
1570 ; AVX512F-NEXT: vzeroupper
1571 ; AVX512F-NEXT: retq
1573 ; AVX512VL-LABEL: load_v2i64_v2i64:
1574 ; AVX512VL: ## %bb.0:
1575 ; AVX512VL-NEXT: vptestnmq %xmm0, %xmm0, %k1
1576 ; AVX512VL-NEXT: vpblendmq (%rdi), %xmm1, %xmm0 {%k1}
1577 ; AVX512VL-NEXT: retq
1578 %mask = icmp eq <2 x i64> %trigger, zeroinitializer
1579 %res = call <2 x i64> @llvm.masked.load.v2i64.p0v2i64(<2 x i64>* %addr, i32 4, <2 x i1> %mask, <2 x i64> %dst)
1583 define <4 x i64> @load_v4i64_v4i64(<4 x i64> %trigger, <4 x i64>* %addr, <4 x i64> %dst) {
1584 ; SSE2-LABEL: load_v4i64_v4i64:
1586 ; SSE2-NEXT: pxor %xmm4, %xmm4
1587 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm4
1588 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm4[1,0,3,2]
1589 ; SSE2-NEXT: pand %xmm4, %xmm0
1590 ; SSE2-NEXT: movd %xmm0, %eax
1591 ; SSE2-NEXT: testb $1, %al
1592 ; SSE2-NEXT: je LBB14_2
1593 ; SSE2-NEXT: ## %bb.1: ## %cond.load
1594 ; SSE2-NEXT: movlpd {{.*#+}} xmm2 = mem[0],xmm2[1]
1595 ; SSE2-NEXT: LBB14_2: ## %else
1596 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
1597 ; SSE2-NEXT: testb $1, %al
1598 ; SSE2-NEXT: je LBB14_4
1599 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
1600 ; SSE2-NEXT: movsd {{.*#+}} xmm0 = mem[0],zero
1601 ; SSE2-NEXT: unpcklpd {{.*#+}} xmm2 = xmm2[0],xmm0[0]
1602 ; SSE2-NEXT: LBB14_4: ## %else2
1603 ; SSE2-NEXT: xorpd %xmm0, %xmm0
1604 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm1
1605 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm1[1,0,3,2]
1606 ; SSE2-NEXT: pand %xmm1, %xmm0
1607 ; SSE2-NEXT: pextrw $0, %xmm0, %eax
1608 ; SSE2-NEXT: testb $1, %al
1609 ; SSE2-NEXT: je LBB14_6
1610 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
1611 ; SSE2-NEXT: movlpd {{.*#+}} xmm3 = mem[0],xmm3[1]
1612 ; SSE2-NEXT: LBB14_6: ## %else5
1613 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
1614 ; SSE2-NEXT: testb $1, %al
1615 ; SSE2-NEXT: je LBB14_8
1616 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
1617 ; SSE2-NEXT: movsd {{.*#+}} xmm0 = mem[0],zero
1618 ; SSE2-NEXT: unpcklpd {{.*#+}} xmm3 = xmm3[0],xmm0[0]
1619 ; SSE2-NEXT: LBB14_8: ## %else8
1620 ; SSE2-NEXT: movapd %xmm2, %xmm0
1621 ; SSE2-NEXT: movapd %xmm3, %xmm1
1624 ; SSE42-LABEL: load_v4i64_v4i64:
1626 ; SSE42-NEXT: pxor %xmm4, %xmm4
1627 ; SSE42-NEXT: pcmpeqq %xmm0, %xmm4
1628 ; SSE42-NEXT: pextrb $0, %xmm4, %eax
1629 ; SSE42-NEXT: testb $1, %al
1630 ; SSE42-NEXT: je LBB14_2
1631 ; SSE42-NEXT: ## %bb.1: ## %cond.load
1632 ; SSE42-NEXT: pinsrq $0, (%rdi), %xmm2
1633 ; SSE42-NEXT: LBB14_2: ## %else
1634 ; SSE42-NEXT: pextrb $8, %xmm4, %eax
1635 ; SSE42-NEXT: testb $1, %al
1636 ; SSE42-NEXT: je LBB14_4
1637 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
1638 ; SSE42-NEXT: pinsrq $1, 8(%rdi), %xmm2
1639 ; SSE42-NEXT: LBB14_4: ## %else2
1640 ; SSE42-NEXT: pxor %xmm0, %xmm0
1641 ; SSE42-NEXT: pcmpeqq %xmm0, %xmm1
1642 ; SSE42-NEXT: pextrb $0, %xmm1, %eax
1643 ; SSE42-NEXT: testb $1, %al
1644 ; SSE42-NEXT: je LBB14_6
1645 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
1646 ; SSE42-NEXT: pinsrq $0, 16(%rdi), %xmm3
1647 ; SSE42-NEXT: LBB14_6: ## %else5
1648 ; SSE42-NEXT: pextrb $8, %xmm1, %eax
1649 ; SSE42-NEXT: testb $1, %al
1650 ; SSE42-NEXT: je LBB14_8
1651 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
1652 ; SSE42-NEXT: pinsrq $1, 24(%rdi), %xmm3
1653 ; SSE42-NEXT: LBB14_8: ## %else8
1654 ; SSE42-NEXT: movdqa %xmm2, %xmm0
1655 ; SSE42-NEXT: movdqa %xmm3, %xmm1
1658 ; AVX1-LABEL: load_v4i64_v4i64:
1660 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
1661 ; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3
1662 ; AVX1-NEXT: vpcmpeqq %xmm3, %xmm2, %xmm2
1663 ; AVX1-NEXT: vpcmpeqq %xmm3, %xmm0, %xmm0
1664 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm0, %ymm0
1665 ; AVX1-NEXT: vmaskmovpd (%rdi), %ymm0, %ymm2
1666 ; AVX1-NEXT: vblendvpd %ymm0, %ymm2, %ymm1, %ymm0
1669 ; AVX2-LABEL: load_v4i64_v4i64:
1671 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
1672 ; AVX2-NEXT: vpcmpeqq %ymm2, %ymm0, %ymm0
1673 ; AVX2-NEXT: vpmaskmovq (%rdi), %ymm0, %ymm2
1674 ; AVX2-NEXT: vblendvpd %ymm0, %ymm2, %ymm1, %ymm0
1677 ; AVX512F-LABEL: load_v4i64_v4i64:
1678 ; AVX512F: ## %bb.0:
1679 ; AVX512F-NEXT: ## kill: def $ymm1 killed $ymm1 def $zmm1
1680 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 def $zmm0
1681 ; AVX512F-NEXT: vptestnmq %zmm0, %zmm0, %k0
1682 ; AVX512F-NEXT: kshiftlw $12, %k0, %k0
1683 ; AVX512F-NEXT: kshiftrw $12, %k0, %k1
1684 ; AVX512F-NEXT: vpblendmq (%rdi), %zmm1, %zmm0 {%k1}
1685 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 killed $zmm0
1686 ; AVX512F-NEXT: retq
1688 ; AVX512VL-LABEL: load_v4i64_v4i64:
1689 ; AVX512VL: ## %bb.0:
1690 ; AVX512VL-NEXT: vptestnmq %ymm0, %ymm0, %k1
1691 ; AVX512VL-NEXT: vpblendmq (%rdi), %ymm1, %ymm0 {%k1}
1692 ; AVX512VL-NEXT: retq
1693 %mask = icmp eq <4 x i64> %trigger, zeroinitializer
1694 %res = call <4 x i64> @llvm.masked.load.v4i64.p0v4i64(<4 x i64>* %addr, i32 4, <4 x i1> %mask, <4 x i64> %dst)
1698 define <8 x i64> @load_v8i64_v8i16(<8 x i16> %trigger, <8 x i64>* %addr, <8 x i64> %dst) {
1699 ; SSE2-LABEL: load_v8i64_v8i16:
1701 ; SSE2-NEXT: pxor %xmm5, %xmm5
1702 ; SSE2-NEXT: pcmpeqw %xmm0, %xmm5
1703 ; SSE2-NEXT: movd %xmm5, %eax
1704 ; SSE2-NEXT: testb $1, %al
1705 ; SSE2-NEXT: je LBB15_2
1706 ; SSE2-NEXT: ## %bb.1: ## %cond.load
1707 ; SSE2-NEXT: movlpd {{.*#+}} xmm1 = mem[0],xmm1[1]
1708 ; SSE2-NEXT: LBB15_2: ## %else
1709 ; SSE2-NEXT: shrl $16, %eax
1710 ; SSE2-NEXT: testb $1, %al
1711 ; SSE2-NEXT: je LBB15_4
1712 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
1713 ; SSE2-NEXT: movsd {{.*#+}} xmm5 = mem[0],zero
1714 ; SSE2-NEXT: unpcklpd {{.*#+}} xmm1 = xmm1[0],xmm5[0]
1715 ; SSE2-NEXT: LBB15_4: ## %else2
1716 ; SSE2-NEXT: xorpd %xmm5, %xmm5
1717 ; SSE2-NEXT: pcmpeqw %xmm0, %xmm5
1718 ; SSE2-NEXT: pextrw $2, %xmm5, %eax
1719 ; SSE2-NEXT: testb $1, %al
1720 ; SSE2-NEXT: je LBB15_6
1721 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
1722 ; SSE2-NEXT: movlpd {{.*#+}} xmm2 = mem[0],xmm2[1]
1723 ; SSE2-NEXT: LBB15_6: ## %else5
1724 ; SSE2-NEXT: pextrw $3, %xmm5, %eax
1725 ; SSE2-NEXT: testb $1, %al
1726 ; SSE2-NEXT: je LBB15_8
1727 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
1728 ; SSE2-NEXT: movsd {{.*#+}} xmm5 = mem[0],zero
1729 ; SSE2-NEXT: unpcklpd {{.*#+}} xmm2 = xmm2[0],xmm5[0]
1730 ; SSE2-NEXT: LBB15_8: ## %else8
1731 ; SSE2-NEXT: xorpd %xmm5, %xmm5
1732 ; SSE2-NEXT: pcmpeqw %xmm0, %xmm5
1733 ; SSE2-NEXT: pextrw $4, %xmm5, %eax
1734 ; SSE2-NEXT: testb $1, %al
1735 ; SSE2-NEXT: je LBB15_10
1736 ; SSE2-NEXT: ## %bb.9: ## %cond.load10
1737 ; SSE2-NEXT: movlpd {{.*#+}} xmm3 = mem[0],xmm3[1]
1738 ; SSE2-NEXT: LBB15_10: ## %else11
1739 ; SSE2-NEXT: pextrw $5, %xmm5, %eax
1740 ; SSE2-NEXT: testb $1, %al
1741 ; SSE2-NEXT: je LBB15_12
1742 ; SSE2-NEXT: ## %bb.11: ## %cond.load13
1743 ; SSE2-NEXT: movsd {{.*#+}} xmm5 = mem[0],zero
1744 ; SSE2-NEXT: unpcklpd {{.*#+}} xmm3 = xmm3[0],xmm5[0]
1745 ; SSE2-NEXT: LBB15_12: ## %else14
1746 ; SSE2-NEXT: xorpd %xmm5, %xmm5
1747 ; SSE2-NEXT: pcmpeqw %xmm5, %xmm0
1748 ; SSE2-NEXT: pextrw $6, %xmm0, %eax
1749 ; SSE2-NEXT: testb $1, %al
1750 ; SSE2-NEXT: je LBB15_14
1751 ; SSE2-NEXT: ## %bb.13: ## %cond.load16
1752 ; SSE2-NEXT: movlpd {{.*#+}} xmm4 = mem[0],xmm4[1]
1753 ; SSE2-NEXT: LBB15_14: ## %else17
1754 ; SSE2-NEXT: pextrw $7, %xmm0, %eax
1755 ; SSE2-NEXT: testb $1, %al
1756 ; SSE2-NEXT: je LBB15_16
1757 ; SSE2-NEXT: ## %bb.15: ## %cond.load19
1758 ; SSE2-NEXT: movsd {{.*#+}} xmm0 = mem[0],zero
1759 ; SSE2-NEXT: unpcklpd {{.*#+}} xmm4 = xmm4[0],xmm0[0]
1760 ; SSE2-NEXT: LBB15_16: ## %else20
1761 ; SSE2-NEXT: movapd %xmm1, %xmm0
1762 ; SSE2-NEXT: movapd %xmm2, %xmm1
1763 ; SSE2-NEXT: movapd %xmm3, %xmm2
1764 ; SSE2-NEXT: movapd %xmm4, %xmm3
1767 ; SSE42-LABEL: load_v8i64_v8i16:
1769 ; SSE42-NEXT: pxor %xmm5, %xmm5
1770 ; SSE42-NEXT: pcmpeqw %xmm0, %xmm5
1771 ; SSE42-NEXT: pextrb $0, %xmm5, %eax
1772 ; SSE42-NEXT: testb $1, %al
1773 ; SSE42-NEXT: je LBB15_2
1774 ; SSE42-NEXT: ## %bb.1: ## %cond.load
1775 ; SSE42-NEXT: pinsrq $0, (%rdi), %xmm1
1776 ; SSE42-NEXT: LBB15_2: ## %else
1777 ; SSE42-NEXT: pextrb $2, %xmm5, %eax
1778 ; SSE42-NEXT: testb $1, %al
1779 ; SSE42-NEXT: je LBB15_4
1780 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
1781 ; SSE42-NEXT: pinsrq $1, 8(%rdi), %xmm1
1782 ; SSE42-NEXT: LBB15_4: ## %else2
1783 ; SSE42-NEXT: pxor %xmm5, %xmm5
1784 ; SSE42-NEXT: pcmpeqw %xmm0, %xmm5
1785 ; SSE42-NEXT: pextrb $4, %xmm5, %eax
1786 ; SSE42-NEXT: testb $1, %al
1787 ; SSE42-NEXT: je LBB15_6
1788 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
1789 ; SSE42-NEXT: pinsrq $0, 16(%rdi), %xmm2
1790 ; SSE42-NEXT: LBB15_6: ## %else5
1791 ; SSE42-NEXT: pextrb $6, %xmm5, %eax
1792 ; SSE42-NEXT: testb $1, %al
1793 ; SSE42-NEXT: je LBB15_8
1794 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
1795 ; SSE42-NEXT: pinsrq $1, 24(%rdi), %xmm2
1796 ; SSE42-NEXT: LBB15_8: ## %else8
1797 ; SSE42-NEXT: pxor %xmm5, %xmm5
1798 ; SSE42-NEXT: pcmpeqw %xmm0, %xmm5
1799 ; SSE42-NEXT: pextrb $8, %xmm5, %eax
1800 ; SSE42-NEXT: testb $1, %al
1801 ; SSE42-NEXT: je LBB15_10
1802 ; SSE42-NEXT: ## %bb.9: ## %cond.load10
1803 ; SSE42-NEXT: pinsrq $0, 32(%rdi), %xmm3
1804 ; SSE42-NEXT: LBB15_10: ## %else11
1805 ; SSE42-NEXT: pextrb $10, %xmm5, %eax
1806 ; SSE42-NEXT: testb $1, %al
1807 ; SSE42-NEXT: je LBB15_12
1808 ; SSE42-NEXT: ## %bb.11: ## %cond.load13
1809 ; SSE42-NEXT: pinsrq $1, 40(%rdi), %xmm3
1810 ; SSE42-NEXT: LBB15_12: ## %else14
1811 ; SSE42-NEXT: pxor %xmm5, %xmm5
1812 ; SSE42-NEXT: pcmpeqw %xmm5, %xmm0
1813 ; SSE42-NEXT: pextrb $12, %xmm0, %eax
1814 ; SSE42-NEXT: testb $1, %al
1815 ; SSE42-NEXT: je LBB15_14
1816 ; SSE42-NEXT: ## %bb.13: ## %cond.load16
1817 ; SSE42-NEXT: pinsrq $0, 48(%rdi), %xmm4
1818 ; SSE42-NEXT: LBB15_14: ## %else17
1819 ; SSE42-NEXT: pextrb $14, %xmm0, %eax
1820 ; SSE42-NEXT: testb $1, %al
1821 ; SSE42-NEXT: je LBB15_16
1822 ; SSE42-NEXT: ## %bb.15: ## %cond.load19
1823 ; SSE42-NEXT: pinsrq $1, 56(%rdi), %xmm4
1824 ; SSE42-NEXT: LBB15_16: ## %else20
1825 ; SSE42-NEXT: movdqa %xmm1, %xmm0
1826 ; SSE42-NEXT: movdqa %xmm2, %xmm1
1827 ; SSE42-NEXT: movdqa %xmm3, %xmm2
1828 ; SSE42-NEXT: movdqa %xmm4, %xmm3
1831 ; AVX1-LABEL: load_v8i64_v8i16:
1833 ; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3
1834 ; AVX1-NEXT: vpunpckhwd {{.*#+}} xmm4 = xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
1835 ; AVX1-NEXT: vpcmpeqd %xmm3, %xmm4, %xmm4
1836 ; AVX1-NEXT: vpmovsxdq %xmm4, %xmm5
1837 ; AVX1-NEXT: vpshufd {{.*#+}} xmm4 = xmm4[2,3,0,1]
1838 ; AVX1-NEXT: vpmovsxdq %xmm4, %xmm4
1839 ; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm5, %ymm4
1840 ; AVX1-NEXT: vpmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
1841 ; AVX1-NEXT: vpcmpeqd %xmm3, %xmm0, %xmm0
1842 ; AVX1-NEXT: vpmovsxdq %xmm0, %xmm3
1843 ; AVX1-NEXT: vpshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
1844 ; AVX1-NEXT: vpmovsxdq %xmm0, %xmm0
1845 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm3, %ymm0
1846 ; AVX1-NEXT: vmaskmovpd (%rdi), %ymm0, %ymm3
1847 ; AVX1-NEXT: vblendvpd %ymm0, %ymm3, %ymm1, %ymm0
1848 ; AVX1-NEXT: vmaskmovpd 32(%rdi), %ymm4, %ymm1
1849 ; AVX1-NEXT: vblendvpd %ymm4, %ymm1, %ymm2, %ymm1
1852 ; AVX2-LABEL: load_v8i64_v8i16:
1854 ; AVX2-NEXT: vpxor %xmm3, %xmm3, %xmm3
1855 ; AVX2-NEXT: vpunpckhwd {{.*#+}} xmm4 = xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
1856 ; AVX2-NEXT: vpcmpeqd %xmm3, %xmm4, %xmm4
1857 ; AVX2-NEXT: vpmovsxdq %xmm4, %ymm4
1858 ; AVX2-NEXT: vpmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
1859 ; AVX2-NEXT: vpcmpeqd %xmm3, %xmm0, %xmm0
1860 ; AVX2-NEXT: vpmovsxdq %xmm0, %ymm0
1861 ; AVX2-NEXT: vpmaskmovq (%rdi), %ymm0, %ymm3
1862 ; AVX2-NEXT: vblendvpd %ymm0, %ymm3, %ymm1, %ymm0
1863 ; AVX2-NEXT: vpmaskmovq 32(%rdi), %ymm4, %ymm1
1864 ; AVX2-NEXT: vblendvpd %ymm4, %ymm1, %ymm2, %ymm1
1867 ; AVX512F-LABEL: load_v8i64_v8i16:
1868 ; AVX512F: ## %bb.0:
1869 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
1870 ; AVX512F-NEXT: vpcmpeqw %xmm2, %xmm0, %xmm0
1871 ; AVX512F-NEXT: vpmovsxwq %xmm0, %zmm0
1872 ; AVX512F-NEXT: vptestmq %zmm0, %zmm0, %k1
1873 ; AVX512F-NEXT: vpblendmq (%rdi), %zmm1, %zmm0 {%k1}
1874 ; AVX512F-NEXT: retq
1876 ; AVX512VLDQ-LABEL: load_v8i64_v8i16:
1877 ; AVX512VLDQ: ## %bb.0:
1878 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
1879 ; AVX512VLDQ-NEXT: vpcmpeqw %xmm2, %xmm0, %xmm0
1880 ; AVX512VLDQ-NEXT: vpmovsxwd %xmm0, %ymm0
1881 ; AVX512VLDQ-NEXT: vpmovd2m %ymm0, %k1
1882 ; AVX512VLDQ-NEXT: vpblendmq (%rdi), %zmm1, %zmm0 {%k1}
1883 ; AVX512VLDQ-NEXT: retq
1885 ; AVX512VLBW-LABEL: load_v8i64_v8i16:
1886 ; AVX512VLBW: ## %bb.0:
1887 ; AVX512VLBW-NEXT: vptestnmw %xmm0, %xmm0, %k1
1888 ; AVX512VLBW-NEXT: vpblendmq (%rdi), %zmm1, %zmm0 {%k1}
1889 ; AVX512VLBW-NEXT: retq
1890 %mask = icmp eq <8 x i16> %trigger, zeroinitializer
1891 %res = call <8 x i64> @llvm.masked.load.v8i64.p0v8i64(<8 x i64>* %addr, i32 4, <8 x i1> %mask, <8 x i64> %dst)
1895 define <8 x i64> @load_v8i64_v8i64(<8 x i64> %trigger, <8 x i64>* %addr, <8 x i64> %dst) {
1896 ; SSE2-LABEL: load_v8i64_v8i64:
1898 ; SSE2-NEXT: movdqa %xmm7, %xmm8
1899 ; SSE2-NEXT: pxor %xmm7, %xmm7
1900 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm7
1901 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm7[1,0,3,2]
1902 ; SSE2-NEXT: pand %xmm7, %xmm0
1903 ; SSE2-NEXT: movd %xmm0, %eax
1904 ; SSE2-NEXT: testb $1, %al
1905 ; SSE2-NEXT: je LBB16_2
1906 ; SSE2-NEXT: ## %bb.1: ## %cond.load
1907 ; SSE2-NEXT: movlpd {{.*#+}} xmm4 = mem[0],xmm4[1]
1908 ; SSE2-NEXT: LBB16_2: ## %else
1909 ; SSE2-NEXT: psrldq {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero
1910 ; SSE2-NEXT: movd %xmm0, %eax
1911 ; SSE2-NEXT: shrl $16, %eax
1912 ; SSE2-NEXT: testb $1, %al
1913 ; SSE2-NEXT: je LBB16_4
1914 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
1915 ; SSE2-NEXT: movsd {{.*#+}} xmm0 = mem[0],zero
1916 ; SSE2-NEXT: unpcklpd {{.*#+}} xmm4 = xmm4[0],xmm0[0]
1917 ; SSE2-NEXT: LBB16_4: ## %else2
1918 ; SSE2-NEXT: xorpd %xmm0, %xmm0
1919 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm1
1920 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm1[1,0,3,2]
1921 ; SSE2-NEXT: pand %xmm1, %xmm0
1922 ; SSE2-NEXT: pextrw $0, %xmm0, %eax
1923 ; SSE2-NEXT: testb $1, %al
1924 ; SSE2-NEXT: je LBB16_6
1925 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
1926 ; SSE2-NEXT: movlpd {{.*#+}} xmm5 = mem[0],xmm5[1]
1927 ; SSE2-NEXT: LBB16_6: ## %else5
1928 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
1929 ; SSE2-NEXT: testb $1, %al
1930 ; SSE2-NEXT: je LBB16_8
1931 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
1932 ; SSE2-NEXT: movsd {{.*#+}} xmm0 = mem[0],zero
1933 ; SSE2-NEXT: unpcklpd {{.*#+}} xmm5 = xmm5[0],xmm0[0]
1934 ; SSE2-NEXT: LBB16_8: ## %else8
1935 ; SSE2-NEXT: xorpd %xmm0, %xmm0
1936 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm2
1937 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm2[1,0,3,2]
1938 ; SSE2-NEXT: pand %xmm2, %xmm0
1939 ; SSE2-NEXT: pextrw $0, %xmm0, %eax
1940 ; SSE2-NEXT: testb $1, %al
1941 ; SSE2-NEXT: je LBB16_10
1942 ; SSE2-NEXT: ## %bb.9: ## %cond.load10
1943 ; SSE2-NEXT: movlpd {{.*#+}} xmm6 = mem[0],xmm6[1]
1944 ; SSE2-NEXT: LBB16_10: ## %else11
1945 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
1946 ; SSE2-NEXT: testb $1, %al
1947 ; SSE2-NEXT: je LBB16_12
1948 ; SSE2-NEXT: ## %bb.11: ## %cond.load13
1949 ; SSE2-NEXT: movsd {{.*#+}} xmm0 = mem[0],zero
1950 ; SSE2-NEXT: unpcklpd {{.*#+}} xmm6 = xmm6[0],xmm0[0]
1951 ; SSE2-NEXT: LBB16_12: ## %else14
1952 ; SSE2-NEXT: xorpd %xmm0, %xmm0
1953 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm3
1954 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm3[1,0,3,2]
1955 ; SSE2-NEXT: pand %xmm3, %xmm0
1956 ; SSE2-NEXT: pextrw $0, %xmm0, %eax
1957 ; SSE2-NEXT: testb $1, %al
1958 ; SSE2-NEXT: je LBB16_14
1959 ; SSE2-NEXT: ## %bb.13: ## %cond.load16
1960 ; SSE2-NEXT: movlpd {{.*#+}} xmm8 = mem[0],xmm8[1]
1961 ; SSE2-NEXT: LBB16_14: ## %else17
1962 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
1963 ; SSE2-NEXT: testb $1, %al
1964 ; SSE2-NEXT: je LBB16_16
1965 ; SSE2-NEXT: ## %bb.15: ## %cond.load19
1966 ; SSE2-NEXT: movsd {{.*#+}} xmm0 = mem[0],zero
1967 ; SSE2-NEXT: unpcklpd {{.*#+}} xmm8 = xmm8[0],xmm0[0]
1968 ; SSE2-NEXT: LBB16_16: ## %else20
1969 ; SSE2-NEXT: movapd %xmm4, %xmm0
1970 ; SSE2-NEXT: movapd %xmm5, %xmm1
1971 ; SSE2-NEXT: movapd %xmm6, %xmm2
1972 ; SSE2-NEXT: movapd %xmm8, %xmm3
1975 ; SSE42-LABEL: load_v8i64_v8i64:
1977 ; SSE42-NEXT: movdqa %xmm7, %xmm8
1978 ; SSE42-NEXT: pxor %xmm7, %xmm7
1979 ; SSE42-NEXT: pcmpeqq %xmm0, %xmm7
1980 ; SSE42-NEXT: pextrb $0, %xmm7, %eax
1981 ; SSE42-NEXT: testb $1, %al
1982 ; SSE42-NEXT: je LBB16_2
1983 ; SSE42-NEXT: ## %bb.1: ## %cond.load
1984 ; SSE42-NEXT: pinsrq $0, (%rdi), %xmm4
1985 ; SSE42-NEXT: LBB16_2: ## %else
1986 ; SSE42-NEXT: pextrb $8, %xmm7, %eax
1987 ; SSE42-NEXT: testb $1, %al
1988 ; SSE42-NEXT: je LBB16_4
1989 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
1990 ; SSE42-NEXT: pinsrq $1, 8(%rdi), %xmm4
1991 ; SSE42-NEXT: LBB16_4: ## %else2
1992 ; SSE42-NEXT: pxor %xmm0, %xmm0
1993 ; SSE42-NEXT: pcmpeqq %xmm0, %xmm1
1994 ; SSE42-NEXT: pextrb $0, %xmm1, %eax
1995 ; SSE42-NEXT: testb $1, %al
1996 ; SSE42-NEXT: je LBB16_6
1997 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
1998 ; SSE42-NEXT: pinsrq $0, 16(%rdi), %xmm5
1999 ; SSE42-NEXT: LBB16_6: ## %else5
2000 ; SSE42-NEXT: pextrb $8, %xmm1, %eax
2001 ; SSE42-NEXT: testb $1, %al
2002 ; SSE42-NEXT: je LBB16_8
2003 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
2004 ; SSE42-NEXT: pinsrq $1, 24(%rdi), %xmm5
2005 ; SSE42-NEXT: LBB16_8: ## %else8
2006 ; SSE42-NEXT: pxor %xmm0, %xmm0
2007 ; SSE42-NEXT: pcmpeqq %xmm0, %xmm2
2008 ; SSE42-NEXT: pextrb $0, %xmm2, %eax
2009 ; SSE42-NEXT: testb $1, %al
2010 ; SSE42-NEXT: je LBB16_10
2011 ; SSE42-NEXT: ## %bb.9: ## %cond.load10
2012 ; SSE42-NEXT: pinsrq $0, 32(%rdi), %xmm6
2013 ; SSE42-NEXT: LBB16_10: ## %else11
2014 ; SSE42-NEXT: pextrb $8, %xmm2, %eax
2015 ; SSE42-NEXT: testb $1, %al
2016 ; SSE42-NEXT: je LBB16_12
2017 ; SSE42-NEXT: ## %bb.11: ## %cond.load13
2018 ; SSE42-NEXT: pinsrq $1, 40(%rdi), %xmm6
2019 ; SSE42-NEXT: LBB16_12: ## %else14
2020 ; SSE42-NEXT: pxor %xmm0, %xmm0
2021 ; SSE42-NEXT: pcmpeqq %xmm0, %xmm3
2022 ; SSE42-NEXT: pextrb $0, %xmm3, %eax
2023 ; SSE42-NEXT: testb $1, %al
2024 ; SSE42-NEXT: je LBB16_14
2025 ; SSE42-NEXT: ## %bb.13: ## %cond.load16
2026 ; SSE42-NEXT: pinsrq $0, 48(%rdi), %xmm8
2027 ; SSE42-NEXT: LBB16_14: ## %else17
2028 ; SSE42-NEXT: pextrb $8, %xmm3, %eax
2029 ; SSE42-NEXT: testb $1, %al
2030 ; SSE42-NEXT: je LBB16_16
2031 ; SSE42-NEXT: ## %bb.15: ## %cond.load19
2032 ; SSE42-NEXT: pinsrq $1, 56(%rdi), %xmm8
2033 ; SSE42-NEXT: LBB16_16: ## %else20
2034 ; SSE42-NEXT: movdqa %xmm4, %xmm0
2035 ; SSE42-NEXT: movdqa %xmm5, %xmm1
2036 ; SSE42-NEXT: movdqa %xmm6, %xmm2
2037 ; SSE42-NEXT: movdqa %xmm8, %xmm3
2040 ; AVX1-LABEL: load_v8i64_v8i64:
2042 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm4
2043 ; AVX1-NEXT: vpxor %xmm5, %xmm5, %xmm5
2044 ; AVX1-NEXT: vpcmpeqq %xmm5, %xmm4, %xmm4
2045 ; AVX1-NEXT: vpcmpeqq %xmm5, %xmm1, %xmm1
2046 ; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm1, %ymm1
2047 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm4
2048 ; AVX1-NEXT: vpcmpeqq %xmm5, %xmm4, %xmm4
2049 ; AVX1-NEXT: vpcmpeqq %xmm5, %xmm0, %xmm0
2050 ; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm0, %ymm0
2051 ; AVX1-NEXT: vmaskmovpd (%rdi), %ymm0, %ymm4
2052 ; AVX1-NEXT: vblendvpd %ymm0, %ymm4, %ymm2, %ymm0
2053 ; AVX1-NEXT: vmaskmovpd 32(%rdi), %ymm1, %ymm2
2054 ; AVX1-NEXT: vblendvpd %ymm1, %ymm2, %ymm3, %ymm1
2057 ; AVX2-LABEL: load_v8i64_v8i64:
2059 ; AVX2-NEXT: vpxor %xmm4, %xmm4, %xmm4
2060 ; AVX2-NEXT: vpcmpeqq %ymm4, %ymm1, %ymm1
2061 ; AVX2-NEXT: vpcmpeqq %ymm4, %ymm0, %ymm0
2062 ; AVX2-NEXT: vpmaskmovq (%rdi), %ymm0, %ymm4
2063 ; AVX2-NEXT: vblendvpd %ymm0, %ymm4, %ymm2, %ymm0
2064 ; AVX2-NEXT: vpmaskmovq 32(%rdi), %ymm1, %ymm2
2065 ; AVX2-NEXT: vblendvpd %ymm1, %ymm2, %ymm3, %ymm1
2068 ; AVX512-LABEL: load_v8i64_v8i64:
2070 ; AVX512-NEXT: vptestnmq %zmm0, %zmm0, %k1
2071 ; AVX512-NEXT: vpblendmq (%rdi), %zmm1, %zmm0 {%k1}
2073 %mask = icmp eq <8 x i64> %trigger, zeroinitializer
2074 %res = call <8 x i64> @llvm.masked.load.v8i64.p0v8i64(<8 x i64>* %addr, i32 4, <8 x i1> %mask, <8 x i64> %dst)
2082 define <2 x i32> @load_v2i32_v2i32(<2 x i32> %trigger, <2 x i32>* %addr, <2 x i32> %dst) {
2083 ; SSE2-LABEL: load_v2i32_v2i32:
2085 ; SSE2-NEXT: pand {{.*}}(%rip), %xmm0
2086 ; SSE2-NEXT: pxor %xmm2, %xmm2
2087 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm2
2088 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm2[1,0,3,2]
2089 ; SSE2-NEXT: pand %xmm2, %xmm0
2090 ; SSE2-NEXT: movd %xmm0, %eax
2091 ; SSE2-NEXT: testb $1, %al
2092 ; SSE2-NEXT: je LBB17_2
2093 ; SSE2-NEXT: ## %bb.1: ## %cond.load
2094 ; SSE2-NEXT: movl (%rdi), %eax
2095 ; SSE2-NEXT: movq %rax, %xmm2
2096 ; SSE2-NEXT: movsd {{.*#+}} xmm1 = xmm2[0],xmm1[1]
2097 ; SSE2-NEXT: LBB17_2: ## %else
2098 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
2099 ; SSE2-NEXT: testb $1, %al
2100 ; SSE2-NEXT: je LBB17_4
2101 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
2102 ; SSE2-NEXT: movl 4(%rdi), %eax
2103 ; SSE2-NEXT: movq %rax, %xmm0
2104 ; SSE2-NEXT: unpcklpd {{.*#+}} xmm1 = xmm1[0],xmm0[0]
2105 ; SSE2-NEXT: LBB17_4: ## %else2
2106 ; SSE2-NEXT: movapd %xmm1, %xmm0
2109 ; SSE42-LABEL: load_v2i32_v2i32:
2111 ; SSE42-NEXT: pxor %xmm2, %xmm2
2112 ; SSE42-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
2113 ; SSE42-NEXT: pcmpeqq %xmm2, %xmm0
2114 ; SSE42-NEXT: pextrb $0, %xmm0, %eax
2115 ; SSE42-NEXT: testb $1, %al
2116 ; SSE42-NEXT: je LBB17_2
2117 ; SSE42-NEXT: ## %bb.1: ## %cond.load
2118 ; SSE42-NEXT: movl (%rdi), %eax
2119 ; SSE42-NEXT: pinsrq $0, %rax, %xmm1
2120 ; SSE42-NEXT: LBB17_2: ## %else
2121 ; SSE42-NEXT: pextrb $8, %xmm0, %eax
2122 ; SSE42-NEXT: testb $1, %al
2123 ; SSE42-NEXT: je LBB17_4
2124 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
2125 ; SSE42-NEXT: movl 4(%rdi), %eax
2126 ; SSE42-NEXT: pinsrq $1, %rax, %xmm1
2127 ; SSE42-NEXT: LBB17_4: ## %else2
2128 ; SSE42-NEXT: movdqa %xmm1, %xmm0
2131 ; AVX1-LABEL: load_v2i32_v2i32:
2133 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
2134 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
2135 ; AVX1-NEXT: vpcmpeqq %xmm2, %xmm0, %xmm0
2136 ; AVX1-NEXT: vinsertps {{.*#+}} xmm0 = xmm0[0,2],zero,zero
2137 ; AVX1-NEXT: vmaskmovps (%rdi), %xmm0, %xmm2
2138 ; AVX1-NEXT: vpermilps {{.*#+}} xmm1 = xmm1[0,2,2,3]
2139 ; AVX1-NEXT: vblendvps %xmm0, %xmm2, %xmm1, %xmm0
2140 ; AVX1-NEXT: vpmovzxdq {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero
2143 ; AVX2-LABEL: load_v2i32_v2i32:
2145 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
2146 ; AVX2-NEXT: vpblendd {{.*#+}} xmm0 = xmm0[0],xmm2[1],xmm0[2],xmm2[3]
2147 ; AVX2-NEXT: vpcmpeqq %xmm2, %xmm0, %xmm0
2148 ; AVX2-NEXT: vinsertps {{.*#+}} xmm0 = xmm0[0,2],zero,zero
2149 ; AVX2-NEXT: vpmaskmovd (%rdi), %xmm0, %xmm2
2150 ; AVX2-NEXT: vpermilps {{.*#+}} xmm1 = xmm1[0,2,2,3]
2151 ; AVX2-NEXT: vblendvps %xmm0, %xmm2, %xmm1, %xmm0
2152 ; AVX2-NEXT: vpmovzxdq {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero
2155 ; AVX512F-LABEL: load_v2i32_v2i32:
2156 ; AVX512F: ## %bb.0:
2157 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
2158 ; AVX512F-NEXT: vpblendd {{.*#+}} xmm0 = xmm0[0],xmm2[1],xmm0[2],xmm2[3]
2159 ; AVX512F-NEXT: vptestnmq %zmm0, %zmm0, %k0
2160 ; AVX512F-NEXT: vpshufd {{.*#+}} xmm0 = xmm1[0,2,2,3]
2161 ; AVX512F-NEXT: kshiftlw $14, %k0, %k0
2162 ; AVX512F-NEXT: kshiftrw $14, %k0, %k1
2163 ; AVX512F-NEXT: vmovdqu32 (%rdi), %zmm0 {%k1}
2164 ; AVX512F-NEXT: vpmovzxdq {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero
2165 ; AVX512F-NEXT: vzeroupper
2166 ; AVX512F-NEXT: retq
2168 ; AVX512VL-LABEL: load_v2i32_v2i32:
2169 ; AVX512VL: ## %bb.0:
2170 ; AVX512VL-NEXT: vpxor %xmm2, %xmm2, %xmm2
2171 ; AVX512VL-NEXT: vpblendd {{.*#+}} xmm0 = xmm0[0],xmm2[1],xmm0[2],xmm2[3]
2172 ; AVX512VL-NEXT: vptestnmq %xmm0, %xmm0, %k1
2173 ; AVX512VL-NEXT: vpshufd {{.*#+}} xmm0 = xmm1[0,2,2,3]
2174 ; AVX512VL-NEXT: vmovdqu32 (%rdi), %xmm0 {%k1}
2175 ; AVX512VL-NEXT: vpmovzxdq {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero
2176 ; AVX512VL-NEXT: retq
2177 %mask = icmp eq <2 x i32> %trigger, zeroinitializer
2178 %res = call <2 x i32> @llvm.masked.load.v2i32.p0v2i32(<2 x i32>* %addr, i32 4, <2 x i1> %mask, <2 x i32> %dst)
2182 define <4 x i32> @load_v4i32_v4i32(<4 x i32> %trigger, <4 x i32>* %addr, <4 x i32> %dst) {
2183 ; SSE2-LABEL: load_v4i32_v4i32:
2185 ; SSE2-NEXT: pxor %xmm2, %xmm2
2186 ; SSE2-NEXT: pcmpeqd %xmm0, %xmm2
2187 ; SSE2-NEXT: movd %xmm2, %eax
2188 ; SSE2-NEXT: testb $1, %al
2189 ; SSE2-NEXT: je LBB18_2
2190 ; SSE2-NEXT: ## %bb.1: ## %cond.load
2191 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2192 ; SSE2-NEXT: movss {{.*#+}} xmm1 = xmm3[0],xmm1[1,2,3]
2193 ; SSE2-NEXT: LBB18_2: ## %else
2194 ; SSE2-NEXT: pextrw $2, %xmm2, %eax
2195 ; SSE2-NEXT: testb $1, %al
2196 ; SSE2-NEXT: je LBB18_4
2197 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
2198 ; SSE2-NEXT: movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
2199 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,0],xmm1[0,0]
2200 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[2,3]
2201 ; SSE2-NEXT: movaps %xmm2, %xmm1
2202 ; SSE2-NEXT: LBB18_4: ## %else2
2203 ; SSE2-NEXT: xorps %xmm2, %xmm2
2204 ; SSE2-NEXT: pcmpeqd %xmm2, %xmm0
2205 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
2206 ; SSE2-NEXT: testb $1, %al
2207 ; SSE2-NEXT: je LBB18_6
2208 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
2209 ; SSE2-NEXT: movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
2210 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,0],xmm1[3,0]
2211 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
2212 ; SSE2-NEXT: LBB18_6: ## %else5
2213 ; SSE2-NEXT: pextrw $6, %xmm0, %eax
2214 ; SSE2-NEXT: testb $1, %al
2215 ; SSE2-NEXT: je LBB18_8
2216 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
2217 ; SSE2-NEXT: movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
2218 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[2,0]
2219 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
2220 ; SSE2-NEXT: LBB18_8: ## %else8
2221 ; SSE2-NEXT: movaps %xmm1, %xmm0
2224 ; SSE42-LABEL: load_v4i32_v4i32:
2226 ; SSE42-NEXT: pxor %xmm2, %xmm2
2227 ; SSE42-NEXT: pcmpeqd %xmm0, %xmm2
2228 ; SSE42-NEXT: pextrb $0, %xmm2, %eax
2229 ; SSE42-NEXT: testb $1, %al
2230 ; SSE42-NEXT: je LBB18_2
2231 ; SSE42-NEXT: ## %bb.1: ## %cond.load
2232 ; SSE42-NEXT: pinsrd $0, (%rdi), %xmm1
2233 ; SSE42-NEXT: LBB18_2: ## %else
2234 ; SSE42-NEXT: pextrb $4, %xmm2, %eax
2235 ; SSE42-NEXT: testb $1, %al
2236 ; SSE42-NEXT: je LBB18_4
2237 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
2238 ; SSE42-NEXT: pinsrd $1, 4(%rdi), %xmm1
2239 ; SSE42-NEXT: LBB18_4: ## %else2
2240 ; SSE42-NEXT: pxor %xmm2, %xmm2
2241 ; SSE42-NEXT: pcmpeqd %xmm2, %xmm0
2242 ; SSE42-NEXT: pextrb $8, %xmm0, %eax
2243 ; SSE42-NEXT: testb $1, %al
2244 ; SSE42-NEXT: je LBB18_6
2245 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
2246 ; SSE42-NEXT: pinsrd $2, 8(%rdi), %xmm1
2247 ; SSE42-NEXT: LBB18_6: ## %else5
2248 ; SSE42-NEXT: pextrb $12, %xmm0, %eax
2249 ; SSE42-NEXT: testb $1, %al
2250 ; SSE42-NEXT: je LBB18_8
2251 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
2252 ; SSE42-NEXT: pinsrd $3, 12(%rdi), %xmm1
2253 ; SSE42-NEXT: LBB18_8: ## %else8
2254 ; SSE42-NEXT: movdqa %xmm1, %xmm0
2257 ; AVX1-LABEL: load_v4i32_v4i32:
2259 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
2260 ; AVX1-NEXT: vpcmpeqd %xmm2, %xmm0, %xmm0
2261 ; AVX1-NEXT: vmaskmovps (%rdi), %xmm0, %xmm2
2262 ; AVX1-NEXT: vblendvps %xmm0, %xmm2, %xmm1, %xmm0
2265 ; AVX2-LABEL: load_v4i32_v4i32:
2267 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
2268 ; AVX2-NEXT: vpcmpeqd %xmm2, %xmm0, %xmm0
2269 ; AVX2-NEXT: vpmaskmovd (%rdi), %xmm0, %xmm2
2270 ; AVX2-NEXT: vblendvps %xmm0, %xmm2, %xmm1, %xmm0
2273 ; AVX512F-LABEL: load_v4i32_v4i32:
2274 ; AVX512F: ## %bb.0:
2275 ; AVX512F-NEXT: ## kill: def $xmm1 killed $xmm1 def $zmm1
2276 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 def $zmm0
2277 ; AVX512F-NEXT: vptestnmd %zmm0, %zmm0, %k0
2278 ; AVX512F-NEXT: kshiftlw $12, %k0, %k0
2279 ; AVX512F-NEXT: kshiftrw $12, %k0, %k1
2280 ; AVX512F-NEXT: vpblendmd (%rdi), %zmm1, %zmm0 {%k1}
2281 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 killed $zmm0
2282 ; AVX512F-NEXT: vzeroupper
2283 ; AVX512F-NEXT: retq
2285 ; AVX512VL-LABEL: load_v4i32_v4i32:
2286 ; AVX512VL: ## %bb.0:
2287 ; AVX512VL-NEXT: vptestnmd %xmm0, %xmm0, %k1
2288 ; AVX512VL-NEXT: vpblendmd (%rdi), %xmm1, %xmm0 {%k1}
2289 ; AVX512VL-NEXT: retq
2290 %mask = icmp eq <4 x i32> %trigger, zeroinitializer
2291 %res = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* %addr, i32 4, <4 x i1> %mask, <4 x i32> %dst)
2295 define <8 x i32> @load_v8i32_v8i1(<8 x i1> %mask, <8 x i32>* %addr, <8 x i32> %dst) {
2296 ; SSE2-LABEL: load_v8i32_v8i1:
2298 ; SSE2-NEXT: movd %xmm0, %eax
2299 ; SSE2-NEXT: testb $1, %al
2300 ; SSE2-NEXT: je LBB19_2
2301 ; SSE2-NEXT: ## %bb.1: ## %cond.load
2302 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2303 ; SSE2-NEXT: movss {{.*#+}} xmm1 = xmm3[0],xmm1[1,2,3]
2304 ; SSE2-NEXT: LBB19_2: ## %else
2305 ; SSE2-NEXT: shrl $16, %eax
2306 ; SSE2-NEXT: testb $1, %al
2307 ; SSE2-NEXT: je LBB19_4
2308 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
2309 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2310 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm1[0,0]
2311 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[2,0],xmm1[2,3]
2312 ; SSE2-NEXT: movaps %xmm3, %xmm1
2313 ; SSE2-NEXT: LBB19_4: ## %else2
2314 ; SSE2-NEXT: pextrw $2, %xmm0, %eax
2315 ; SSE2-NEXT: testb $1, %al
2316 ; SSE2-NEXT: je LBB19_6
2317 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
2318 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2319 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm1[3,0]
2320 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,1],xmm3[0,2]
2321 ; SSE2-NEXT: LBB19_6: ## %else5
2322 ; SSE2-NEXT: pextrw $3, %xmm0, %eax
2323 ; SSE2-NEXT: testb $1, %al
2324 ; SSE2-NEXT: je LBB19_8
2325 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
2326 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2327 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm1[2,0]
2328 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,0]
2329 ; SSE2-NEXT: LBB19_8: ## %else8
2330 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
2331 ; SSE2-NEXT: testb $1, %al
2332 ; SSE2-NEXT: je LBB19_10
2333 ; SSE2-NEXT: ## %bb.9: ## %cond.load10
2334 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2335 ; SSE2-NEXT: movss {{.*#+}} xmm2 = xmm3[0],xmm2[1,2,3]
2336 ; SSE2-NEXT: LBB19_10: ## %else11
2337 ; SSE2-NEXT: pextrw $5, %xmm0, %eax
2338 ; SSE2-NEXT: testb $1, %al
2339 ; SSE2-NEXT: je LBB19_12
2340 ; SSE2-NEXT: ## %bb.11: ## %cond.load13
2341 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2342 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm2[0,0]
2343 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[2,0],xmm2[2,3]
2344 ; SSE2-NEXT: movaps %xmm3, %xmm2
2345 ; SSE2-NEXT: LBB19_12: ## %else14
2346 ; SSE2-NEXT: pextrw $6, %xmm0, %eax
2347 ; SSE2-NEXT: testb $1, %al
2348 ; SSE2-NEXT: je LBB19_14
2349 ; SSE2-NEXT: ## %bb.13: ## %cond.load16
2350 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2351 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm2[3,0]
2352 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,1],xmm3[0,2]
2353 ; SSE2-NEXT: LBB19_14: ## %else17
2354 ; SSE2-NEXT: pextrw $7, %xmm0, %eax
2355 ; SSE2-NEXT: testb $1, %al
2356 ; SSE2-NEXT: je LBB19_16
2357 ; SSE2-NEXT: ## %bb.15: ## %cond.load19
2358 ; SSE2-NEXT: movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
2359 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,0],xmm2[2,0]
2360 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,1],xmm0[2,0]
2361 ; SSE2-NEXT: LBB19_16: ## %else20
2362 ; SSE2-NEXT: movaps %xmm1, %xmm0
2363 ; SSE2-NEXT: movaps %xmm2, %xmm1
2366 ; SSE42-LABEL: load_v8i32_v8i1:
2368 ; SSE42-NEXT: pextrb $0, %xmm0, %eax
2369 ; SSE42-NEXT: testb $1, %al
2370 ; SSE42-NEXT: je LBB19_2
2371 ; SSE42-NEXT: ## %bb.1: ## %cond.load
2372 ; SSE42-NEXT: pinsrd $0, (%rdi), %xmm1
2373 ; SSE42-NEXT: LBB19_2: ## %else
2374 ; SSE42-NEXT: pextrb $2, %xmm0, %eax
2375 ; SSE42-NEXT: testb $1, %al
2376 ; SSE42-NEXT: je LBB19_4
2377 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
2378 ; SSE42-NEXT: pinsrd $1, 4(%rdi), %xmm1
2379 ; SSE42-NEXT: LBB19_4: ## %else2
2380 ; SSE42-NEXT: pextrb $4, %xmm0, %eax
2381 ; SSE42-NEXT: testb $1, %al
2382 ; SSE42-NEXT: je LBB19_6
2383 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
2384 ; SSE42-NEXT: pinsrd $2, 8(%rdi), %xmm1
2385 ; SSE42-NEXT: LBB19_6: ## %else5
2386 ; SSE42-NEXT: pextrb $6, %xmm0, %eax
2387 ; SSE42-NEXT: testb $1, %al
2388 ; SSE42-NEXT: je LBB19_8
2389 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
2390 ; SSE42-NEXT: pinsrd $3, 12(%rdi), %xmm1
2391 ; SSE42-NEXT: LBB19_8: ## %else8
2392 ; SSE42-NEXT: pextrb $8, %xmm0, %eax
2393 ; SSE42-NEXT: testb $1, %al
2394 ; SSE42-NEXT: je LBB19_10
2395 ; SSE42-NEXT: ## %bb.9: ## %cond.load10
2396 ; SSE42-NEXT: pinsrd $0, 16(%rdi), %xmm2
2397 ; SSE42-NEXT: LBB19_10: ## %else11
2398 ; SSE42-NEXT: pextrb $10, %xmm0, %eax
2399 ; SSE42-NEXT: testb $1, %al
2400 ; SSE42-NEXT: je LBB19_12
2401 ; SSE42-NEXT: ## %bb.11: ## %cond.load13
2402 ; SSE42-NEXT: pinsrd $1, 20(%rdi), %xmm2
2403 ; SSE42-NEXT: LBB19_12: ## %else14
2404 ; SSE42-NEXT: pextrb $12, %xmm0, %eax
2405 ; SSE42-NEXT: testb $1, %al
2406 ; SSE42-NEXT: je LBB19_14
2407 ; SSE42-NEXT: ## %bb.13: ## %cond.load16
2408 ; SSE42-NEXT: pinsrd $2, 24(%rdi), %xmm2
2409 ; SSE42-NEXT: LBB19_14: ## %else17
2410 ; SSE42-NEXT: pextrb $14, %xmm0, %eax
2411 ; SSE42-NEXT: testb $1, %al
2412 ; SSE42-NEXT: je LBB19_16
2413 ; SSE42-NEXT: ## %bb.15: ## %cond.load19
2414 ; SSE42-NEXT: pinsrd $3, 28(%rdi), %xmm2
2415 ; SSE42-NEXT: LBB19_16: ## %else20
2416 ; SSE42-NEXT: movdqa %xmm1, %xmm0
2417 ; SSE42-NEXT: movdqa %xmm2, %xmm1
2420 ; AVX1-LABEL: load_v8i32_v8i1:
2422 ; AVX1-NEXT: vpmovzxwd {{.*#+}} xmm2 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
2423 ; AVX1-NEXT: vpslld $31, %xmm2, %xmm2
2424 ; AVX1-NEXT: vpsrad $31, %xmm2, %xmm2
2425 ; AVX1-NEXT: vpunpckhwd {{.*#+}} xmm0 = xmm0[4,4,5,5,6,6,7,7]
2426 ; AVX1-NEXT: vpslld $31, %xmm0, %xmm0
2427 ; AVX1-NEXT: vpsrad $31, %xmm0, %xmm0
2428 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm2, %ymm0
2429 ; AVX1-NEXT: vmaskmovps (%rdi), %ymm0, %ymm2
2430 ; AVX1-NEXT: vblendvps %ymm0, %ymm2, %ymm1, %ymm0
2433 ; AVX2-LABEL: load_v8i32_v8i1:
2435 ; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
2436 ; AVX2-NEXT: vpslld $31, %ymm0, %ymm0
2437 ; AVX2-NEXT: vpsrad $31, %ymm0, %ymm0
2438 ; AVX2-NEXT: vpmaskmovd (%rdi), %ymm0, %ymm2
2439 ; AVX2-NEXT: vblendvps %ymm0, %ymm2, %ymm1, %ymm0
2442 ; AVX512F-LABEL: load_v8i32_v8i1:
2443 ; AVX512F: ## %bb.0:
2444 ; AVX512F-NEXT: ## kill: def $ymm1 killed $ymm1 def $zmm1
2445 ; AVX512F-NEXT: vpmovzxwq {{.*#+}} zmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero,xmm0[2],zero,zero,zero,xmm0[3],zero,zero,zero,xmm0[4],zero,zero,zero,xmm0[5],zero,zero,zero,xmm0[6],zero,zero,zero,xmm0[7],zero,zero,zero
2446 ; AVX512F-NEXT: vpsllq $63, %zmm0, %zmm0
2447 ; AVX512F-NEXT: vptestmq %zmm0, %zmm0, %k1
2448 ; AVX512F-NEXT: vpblendmd (%rdi), %zmm1, %zmm0 {%k1}
2449 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 killed $zmm0
2450 ; AVX512F-NEXT: retq
2452 ; AVX512VLDQ-LABEL: load_v8i32_v8i1:
2453 ; AVX512VLDQ: ## %bb.0:
2454 ; AVX512VLDQ-NEXT: vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
2455 ; AVX512VLDQ-NEXT: vpslld $31, %ymm0, %ymm0
2456 ; AVX512VLDQ-NEXT: vpmovd2m %ymm0, %k1
2457 ; AVX512VLDQ-NEXT: vpblendmd (%rdi), %ymm1, %ymm0 {%k1}
2458 ; AVX512VLDQ-NEXT: retq
2460 ; AVX512VLBW-LABEL: load_v8i32_v8i1:
2461 ; AVX512VLBW: ## %bb.0:
2462 ; AVX512VLBW-NEXT: vpsllw $15, %xmm0, %xmm0
2463 ; AVX512VLBW-NEXT: vpmovw2m %xmm0, %k1
2464 ; AVX512VLBW-NEXT: vpblendmd (%rdi), %ymm1, %ymm0 {%k1}
2465 ; AVX512VLBW-NEXT: retq
2466 %res = call <8 x i32> @llvm.masked.load.v8i32.p0v8i32(<8 x i32>* %addr, i32 4, <8 x i1> %mask, <8 x i32> %dst)
2470 define <8 x i32> @load_v8i32_v8i1_zero(<8 x i1> %mask, <8 x i32>* %addr) {
2471 ; SSE2-LABEL: load_v8i32_v8i1_zero:
2473 ; SSE2-NEXT: movdqa %xmm0, %xmm2
2474 ; SSE2-NEXT: movd %xmm0, %eax
2475 ; SSE2-NEXT: pxor %xmm0, %xmm0
2476 ; SSE2-NEXT: testb $1, %al
2477 ; SSE2-NEXT: xorps %xmm1, %xmm1
2478 ; SSE2-NEXT: je LBB20_2
2479 ; SSE2-NEXT: ## %bb.1: ## %cond.load
2480 ; SSE2-NEXT: movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
2481 ; SSE2-NEXT: xorps %xmm1, %xmm1
2482 ; SSE2-NEXT: LBB20_2: ## %else
2483 ; SSE2-NEXT: shrl $16, %eax
2484 ; SSE2-NEXT: testb $1, %al
2485 ; SSE2-NEXT: je LBB20_4
2486 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
2487 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2488 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[0,0]
2489 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[2,0],xmm0[2,3]
2490 ; SSE2-NEXT: movaps %xmm3, %xmm0
2491 ; SSE2-NEXT: LBB20_4: ## %else2
2492 ; SSE2-NEXT: pextrw $2, %xmm2, %eax
2493 ; SSE2-NEXT: testb $1, %al
2494 ; SSE2-NEXT: je LBB20_6
2495 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
2496 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2497 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[3,0]
2498 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,1],xmm3[0,2]
2499 ; SSE2-NEXT: LBB20_6: ## %else5
2500 ; SSE2-NEXT: pextrw $3, %xmm2, %eax
2501 ; SSE2-NEXT: testb $1, %al
2502 ; SSE2-NEXT: je LBB20_8
2503 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
2504 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2505 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[2,0]
2506 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,1],xmm3[2,0]
2507 ; SSE2-NEXT: LBB20_8: ## %else8
2508 ; SSE2-NEXT: pextrw $4, %xmm2, %eax
2509 ; SSE2-NEXT: testb $1, %al
2510 ; SSE2-NEXT: je LBB20_10
2511 ; SSE2-NEXT: ## %bb.9: ## %cond.load10
2512 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2513 ; SSE2-NEXT: movss {{.*#+}} xmm1 = xmm3[0],xmm1[1,2,3]
2514 ; SSE2-NEXT: LBB20_10: ## %else11
2515 ; SSE2-NEXT: pextrw $5, %xmm2, %eax
2516 ; SSE2-NEXT: testb $1, %al
2517 ; SSE2-NEXT: je LBB20_12
2518 ; SSE2-NEXT: ## %bb.11: ## %cond.load13
2519 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2520 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm1[0,0]
2521 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[2,0],xmm1[2,3]
2522 ; SSE2-NEXT: movaps %xmm3, %xmm1
2523 ; SSE2-NEXT: LBB20_12: ## %else14
2524 ; SSE2-NEXT: pextrw $6, %xmm2, %eax
2525 ; SSE2-NEXT: testb $1, %al
2526 ; SSE2-NEXT: je LBB20_14
2527 ; SSE2-NEXT: ## %bb.13: ## %cond.load16
2528 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2529 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm1[3,0]
2530 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,1],xmm3[0,2]
2531 ; SSE2-NEXT: LBB20_14: ## %else17
2532 ; SSE2-NEXT: pextrw $7, %xmm2, %eax
2533 ; SSE2-NEXT: testb $1, %al
2534 ; SSE2-NEXT: je LBB20_16
2535 ; SSE2-NEXT: ## %bb.15: ## %cond.load19
2536 ; SSE2-NEXT: movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
2537 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,0],xmm1[2,0]
2538 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,0]
2539 ; SSE2-NEXT: LBB20_16: ## %else20
2542 ; SSE42-LABEL: load_v8i32_v8i1_zero:
2544 ; SSE42-NEXT: movdqa %xmm0, %xmm2
2545 ; SSE42-NEXT: pextrb $0, %xmm0, %eax
2546 ; SSE42-NEXT: pxor %xmm0, %xmm0
2547 ; SSE42-NEXT: testb $1, %al
2548 ; SSE42-NEXT: pxor %xmm1, %xmm1
2549 ; SSE42-NEXT: je LBB20_2
2550 ; SSE42-NEXT: ## %bb.1: ## %cond.load
2551 ; SSE42-NEXT: movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
2552 ; SSE42-NEXT: pxor %xmm1, %xmm1
2553 ; SSE42-NEXT: LBB20_2: ## %else
2554 ; SSE42-NEXT: pextrb $2, %xmm2, %eax
2555 ; SSE42-NEXT: testb $1, %al
2556 ; SSE42-NEXT: je LBB20_4
2557 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
2558 ; SSE42-NEXT: pinsrd $1, 4(%rdi), %xmm0
2559 ; SSE42-NEXT: LBB20_4: ## %else2
2560 ; SSE42-NEXT: pextrb $4, %xmm2, %eax
2561 ; SSE42-NEXT: testb $1, %al
2562 ; SSE42-NEXT: je LBB20_6
2563 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
2564 ; SSE42-NEXT: pinsrd $2, 8(%rdi), %xmm0
2565 ; SSE42-NEXT: LBB20_6: ## %else5
2566 ; SSE42-NEXT: pextrb $6, %xmm2, %eax
2567 ; SSE42-NEXT: testb $1, %al
2568 ; SSE42-NEXT: je LBB20_8
2569 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
2570 ; SSE42-NEXT: pinsrd $3, 12(%rdi), %xmm0
2571 ; SSE42-NEXT: LBB20_8: ## %else8
2572 ; SSE42-NEXT: pextrb $8, %xmm2, %eax
2573 ; SSE42-NEXT: testb $1, %al
2574 ; SSE42-NEXT: je LBB20_10
2575 ; SSE42-NEXT: ## %bb.9: ## %cond.load10
2576 ; SSE42-NEXT: pinsrd $0, 16(%rdi), %xmm1
2577 ; SSE42-NEXT: LBB20_10: ## %else11
2578 ; SSE42-NEXT: pextrb $10, %xmm2, %eax
2579 ; SSE42-NEXT: testb $1, %al
2580 ; SSE42-NEXT: je LBB20_12
2581 ; SSE42-NEXT: ## %bb.11: ## %cond.load13
2582 ; SSE42-NEXT: pinsrd $1, 20(%rdi), %xmm1
2583 ; SSE42-NEXT: LBB20_12: ## %else14
2584 ; SSE42-NEXT: pextrb $12, %xmm2, %eax
2585 ; SSE42-NEXT: testb $1, %al
2586 ; SSE42-NEXT: je LBB20_14
2587 ; SSE42-NEXT: ## %bb.13: ## %cond.load16
2588 ; SSE42-NEXT: pinsrd $2, 24(%rdi), %xmm1
2589 ; SSE42-NEXT: LBB20_14: ## %else17
2590 ; SSE42-NEXT: pextrb $14, %xmm2, %eax
2591 ; SSE42-NEXT: testb $1, %al
2592 ; SSE42-NEXT: je LBB20_16
2593 ; SSE42-NEXT: ## %bb.15: ## %cond.load19
2594 ; SSE42-NEXT: pinsrd $3, 28(%rdi), %xmm1
2595 ; SSE42-NEXT: LBB20_16: ## %else20
2598 ; AVX1-LABEL: load_v8i32_v8i1_zero:
2600 ; AVX1-NEXT: vpmovzxwd {{.*#+}} xmm1 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
2601 ; AVX1-NEXT: vpslld $31, %xmm1, %xmm1
2602 ; AVX1-NEXT: vpsrad $31, %xmm1, %xmm1
2603 ; AVX1-NEXT: vpunpckhwd {{.*#+}} xmm0 = xmm0[4,4,5,5,6,6,7,7]
2604 ; AVX1-NEXT: vpslld $31, %xmm0, %xmm0
2605 ; AVX1-NEXT: vpsrad $31, %xmm0, %xmm0
2606 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0
2607 ; AVX1-NEXT: vmaskmovps (%rdi), %ymm0, %ymm0
2610 ; AVX2-LABEL: load_v8i32_v8i1_zero:
2612 ; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
2613 ; AVX2-NEXT: vpslld $31, %ymm0, %ymm0
2614 ; AVX2-NEXT: vpsrad $31, %ymm0, %ymm0
2615 ; AVX2-NEXT: vpmaskmovd (%rdi), %ymm0, %ymm0
2618 ; AVX512F-LABEL: load_v8i32_v8i1_zero:
2619 ; AVX512F: ## %bb.0:
2620 ; AVX512F-NEXT: vpmovzxwq {{.*#+}} zmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero,xmm0[2],zero,zero,zero,xmm0[3],zero,zero,zero,xmm0[4],zero,zero,zero,xmm0[5],zero,zero,zero,xmm0[6],zero,zero,zero,xmm0[7],zero,zero,zero
2621 ; AVX512F-NEXT: vpsllq $63, %zmm0, %zmm0
2622 ; AVX512F-NEXT: vptestmq %zmm0, %zmm0, %k1
2623 ; AVX512F-NEXT: vmovdqu32 (%rdi), %zmm0 {%k1} {z}
2624 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 killed $zmm0
2625 ; AVX512F-NEXT: retq
2627 ; AVX512VLDQ-LABEL: load_v8i32_v8i1_zero:
2628 ; AVX512VLDQ: ## %bb.0:
2629 ; AVX512VLDQ-NEXT: vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
2630 ; AVX512VLDQ-NEXT: vpslld $31, %ymm0, %ymm0
2631 ; AVX512VLDQ-NEXT: vpmovd2m %ymm0, %k1
2632 ; AVX512VLDQ-NEXT: vmovdqu32 (%rdi), %ymm0 {%k1} {z}
2633 ; AVX512VLDQ-NEXT: retq
2635 ; AVX512VLBW-LABEL: load_v8i32_v8i1_zero:
2636 ; AVX512VLBW: ## %bb.0:
2637 ; AVX512VLBW-NEXT: vpsllw $15, %xmm0, %xmm0
2638 ; AVX512VLBW-NEXT: vpmovw2m %xmm0, %k1
2639 ; AVX512VLBW-NEXT: vmovdqu32 (%rdi), %ymm0 {%k1} {z}
2640 ; AVX512VLBW-NEXT: retq
2641 %res = call <8 x i32> @llvm.masked.load.v8i32.p0v8i32(<8 x i32>* %addr, i32 4, <8 x i1> %mask, <8 x i32> zeroinitializer)
2649 define <8 x i16> @load_v8i16_v8i16(<8 x i16> %trigger, <8 x i16>* %addr, <8 x i16> %dst) {
2650 ; SSE2-LABEL: load_v8i16_v8i16:
2652 ; SSE2-NEXT: pxor %xmm2, %xmm2
2653 ; SSE2-NEXT: pcmpgtw %xmm0, %xmm2
2654 ; SSE2-NEXT: movd %xmm2, %eax
2655 ; SSE2-NEXT: testb $1, %al
2656 ; SSE2-NEXT: je LBB21_2
2657 ; SSE2-NEXT: ## %bb.1: ## %cond.load
2658 ; SSE2-NEXT: pinsrw $0, (%rdi), %xmm1
2659 ; SSE2-NEXT: LBB21_2: ## %else
2660 ; SSE2-NEXT: shrl $16, %eax
2661 ; SSE2-NEXT: testb $1, %al
2662 ; SSE2-NEXT: je LBB21_4
2663 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
2664 ; SSE2-NEXT: pinsrw $1, 2(%rdi), %xmm1
2665 ; SSE2-NEXT: LBB21_4: ## %else2
2666 ; SSE2-NEXT: pxor %xmm2, %xmm2
2667 ; SSE2-NEXT: pcmpgtw %xmm0, %xmm2
2668 ; SSE2-NEXT: pextrw $2, %xmm2, %eax
2669 ; SSE2-NEXT: testb $1, %al
2670 ; SSE2-NEXT: je LBB21_6
2671 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
2672 ; SSE2-NEXT: pinsrw $2, 4(%rdi), %xmm1
2673 ; SSE2-NEXT: LBB21_6: ## %else5
2674 ; SSE2-NEXT: pextrw $3, %xmm2, %eax
2675 ; SSE2-NEXT: testb $1, %al
2676 ; SSE2-NEXT: je LBB21_8
2677 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
2678 ; SSE2-NEXT: pinsrw $3, 6(%rdi), %xmm1
2679 ; SSE2-NEXT: LBB21_8: ## %else8
2680 ; SSE2-NEXT: pxor %xmm2, %xmm2
2681 ; SSE2-NEXT: pcmpgtw %xmm0, %xmm2
2682 ; SSE2-NEXT: pextrw $4, %xmm2, %eax
2683 ; SSE2-NEXT: testb $1, %al
2684 ; SSE2-NEXT: je LBB21_10
2685 ; SSE2-NEXT: ## %bb.9: ## %cond.load10
2686 ; SSE2-NEXT: pinsrw $4, 8(%rdi), %xmm1
2687 ; SSE2-NEXT: LBB21_10: ## %else11
2688 ; SSE2-NEXT: pextrw $5, %xmm2, %eax
2689 ; SSE2-NEXT: testb $1, %al
2690 ; SSE2-NEXT: je LBB21_12
2691 ; SSE2-NEXT: ## %bb.11: ## %cond.load13
2692 ; SSE2-NEXT: pinsrw $5, 10(%rdi), %xmm1
2693 ; SSE2-NEXT: LBB21_12: ## %else14
2694 ; SSE2-NEXT: pxor %xmm2, %xmm2
2695 ; SSE2-NEXT: pcmpgtw %xmm0, %xmm2
2696 ; SSE2-NEXT: pextrw $6, %xmm2, %eax
2697 ; SSE2-NEXT: testb $1, %al
2698 ; SSE2-NEXT: je LBB21_14
2699 ; SSE2-NEXT: ## %bb.13: ## %cond.load16
2700 ; SSE2-NEXT: pinsrw $6, 12(%rdi), %xmm1
2701 ; SSE2-NEXT: LBB21_14: ## %else17
2702 ; SSE2-NEXT: pextrw $7, %xmm2, %eax
2703 ; SSE2-NEXT: testb $1, %al
2704 ; SSE2-NEXT: je LBB21_16
2705 ; SSE2-NEXT: ## %bb.15: ## %cond.load19
2706 ; SSE2-NEXT: pinsrw $7, 14(%rdi), %xmm1
2707 ; SSE2-NEXT: LBB21_16: ## %else20
2708 ; SSE2-NEXT: movdqa %xmm1, %xmm0
2711 ; SSE42-LABEL: load_v8i16_v8i16:
2713 ; SSE42-NEXT: pxor %xmm2, %xmm2
2714 ; SSE42-NEXT: pcmpgtw %xmm0, %xmm2
2715 ; SSE42-NEXT: pextrb $0, %xmm2, %eax
2716 ; SSE42-NEXT: testb $1, %al
2717 ; SSE42-NEXT: je LBB21_2
2718 ; SSE42-NEXT: ## %bb.1: ## %cond.load
2719 ; SSE42-NEXT: pinsrw $0, (%rdi), %xmm1
2720 ; SSE42-NEXT: LBB21_2: ## %else
2721 ; SSE42-NEXT: pextrb $2, %xmm2, %eax
2722 ; SSE42-NEXT: testb $1, %al
2723 ; SSE42-NEXT: je LBB21_4
2724 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
2725 ; SSE42-NEXT: pinsrw $1, 2(%rdi), %xmm1
2726 ; SSE42-NEXT: LBB21_4: ## %else2
2727 ; SSE42-NEXT: pxor %xmm2, %xmm2
2728 ; SSE42-NEXT: pcmpgtw %xmm0, %xmm2
2729 ; SSE42-NEXT: pextrb $4, %xmm2, %eax
2730 ; SSE42-NEXT: testb $1, %al
2731 ; SSE42-NEXT: je LBB21_6
2732 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
2733 ; SSE42-NEXT: pinsrw $2, 4(%rdi), %xmm1
2734 ; SSE42-NEXT: LBB21_6: ## %else5
2735 ; SSE42-NEXT: pextrb $6, %xmm2, %eax
2736 ; SSE42-NEXT: testb $1, %al
2737 ; SSE42-NEXT: je LBB21_8
2738 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
2739 ; SSE42-NEXT: pinsrw $3, 6(%rdi), %xmm1
2740 ; SSE42-NEXT: LBB21_8: ## %else8
2741 ; SSE42-NEXT: pxor %xmm2, %xmm2
2742 ; SSE42-NEXT: pcmpgtw %xmm0, %xmm2
2743 ; SSE42-NEXT: pextrb $8, %xmm2, %eax
2744 ; SSE42-NEXT: testb $1, %al
2745 ; SSE42-NEXT: je LBB21_10
2746 ; SSE42-NEXT: ## %bb.9: ## %cond.load10
2747 ; SSE42-NEXT: pinsrw $4, 8(%rdi), %xmm1
2748 ; SSE42-NEXT: LBB21_10: ## %else11
2749 ; SSE42-NEXT: pextrb $10, %xmm2, %eax
2750 ; SSE42-NEXT: testb $1, %al
2751 ; SSE42-NEXT: je LBB21_12
2752 ; SSE42-NEXT: ## %bb.11: ## %cond.load13
2753 ; SSE42-NEXT: pinsrw $5, 10(%rdi), %xmm1
2754 ; SSE42-NEXT: LBB21_12: ## %else14
2755 ; SSE42-NEXT: pxor %xmm2, %xmm2
2756 ; SSE42-NEXT: pcmpgtw %xmm0, %xmm2
2757 ; SSE42-NEXT: pextrb $12, %xmm2, %eax
2758 ; SSE42-NEXT: testb $1, %al
2759 ; SSE42-NEXT: je LBB21_14
2760 ; SSE42-NEXT: ## %bb.13: ## %cond.load16
2761 ; SSE42-NEXT: pinsrw $6, 12(%rdi), %xmm1
2762 ; SSE42-NEXT: LBB21_14: ## %else17
2763 ; SSE42-NEXT: pextrb $14, %xmm2, %eax
2764 ; SSE42-NEXT: testb $1, %al
2765 ; SSE42-NEXT: je LBB21_16
2766 ; SSE42-NEXT: ## %bb.15: ## %cond.load19
2767 ; SSE42-NEXT: pinsrw $7, 14(%rdi), %xmm1
2768 ; SSE42-NEXT: LBB21_16: ## %else20
2769 ; SSE42-NEXT: movdqa %xmm1, %xmm0
2772 ; AVX1OR2-LABEL: load_v8i16_v8i16:
2773 ; AVX1OR2: ## %bb.0:
2774 ; AVX1OR2-NEXT: vpxor %xmm2, %xmm2, %xmm2
2775 ; AVX1OR2-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
2776 ; AVX1OR2-NEXT: vpextrb $0, %xmm2, %eax
2777 ; AVX1OR2-NEXT: testb $1, %al
2778 ; AVX1OR2-NEXT: je LBB21_2
2779 ; AVX1OR2-NEXT: ## %bb.1: ## %cond.load
2780 ; AVX1OR2-NEXT: vpinsrw $0, (%rdi), %xmm1, %xmm1
2781 ; AVX1OR2-NEXT: LBB21_2: ## %else
2782 ; AVX1OR2-NEXT: vpextrb $2, %xmm2, %eax
2783 ; AVX1OR2-NEXT: testb $1, %al
2784 ; AVX1OR2-NEXT: je LBB21_4
2785 ; AVX1OR2-NEXT: ## %bb.3: ## %cond.load1
2786 ; AVX1OR2-NEXT: vpinsrw $1, 2(%rdi), %xmm1, %xmm1
2787 ; AVX1OR2-NEXT: LBB21_4: ## %else2
2788 ; AVX1OR2-NEXT: vpxor %xmm2, %xmm2, %xmm2
2789 ; AVX1OR2-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
2790 ; AVX1OR2-NEXT: vpextrb $4, %xmm2, %eax
2791 ; AVX1OR2-NEXT: testb $1, %al
2792 ; AVX1OR2-NEXT: je LBB21_6
2793 ; AVX1OR2-NEXT: ## %bb.5: ## %cond.load4
2794 ; AVX1OR2-NEXT: vpinsrw $2, 4(%rdi), %xmm1, %xmm1
2795 ; AVX1OR2-NEXT: LBB21_6: ## %else5
2796 ; AVX1OR2-NEXT: vpextrb $6, %xmm2, %eax
2797 ; AVX1OR2-NEXT: testb $1, %al
2798 ; AVX1OR2-NEXT: je LBB21_8
2799 ; AVX1OR2-NEXT: ## %bb.7: ## %cond.load7
2800 ; AVX1OR2-NEXT: vpinsrw $3, 6(%rdi), %xmm1, %xmm1
2801 ; AVX1OR2-NEXT: LBB21_8: ## %else8
2802 ; AVX1OR2-NEXT: vpxor %xmm2, %xmm2, %xmm2
2803 ; AVX1OR2-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
2804 ; AVX1OR2-NEXT: vpextrb $8, %xmm2, %eax
2805 ; AVX1OR2-NEXT: testb $1, %al
2806 ; AVX1OR2-NEXT: je LBB21_10
2807 ; AVX1OR2-NEXT: ## %bb.9: ## %cond.load10
2808 ; AVX1OR2-NEXT: vpinsrw $4, 8(%rdi), %xmm1, %xmm1
2809 ; AVX1OR2-NEXT: LBB21_10: ## %else11
2810 ; AVX1OR2-NEXT: vpextrb $10, %xmm2, %eax
2811 ; AVX1OR2-NEXT: testb $1, %al
2812 ; AVX1OR2-NEXT: je LBB21_12
2813 ; AVX1OR2-NEXT: ## %bb.11: ## %cond.load13
2814 ; AVX1OR2-NEXT: vpinsrw $5, 10(%rdi), %xmm1, %xmm1
2815 ; AVX1OR2-NEXT: LBB21_12: ## %else14
2816 ; AVX1OR2-NEXT: vpxor %xmm2, %xmm2, %xmm2
2817 ; AVX1OR2-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm0
2818 ; AVX1OR2-NEXT: vpextrb $12, %xmm0, %eax
2819 ; AVX1OR2-NEXT: testb $1, %al
2820 ; AVX1OR2-NEXT: je LBB21_14
2821 ; AVX1OR2-NEXT: ## %bb.13: ## %cond.load16
2822 ; AVX1OR2-NEXT: vpinsrw $6, 12(%rdi), %xmm1, %xmm1
2823 ; AVX1OR2-NEXT: LBB21_14: ## %else17
2824 ; AVX1OR2-NEXT: vpextrb $14, %xmm0, %eax
2825 ; AVX1OR2-NEXT: testb $1, %al
2826 ; AVX1OR2-NEXT: je LBB21_16
2827 ; AVX1OR2-NEXT: ## %bb.15: ## %cond.load19
2828 ; AVX1OR2-NEXT: vpinsrw $7, 14(%rdi), %xmm1, %xmm1
2829 ; AVX1OR2-NEXT: LBB21_16: ## %else20
2830 ; AVX1OR2-NEXT: vmovdqa %xmm1, %xmm0
2831 ; AVX1OR2-NEXT: retq
2833 ; AVX512F-LABEL: load_v8i16_v8i16:
2834 ; AVX512F: ## %bb.0:
2835 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
2836 ; AVX512F-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
2837 ; AVX512F-NEXT: vpmovsxwq %xmm2, %zmm2
2838 ; AVX512F-NEXT: vptestmq %zmm2, %zmm2, %k0
2839 ; AVX512F-NEXT: kmovw %k0, %eax
2840 ; AVX512F-NEXT: testb $1, %al
2841 ; AVX512F-NEXT: je LBB21_2
2842 ; AVX512F-NEXT: ## %bb.1: ## %cond.load
2843 ; AVX512F-NEXT: vpinsrw $0, (%rdi), %xmm1, %xmm1
2844 ; AVX512F-NEXT: LBB21_2: ## %else
2845 ; AVX512F-NEXT: kshiftrw $1, %k0, %k0
2846 ; AVX512F-NEXT: kmovw %k0, %eax
2847 ; AVX512F-NEXT: testb $1, %al
2848 ; AVX512F-NEXT: je LBB21_4
2849 ; AVX512F-NEXT: ## %bb.3: ## %cond.load1
2850 ; AVX512F-NEXT: vpinsrw $1, 2(%rdi), %xmm1, %xmm1
2851 ; AVX512F-NEXT: LBB21_4: ## %else2
2852 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
2853 ; AVX512F-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
2854 ; AVX512F-NEXT: vpmovsxwq %xmm2, %zmm2
2855 ; AVX512F-NEXT: vptestmq %zmm2, %zmm2, %k0
2856 ; AVX512F-NEXT: kshiftrw $2, %k0, %k1
2857 ; AVX512F-NEXT: kmovw %k1, %eax
2858 ; AVX512F-NEXT: testb $1, %al
2859 ; AVX512F-NEXT: je LBB21_6
2860 ; AVX512F-NEXT: ## %bb.5: ## %cond.load4
2861 ; AVX512F-NEXT: vpinsrw $2, 4(%rdi), %xmm1, %xmm1
2862 ; AVX512F-NEXT: LBB21_6: ## %else5
2863 ; AVX512F-NEXT: kshiftrw $3, %k0, %k0
2864 ; AVX512F-NEXT: kmovw %k0, %eax
2865 ; AVX512F-NEXT: testb $1, %al
2866 ; AVX512F-NEXT: je LBB21_8
2867 ; AVX512F-NEXT: ## %bb.7: ## %cond.load7
2868 ; AVX512F-NEXT: vpinsrw $3, 6(%rdi), %xmm1, %xmm1
2869 ; AVX512F-NEXT: LBB21_8: ## %else8
2870 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
2871 ; AVX512F-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
2872 ; AVX512F-NEXT: vpmovsxwq %xmm2, %zmm2
2873 ; AVX512F-NEXT: vptestmq %zmm2, %zmm2, %k0
2874 ; AVX512F-NEXT: kshiftrw $4, %k0, %k1
2875 ; AVX512F-NEXT: kmovw %k1, %eax
2876 ; AVX512F-NEXT: testb $1, %al
2877 ; AVX512F-NEXT: je LBB21_10
2878 ; AVX512F-NEXT: ## %bb.9: ## %cond.load10
2879 ; AVX512F-NEXT: vpinsrw $4, 8(%rdi), %xmm1, %xmm1
2880 ; AVX512F-NEXT: LBB21_10: ## %else11
2881 ; AVX512F-NEXT: kshiftrw $5, %k0, %k0
2882 ; AVX512F-NEXT: kmovw %k0, %eax
2883 ; AVX512F-NEXT: testb $1, %al
2884 ; AVX512F-NEXT: je LBB21_12
2885 ; AVX512F-NEXT: ## %bb.11: ## %cond.load13
2886 ; AVX512F-NEXT: vpinsrw $5, 10(%rdi), %xmm1, %xmm1
2887 ; AVX512F-NEXT: LBB21_12: ## %else14
2888 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
2889 ; AVX512F-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm0
2890 ; AVX512F-NEXT: vpmovsxwq %xmm0, %zmm0
2891 ; AVX512F-NEXT: vptestmq %zmm0, %zmm0, %k0
2892 ; AVX512F-NEXT: kshiftrw $6, %k0, %k1
2893 ; AVX512F-NEXT: kmovw %k1, %eax
2894 ; AVX512F-NEXT: testb $1, %al
2895 ; AVX512F-NEXT: je LBB21_14
2896 ; AVX512F-NEXT: ## %bb.13: ## %cond.load16
2897 ; AVX512F-NEXT: vpinsrw $6, 12(%rdi), %xmm1, %xmm1
2898 ; AVX512F-NEXT: LBB21_14: ## %else17
2899 ; AVX512F-NEXT: kshiftrw $7, %k0, %k0
2900 ; AVX512F-NEXT: kmovw %k0, %eax
2901 ; AVX512F-NEXT: testb $1, %al
2902 ; AVX512F-NEXT: je LBB21_16
2903 ; AVX512F-NEXT: ## %bb.15: ## %cond.load19
2904 ; AVX512F-NEXT: vpinsrw $7, 14(%rdi), %xmm1, %xmm1
2905 ; AVX512F-NEXT: LBB21_16: ## %else20
2906 ; AVX512F-NEXT: vmovdqa %xmm1, %xmm0
2907 ; AVX512F-NEXT: vzeroupper
2908 ; AVX512F-NEXT: retq
2910 ; AVX512VLDQ-LABEL: load_v8i16_v8i16:
2911 ; AVX512VLDQ: ## %bb.0:
2912 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
2913 ; AVX512VLDQ-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
2914 ; AVX512VLDQ-NEXT: vpmovsxwd %xmm2, %ymm2
2915 ; AVX512VLDQ-NEXT: vpmovd2m %ymm2, %k0
2916 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
2917 ; AVX512VLDQ-NEXT: testb $1, %al
2918 ; AVX512VLDQ-NEXT: je LBB21_2
2919 ; AVX512VLDQ-NEXT: ## %bb.1: ## %cond.load
2920 ; AVX512VLDQ-NEXT: vpinsrw $0, (%rdi), %xmm1, %xmm1
2921 ; AVX512VLDQ-NEXT: LBB21_2: ## %else
2922 ; AVX512VLDQ-NEXT: kshiftrb $1, %k0, %k0
2923 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
2924 ; AVX512VLDQ-NEXT: testb $1, %al
2925 ; AVX512VLDQ-NEXT: je LBB21_4
2926 ; AVX512VLDQ-NEXT: ## %bb.3: ## %cond.load1
2927 ; AVX512VLDQ-NEXT: vpinsrw $1, 2(%rdi), %xmm1, %xmm1
2928 ; AVX512VLDQ-NEXT: LBB21_4: ## %else2
2929 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
2930 ; AVX512VLDQ-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
2931 ; AVX512VLDQ-NEXT: vpmovsxwd %xmm2, %ymm2
2932 ; AVX512VLDQ-NEXT: vpmovd2m %ymm2, %k0
2933 ; AVX512VLDQ-NEXT: kshiftrb $2, %k0, %k1
2934 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
2935 ; AVX512VLDQ-NEXT: testb $1, %al
2936 ; AVX512VLDQ-NEXT: je LBB21_6
2937 ; AVX512VLDQ-NEXT: ## %bb.5: ## %cond.load4
2938 ; AVX512VLDQ-NEXT: vpinsrw $2, 4(%rdi), %xmm1, %xmm1
2939 ; AVX512VLDQ-NEXT: LBB21_6: ## %else5
2940 ; AVX512VLDQ-NEXT: kshiftrb $3, %k0, %k0
2941 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
2942 ; AVX512VLDQ-NEXT: testb $1, %al
2943 ; AVX512VLDQ-NEXT: je LBB21_8
2944 ; AVX512VLDQ-NEXT: ## %bb.7: ## %cond.load7
2945 ; AVX512VLDQ-NEXT: vpinsrw $3, 6(%rdi), %xmm1, %xmm1
2946 ; AVX512VLDQ-NEXT: LBB21_8: ## %else8
2947 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
2948 ; AVX512VLDQ-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
2949 ; AVX512VLDQ-NEXT: vpmovsxwd %xmm2, %ymm2
2950 ; AVX512VLDQ-NEXT: vpmovd2m %ymm2, %k0
2951 ; AVX512VLDQ-NEXT: kshiftrb $4, %k0, %k1
2952 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
2953 ; AVX512VLDQ-NEXT: testb $1, %al
2954 ; AVX512VLDQ-NEXT: je LBB21_10
2955 ; AVX512VLDQ-NEXT: ## %bb.9: ## %cond.load10
2956 ; AVX512VLDQ-NEXT: vpinsrw $4, 8(%rdi), %xmm1, %xmm1
2957 ; AVX512VLDQ-NEXT: LBB21_10: ## %else11
2958 ; AVX512VLDQ-NEXT: kshiftrb $5, %k0, %k0
2959 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
2960 ; AVX512VLDQ-NEXT: testb $1, %al
2961 ; AVX512VLDQ-NEXT: je LBB21_12
2962 ; AVX512VLDQ-NEXT: ## %bb.11: ## %cond.load13
2963 ; AVX512VLDQ-NEXT: vpinsrw $5, 10(%rdi), %xmm1, %xmm1
2964 ; AVX512VLDQ-NEXT: LBB21_12: ## %else14
2965 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
2966 ; AVX512VLDQ-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm0
2967 ; AVX512VLDQ-NEXT: vpmovsxwd %xmm0, %ymm0
2968 ; AVX512VLDQ-NEXT: vpmovd2m %ymm0, %k0
2969 ; AVX512VLDQ-NEXT: kshiftrb $6, %k0, %k1
2970 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
2971 ; AVX512VLDQ-NEXT: testb $1, %al
2972 ; AVX512VLDQ-NEXT: je LBB21_14
2973 ; AVX512VLDQ-NEXT: ## %bb.13: ## %cond.load16
2974 ; AVX512VLDQ-NEXT: vpinsrw $6, 12(%rdi), %xmm1, %xmm1
2975 ; AVX512VLDQ-NEXT: LBB21_14: ## %else17
2976 ; AVX512VLDQ-NEXT: kshiftrb $7, %k0, %k0
2977 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
2978 ; AVX512VLDQ-NEXT: testb $1, %al
2979 ; AVX512VLDQ-NEXT: je LBB21_16
2980 ; AVX512VLDQ-NEXT: ## %bb.15: ## %cond.load19
2981 ; AVX512VLDQ-NEXT: vpinsrw $7, 14(%rdi), %xmm1, %xmm1
2982 ; AVX512VLDQ-NEXT: LBB21_16: ## %else20
2983 ; AVX512VLDQ-NEXT: vmovdqa %xmm1, %xmm0
2984 ; AVX512VLDQ-NEXT: vzeroupper
2985 ; AVX512VLDQ-NEXT: retq
2987 ; AVX512VLBW-LABEL: load_v8i16_v8i16:
2988 ; AVX512VLBW: ## %bb.0:
2989 ; AVX512VLBW-NEXT: vpmovw2m %xmm0, %k1
2990 ; AVX512VLBW-NEXT: vpblendmw (%rdi), %xmm1, %xmm0 {%k1}
2991 ; AVX512VLBW-NEXT: retq
2992 %mask = icmp slt <8 x i16> %trigger, zeroinitializer
2993 %res = call <8 x i16> @llvm.masked.load.v8i16.p0v8i16(<8 x i16>* %addr, i32 4, <8 x i1> %mask, <8 x i16> %dst)
2997 define <16 x i16> @load_v16i16_v16i16(<16 x i16> %trigger, <16 x i16>* %addr, <16 x i16> %dst) {
2998 ; SSE2-LABEL: load_v16i16_v16i16:
3000 ; SSE2-NEXT: pxor %xmm4, %xmm4
3001 ; SSE2-NEXT: pcmpgtw %xmm0, %xmm4
3002 ; SSE2-NEXT: movd %xmm4, %eax
3003 ; SSE2-NEXT: testb $1, %al
3004 ; SSE2-NEXT: je LBB22_2
3005 ; SSE2-NEXT: ## %bb.1: ## %cond.load
3006 ; SSE2-NEXT: pinsrw $0, (%rdi), %xmm2
3007 ; SSE2-NEXT: LBB22_2: ## %else
3008 ; SSE2-NEXT: shrl $16, %eax
3009 ; SSE2-NEXT: testb $1, %al
3010 ; SSE2-NEXT: je LBB22_4
3011 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
3012 ; SSE2-NEXT: pinsrw $1, 2(%rdi), %xmm2
3013 ; SSE2-NEXT: LBB22_4: ## %else2
3014 ; SSE2-NEXT: pxor %xmm4, %xmm4
3015 ; SSE2-NEXT: pcmpgtw %xmm0, %xmm4
3016 ; SSE2-NEXT: pextrw $2, %xmm4, %eax
3017 ; SSE2-NEXT: testb $1, %al
3018 ; SSE2-NEXT: je LBB22_6
3019 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
3020 ; SSE2-NEXT: pinsrw $2, 4(%rdi), %xmm2
3021 ; SSE2-NEXT: LBB22_6: ## %else5
3022 ; SSE2-NEXT: pextrw $3, %xmm4, %eax
3023 ; SSE2-NEXT: testb $1, %al
3024 ; SSE2-NEXT: je LBB22_8
3025 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
3026 ; SSE2-NEXT: pinsrw $3, 6(%rdi), %xmm2
3027 ; SSE2-NEXT: LBB22_8: ## %else8
3028 ; SSE2-NEXT: pxor %xmm4, %xmm4
3029 ; SSE2-NEXT: pcmpgtw %xmm0, %xmm4
3030 ; SSE2-NEXT: pextrw $4, %xmm4, %eax
3031 ; SSE2-NEXT: testb $1, %al
3032 ; SSE2-NEXT: je LBB22_10
3033 ; SSE2-NEXT: ## %bb.9: ## %cond.load10
3034 ; SSE2-NEXT: pinsrw $4, 8(%rdi), %xmm2
3035 ; SSE2-NEXT: LBB22_10: ## %else11
3036 ; SSE2-NEXT: pextrw $5, %xmm4, %eax
3037 ; SSE2-NEXT: testb $1, %al
3038 ; SSE2-NEXT: je LBB22_12
3039 ; SSE2-NEXT: ## %bb.11: ## %cond.load13
3040 ; SSE2-NEXT: pinsrw $5, 10(%rdi), %xmm2
3041 ; SSE2-NEXT: LBB22_12: ## %else14
3042 ; SSE2-NEXT: pxor %xmm4, %xmm4
3043 ; SSE2-NEXT: pcmpgtw %xmm0, %xmm4
3044 ; SSE2-NEXT: pextrw $6, %xmm4, %eax
3045 ; SSE2-NEXT: testb $1, %al
3046 ; SSE2-NEXT: je LBB22_14
3047 ; SSE2-NEXT: ## %bb.13: ## %cond.load16
3048 ; SSE2-NEXT: pinsrw $6, 12(%rdi), %xmm2
3049 ; SSE2-NEXT: LBB22_14: ## %else17
3050 ; SSE2-NEXT: pextrw $7, %xmm4, %eax
3051 ; SSE2-NEXT: testb $1, %al
3052 ; SSE2-NEXT: je LBB22_16
3053 ; SSE2-NEXT: ## %bb.15: ## %cond.load19
3054 ; SSE2-NEXT: pinsrw $7, 14(%rdi), %xmm2
3055 ; SSE2-NEXT: LBB22_16: ## %else20
3056 ; SSE2-NEXT: pxor %xmm0, %xmm0
3057 ; SSE2-NEXT: pcmpgtw %xmm1, %xmm0
3058 ; SSE2-NEXT: movd %xmm0, %eax
3059 ; SSE2-NEXT: testb $1, %al
3060 ; SSE2-NEXT: je LBB22_18
3061 ; SSE2-NEXT: ## %bb.17: ## %cond.load22
3062 ; SSE2-NEXT: pinsrw $0, 16(%rdi), %xmm3
3063 ; SSE2-NEXT: LBB22_18: ## %else23
3064 ; SSE2-NEXT: shrl $16, %eax
3065 ; SSE2-NEXT: testb $1, %al
3066 ; SSE2-NEXT: je LBB22_20
3067 ; SSE2-NEXT: ## %bb.19: ## %cond.load25
3068 ; SSE2-NEXT: pinsrw $1, 18(%rdi), %xmm3
3069 ; SSE2-NEXT: LBB22_20: ## %else26
3070 ; SSE2-NEXT: pxor %xmm0, %xmm0
3071 ; SSE2-NEXT: pcmpgtw %xmm1, %xmm0
3072 ; SSE2-NEXT: pextrw $2, %xmm0, %eax
3073 ; SSE2-NEXT: testb $1, %al
3074 ; SSE2-NEXT: je LBB22_22
3075 ; SSE2-NEXT: ## %bb.21: ## %cond.load28
3076 ; SSE2-NEXT: pinsrw $2, 20(%rdi), %xmm3
3077 ; SSE2-NEXT: LBB22_22: ## %else29
3078 ; SSE2-NEXT: pextrw $3, %xmm0, %eax
3079 ; SSE2-NEXT: testb $1, %al
3080 ; SSE2-NEXT: je LBB22_24
3081 ; SSE2-NEXT: ## %bb.23: ## %cond.load31
3082 ; SSE2-NEXT: pinsrw $3, 22(%rdi), %xmm3
3083 ; SSE2-NEXT: LBB22_24: ## %else32
3084 ; SSE2-NEXT: pxor %xmm0, %xmm0
3085 ; SSE2-NEXT: pcmpgtw %xmm1, %xmm0
3086 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
3087 ; SSE2-NEXT: testb $1, %al
3088 ; SSE2-NEXT: je LBB22_26
3089 ; SSE2-NEXT: ## %bb.25: ## %cond.load34
3090 ; SSE2-NEXT: pinsrw $4, 24(%rdi), %xmm3
3091 ; SSE2-NEXT: LBB22_26: ## %else35
3092 ; SSE2-NEXT: pextrw $5, %xmm0, %eax
3093 ; SSE2-NEXT: testb $1, %al
3094 ; SSE2-NEXT: je LBB22_28
3095 ; SSE2-NEXT: ## %bb.27: ## %cond.load37
3096 ; SSE2-NEXT: pinsrw $5, 26(%rdi), %xmm3
3097 ; SSE2-NEXT: LBB22_28: ## %else38
3098 ; SSE2-NEXT: pxor %xmm0, %xmm0
3099 ; SSE2-NEXT: pcmpgtw %xmm1, %xmm0
3100 ; SSE2-NEXT: pextrw $6, %xmm0, %eax
3101 ; SSE2-NEXT: testb $1, %al
3102 ; SSE2-NEXT: je LBB22_30
3103 ; SSE2-NEXT: ## %bb.29: ## %cond.load40
3104 ; SSE2-NEXT: pinsrw $6, 28(%rdi), %xmm3
3105 ; SSE2-NEXT: LBB22_30: ## %else41
3106 ; SSE2-NEXT: pextrw $7, %xmm0, %eax
3107 ; SSE2-NEXT: testb $1, %al
3108 ; SSE2-NEXT: je LBB22_32
3109 ; SSE2-NEXT: ## %bb.31: ## %cond.load43
3110 ; SSE2-NEXT: pinsrw $7, 30(%rdi), %xmm3
3111 ; SSE2-NEXT: LBB22_32: ## %else44
3112 ; SSE2-NEXT: movdqa %xmm2, %xmm0
3113 ; SSE2-NEXT: movdqa %xmm3, %xmm1
3116 ; SSE42-LABEL: load_v16i16_v16i16:
3118 ; SSE42-NEXT: pxor %xmm4, %xmm4
3119 ; SSE42-NEXT: pcmpgtw %xmm0, %xmm4
3120 ; SSE42-NEXT: pextrb $0, %xmm4, %eax
3121 ; SSE42-NEXT: testb $1, %al
3122 ; SSE42-NEXT: je LBB22_2
3123 ; SSE42-NEXT: ## %bb.1: ## %cond.load
3124 ; SSE42-NEXT: pinsrw $0, (%rdi), %xmm2
3125 ; SSE42-NEXT: LBB22_2: ## %else
3126 ; SSE42-NEXT: pextrb $2, %xmm4, %eax
3127 ; SSE42-NEXT: testb $1, %al
3128 ; SSE42-NEXT: je LBB22_4
3129 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
3130 ; SSE42-NEXT: pinsrw $1, 2(%rdi), %xmm2
3131 ; SSE42-NEXT: LBB22_4: ## %else2
3132 ; SSE42-NEXT: pxor %xmm4, %xmm4
3133 ; SSE42-NEXT: pcmpgtw %xmm0, %xmm4
3134 ; SSE42-NEXT: pextrb $4, %xmm4, %eax
3135 ; SSE42-NEXT: testb $1, %al
3136 ; SSE42-NEXT: je LBB22_6
3137 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
3138 ; SSE42-NEXT: pinsrw $2, 4(%rdi), %xmm2
3139 ; SSE42-NEXT: LBB22_6: ## %else5
3140 ; SSE42-NEXT: pextrb $6, %xmm4, %eax
3141 ; SSE42-NEXT: testb $1, %al
3142 ; SSE42-NEXT: je LBB22_8
3143 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
3144 ; SSE42-NEXT: pinsrw $3, 6(%rdi), %xmm2
3145 ; SSE42-NEXT: LBB22_8: ## %else8
3146 ; SSE42-NEXT: pxor %xmm4, %xmm4
3147 ; SSE42-NEXT: pcmpgtw %xmm0, %xmm4
3148 ; SSE42-NEXT: pextrb $8, %xmm4, %eax
3149 ; SSE42-NEXT: testb $1, %al
3150 ; SSE42-NEXT: je LBB22_10
3151 ; SSE42-NEXT: ## %bb.9: ## %cond.load10
3152 ; SSE42-NEXT: pinsrw $4, 8(%rdi), %xmm2
3153 ; SSE42-NEXT: LBB22_10: ## %else11
3154 ; SSE42-NEXT: pextrb $10, %xmm4, %eax
3155 ; SSE42-NEXT: testb $1, %al
3156 ; SSE42-NEXT: je LBB22_12
3157 ; SSE42-NEXT: ## %bb.11: ## %cond.load13
3158 ; SSE42-NEXT: pinsrw $5, 10(%rdi), %xmm2
3159 ; SSE42-NEXT: LBB22_12: ## %else14
3160 ; SSE42-NEXT: pxor %xmm4, %xmm4
3161 ; SSE42-NEXT: pcmpgtw %xmm0, %xmm4
3162 ; SSE42-NEXT: pextrb $12, %xmm4, %eax
3163 ; SSE42-NEXT: testb $1, %al
3164 ; SSE42-NEXT: je LBB22_14
3165 ; SSE42-NEXT: ## %bb.13: ## %cond.load16
3166 ; SSE42-NEXT: pinsrw $6, 12(%rdi), %xmm2
3167 ; SSE42-NEXT: LBB22_14: ## %else17
3168 ; SSE42-NEXT: pextrb $14, %xmm4, %eax
3169 ; SSE42-NEXT: testb $1, %al
3170 ; SSE42-NEXT: je LBB22_16
3171 ; SSE42-NEXT: ## %bb.15: ## %cond.load19
3172 ; SSE42-NEXT: pinsrw $7, 14(%rdi), %xmm2
3173 ; SSE42-NEXT: LBB22_16: ## %else20
3174 ; SSE42-NEXT: pxor %xmm0, %xmm0
3175 ; SSE42-NEXT: pcmpgtw %xmm1, %xmm0
3176 ; SSE42-NEXT: pextrb $0, %xmm0, %eax
3177 ; SSE42-NEXT: testb $1, %al
3178 ; SSE42-NEXT: je LBB22_18
3179 ; SSE42-NEXT: ## %bb.17: ## %cond.load22
3180 ; SSE42-NEXT: pinsrw $0, 16(%rdi), %xmm3
3181 ; SSE42-NEXT: LBB22_18: ## %else23
3182 ; SSE42-NEXT: pextrb $2, %xmm0, %eax
3183 ; SSE42-NEXT: testb $1, %al
3184 ; SSE42-NEXT: je LBB22_20
3185 ; SSE42-NEXT: ## %bb.19: ## %cond.load25
3186 ; SSE42-NEXT: pinsrw $1, 18(%rdi), %xmm3
3187 ; SSE42-NEXT: LBB22_20: ## %else26
3188 ; SSE42-NEXT: pxor %xmm0, %xmm0
3189 ; SSE42-NEXT: pcmpgtw %xmm1, %xmm0
3190 ; SSE42-NEXT: pextrb $4, %xmm0, %eax
3191 ; SSE42-NEXT: testb $1, %al
3192 ; SSE42-NEXT: je LBB22_22
3193 ; SSE42-NEXT: ## %bb.21: ## %cond.load28
3194 ; SSE42-NEXT: pinsrw $2, 20(%rdi), %xmm3
3195 ; SSE42-NEXT: LBB22_22: ## %else29
3196 ; SSE42-NEXT: pextrb $6, %xmm0, %eax
3197 ; SSE42-NEXT: testb $1, %al
3198 ; SSE42-NEXT: je LBB22_24
3199 ; SSE42-NEXT: ## %bb.23: ## %cond.load31
3200 ; SSE42-NEXT: pinsrw $3, 22(%rdi), %xmm3
3201 ; SSE42-NEXT: LBB22_24: ## %else32
3202 ; SSE42-NEXT: pxor %xmm0, %xmm0
3203 ; SSE42-NEXT: pcmpgtw %xmm1, %xmm0
3204 ; SSE42-NEXT: pextrb $8, %xmm0, %eax
3205 ; SSE42-NEXT: testb $1, %al
3206 ; SSE42-NEXT: je LBB22_26
3207 ; SSE42-NEXT: ## %bb.25: ## %cond.load34
3208 ; SSE42-NEXT: pinsrw $4, 24(%rdi), %xmm3
3209 ; SSE42-NEXT: LBB22_26: ## %else35
3210 ; SSE42-NEXT: pextrb $10, %xmm0, %eax
3211 ; SSE42-NEXT: testb $1, %al
3212 ; SSE42-NEXT: je LBB22_28
3213 ; SSE42-NEXT: ## %bb.27: ## %cond.load37
3214 ; SSE42-NEXT: pinsrw $5, 26(%rdi), %xmm3
3215 ; SSE42-NEXT: LBB22_28: ## %else38
3216 ; SSE42-NEXT: pxor %xmm0, %xmm0
3217 ; SSE42-NEXT: pcmpgtw %xmm1, %xmm0
3218 ; SSE42-NEXT: pextrb $12, %xmm0, %eax
3219 ; SSE42-NEXT: testb $1, %al
3220 ; SSE42-NEXT: je LBB22_30
3221 ; SSE42-NEXT: ## %bb.29: ## %cond.load40
3222 ; SSE42-NEXT: pinsrw $6, 28(%rdi), %xmm3
3223 ; SSE42-NEXT: LBB22_30: ## %else41
3224 ; SSE42-NEXT: pextrb $14, %xmm0, %eax
3225 ; SSE42-NEXT: testb $1, %al
3226 ; SSE42-NEXT: je LBB22_32
3227 ; SSE42-NEXT: ## %bb.31: ## %cond.load43
3228 ; SSE42-NEXT: pinsrw $7, 30(%rdi), %xmm3
3229 ; SSE42-NEXT: LBB22_32: ## %else44
3230 ; SSE42-NEXT: movdqa %xmm2, %xmm0
3231 ; SSE42-NEXT: movdqa %xmm3, %xmm1
3234 ; AVX1-LABEL: load_v16i16_v16i16:
3236 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
3237 ; AVX1-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm3
3238 ; AVX1-NEXT: vpextrb $0, %xmm3, %eax
3239 ; AVX1-NEXT: testb $1, %al
3240 ; AVX1-NEXT: je LBB22_2
3241 ; AVX1-NEXT: ## %bb.1: ## %cond.load
3242 ; AVX1-NEXT: vpinsrw $0, (%rdi), %xmm1, %xmm3
3243 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3244 ; AVX1-NEXT: LBB22_2: ## %else
3245 ; AVX1-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
3246 ; AVX1-NEXT: vpextrb $2, %xmm2, %eax
3247 ; AVX1-NEXT: testb $1, %al
3248 ; AVX1-NEXT: je LBB22_4
3249 ; AVX1-NEXT: ## %bb.3: ## %cond.load1
3250 ; AVX1-NEXT: vpinsrw $1, 2(%rdi), %xmm1, %xmm2
3251 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3252 ; AVX1-NEXT: LBB22_4: ## %else2
3253 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
3254 ; AVX1-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm3
3255 ; AVX1-NEXT: vpextrb $4, %xmm3, %eax
3256 ; AVX1-NEXT: testb $1, %al
3257 ; AVX1-NEXT: je LBB22_6
3258 ; AVX1-NEXT: ## %bb.5: ## %cond.load4
3259 ; AVX1-NEXT: vpinsrw $2, 4(%rdi), %xmm1, %xmm3
3260 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3261 ; AVX1-NEXT: LBB22_6: ## %else5
3262 ; AVX1-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
3263 ; AVX1-NEXT: vpextrb $6, %xmm2, %eax
3264 ; AVX1-NEXT: testb $1, %al
3265 ; AVX1-NEXT: je LBB22_8
3266 ; AVX1-NEXT: ## %bb.7: ## %cond.load7
3267 ; AVX1-NEXT: vpinsrw $3, 6(%rdi), %xmm1, %xmm2
3268 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3269 ; AVX1-NEXT: LBB22_8: ## %else8
3270 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
3271 ; AVX1-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm3
3272 ; AVX1-NEXT: vpextrb $8, %xmm3, %eax
3273 ; AVX1-NEXT: testb $1, %al
3274 ; AVX1-NEXT: je LBB22_10
3275 ; AVX1-NEXT: ## %bb.9: ## %cond.load10
3276 ; AVX1-NEXT: vpinsrw $4, 8(%rdi), %xmm1, %xmm3
3277 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3278 ; AVX1-NEXT: LBB22_10: ## %else11
3279 ; AVX1-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
3280 ; AVX1-NEXT: vpextrb $10, %xmm2, %eax
3281 ; AVX1-NEXT: testb $1, %al
3282 ; AVX1-NEXT: je LBB22_12
3283 ; AVX1-NEXT: ## %bb.11: ## %cond.load13
3284 ; AVX1-NEXT: vpinsrw $5, 10(%rdi), %xmm1, %xmm2
3285 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3286 ; AVX1-NEXT: LBB22_12: ## %else14
3287 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
3288 ; AVX1-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm3
3289 ; AVX1-NEXT: vpextrb $12, %xmm3, %eax
3290 ; AVX1-NEXT: testb $1, %al
3291 ; AVX1-NEXT: je LBB22_14
3292 ; AVX1-NEXT: ## %bb.13: ## %cond.load16
3293 ; AVX1-NEXT: vpinsrw $6, 12(%rdi), %xmm1, %xmm3
3294 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3295 ; AVX1-NEXT: LBB22_14: ## %else17
3296 ; AVX1-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
3297 ; AVX1-NEXT: vpextrb $14, %xmm2, %eax
3298 ; AVX1-NEXT: testb $1, %al
3299 ; AVX1-NEXT: je LBB22_16
3300 ; AVX1-NEXT: ## %bb.15: ## %cond.load19
3301 ; AVX1-NEXT: vpinsrw $7, 14(%rdi), %xmm1, %xmm2
3302 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3303 ; AVX1-NEXT: LBB22_16: ## %else20
3304 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0
3305 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
3306 ; AVX1-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
3307 ; AVX1-NEXT: vpextrb $0, %xmm2, %eax
3308 ; AVX1-NEXT: testb $1, %al
3309 ; AVX1-NEXT: je LBB22_18
3310 ; AVX1-NEXT: ## %bb.17: ## %cond.load22
3311 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3
3312 ; AVX1-NEXT: vpinsrw $0, 16(%rdi), %xmm3, %xmm3
3313 ; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm1, %ymm1
3314 ; AVX1-NEXT: LBB22_18: ## %else23
3315 ; AVX1-NEXT: vpextrb $2, %xmm2, %eax
3316 ; AVX1-NEXT: testb $1, %al
3317 ; AVX1-NEXT: je LBB22_20
3318 ; AVX1-NEXT: ## %bb.19: ## %cond.load25
3319 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
3320 ; AVX1-NEXT: vpinsrw $1, 18(%rdi), %xmm2, %xmm2
3321 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
3322 ; AVX1-NEXT: LBB22_20: ## %else26
3323 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
3324 ; AVX1-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
3325 ; AVX1-NEXT: vpextrb $4, %xmm2, %eax
3326 ; AVX1-NEXT: testb $1, %al
3327 ; AVX1-NEXT: je LBB22_22
3328 ; AVX1-NEXT: ## %bb.21: ## %cond.load28
3329 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3
3330 ; AVX1-NEXT: vpinsrw $2, 20(%rdi), %xmm3, %xmm3
3331 ; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm1, %ymm1
3332 ; AVX1-NEXT: LBB22_22: ## %else29
3333 ; AVX1-NEXT: vpextrb $6, %xmm2, %eax
3334 ; AVX1-NEXT: testb $1, %al
3335 ; AVX1-NEXT: je LBB22_24
3336 ; AVX1-NEXT: ## %bb.23: ## %cond.load31
3337 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
3338 ; AVX1-NEXT: vpinsrw $3, 22(%rdi), %xmm2, %xmm2
3339 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
3340 ; AVX1-NEXT: LBB22_24: ## %else32
3341 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
3342 ; AVX1-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm2
3343 ; AVX1-NEXT: vpextrb $8, %xmm2, %eax
3344 ; AVX1-NEXT: testb $1, %al
3345 ; AVX1-NEXT: je LBB22_26
3346 ; AVX1-NEXT: ## %bb.25: ## %cond.load34
3347 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3
3348 ; AVX1-NEXT: vpinsrw $4, 24(%rdi), %xmm3, %xmm3
3349 ; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm1, %ymm1
3350 ; AVX1-NEXT: LBB22_26: ## %else35
3351 ; AVX1-NEXT: vpextrb $10, %xmm2, %eax
3352 ; AVX1-NEXT: testb $1, %al
3353 ; AVX1-NEXT: je LBB22_28
3354 ; AVX1-NEXT: ## %bb.27: ## %cond.load37
3355 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
3356 ; AVX1-NEXT: vpinsrw $5, 26(%rdi), %xmm2, %xmm2
3357 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
3358 ; AVX1-NEXT: LBB22_28: ## %else38
3359 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
3360 ; AVX1-NEXT: vpcmpgtw %xmm0, %xmm2, %xmm0
3361 ; AVX1-NEXT: vpextrb $12, %xmm0, %eax
3362 ; AVX1-NEXT: testb $1, %al
3363 ; AVX1-NEXT: je LBB22_30
3364 ; AVX1-NEXT: ## %bb.29: ## %cond.load40
3365 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
3366 ; AVX1-NEXT: vpinsrw $6, 28(%rdi), %xmm2, %xmm2
3367 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
3368 ; AVX1-NEXT: LBB22_30: ## %else41
3369 ; AVX1-NEXT: vpextrb $14, %xmm0, %eax
3370 ; AVX1-NEXT: testb $1, %al
3371 ; AVX1-NEXT: je LBB22_32
3372 ; AVX1-NEXT: ## %bb.31: ## %cond.load43
3373 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0
3374 ; AVX1-NEXT: vpinsrw $7, 30(%rdi), %xmm0, %xmm0
3375 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm1
3376 ; AVX1-NEXT: LBB22_32: ## %else44
3377 ; AVX1-NEXT: vmovaps %ymm1, %ymm0
3380 ; AVX2-LABEL: load_v16i16_v16i16:
3382 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
3383 ; AVX2-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3384 ; AVX2-NEXT: vpextrb $0, %xmm2, %eax
3385 ; AVX2-NEXT: testb $1, %al
3386 ; AVX2-NEXT: je LBB22_2
3387 ; AVX2-NEXT: ## %bb.1: ## %cond.load
3388 ; AVX2-NEXT: vpinsrw $0, (%rdi), %xmm1, %xmm3
3389 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3390 ; AVX2-NEXT: LBB22_2: ## %else
3391 ; AVX2-NEXT: vpextrb $2, %xmm2, %eax
3392 ; AVX2-NEXT: testb $1, %al
3393 ; AVX2-NEXT: je LBB22_4
3394 ; AVX2-NEXT: ## %bb.3: ## %cond.load1
3395 ; AVX2-NEXT: vpinsrw $1, 2(%rdi), %xmm1, %xmm2
3396 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3397 ; AVX2-NEXT: LBB22_4: ## %else2
3398 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
3399 ; AVX2-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3400 ; AVX2-NEXT: vpextrb $4, %xmm2, %eax
3401 ; AVX2-NEXT: testb $1, %al
3402 ; AVX2-NEXT: je LBB22_6
3403 ; AVX2-NEXT: ## %bb.5: ## %cond.load4
3404 ; AVX2-NEXT: vpinsrw $2, 4(%rdi), %xmm1, %xmm3
3405 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3406 ; AVX2-NEXT: LBB22_6: ## %else5
3407 ; AVX2-NEXT: vpextrb $6, %xmm2, %eax
3408 ; AVX2-NEXT: testb $1, %al
3409 ; AVX2-NEXT: je LBB22_8
3410 ; AVX2-NEXT: ## %bb.7: ## %cond.load7
3411 ; AVX2-NEXT: vpinsrw $3, 6(%rdi), %xmm1, %xmm2
3412 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3413 ; AVX2-NEXT: LBB22_8: ## %else8
3414 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
3415 ; AVX2-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3416 ; AVX2-NEXT: vpextrb $8, %xmm2, %eax
3417 ; AVX2-NEXT: testb $1, %al
3418 ; AVX2-NEXT: je LBB22_10
3419 ; AVX2-NEXT: ## %bb.9: ## %cond.load10
3420 ; AVX2-NEXT: vpinsrw $4, 8(%rdi), %xmm1, %xmm3
3421 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3422 ; AVX2-NEXT: LBB22_10: ## %else11
3423 ; AVX2-NEXT: vpextrb $10, %xmm2, %eax
3424 ; AVX2-NEXT: testb $1, %al
3425 ; AVX2-NEXT: je LBB22_12
3426 ; AVX2-NEXT: ## %bb.11: ## %cond.load13
3427 ; AVX2-NEXT: vpinsrw $5, 10(%rdi), %xmm1, %xmm2
3428 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3429 ; AVX2-NEXT: LBB22_12: ## %else14
3430 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
3431 ; AVX2-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3432 ; AVX2-NEXT: vpextrb $12, %xmm2, %eax
3433 ; AVX2-NEXT: testb $1, %al
3434 ; AVX2-NEXT: je LBB22_14
3435 ; AVX2-NEXT: ## %bb.13: ## %cond.load16
3436 ; AVX2-NEXT: vpinsrw $6, 12(%rdi), %xmm1, %xmm3
3437 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3438 ; AVX2-NEXT: LBB22_14: ## %else17
3439 ; AVX2-NEXT: vpextrb $14, %xmm2, %eax
3440 ; AVX2-NEXT: testb $1, %al
3441 ; AVX2-NEXT: je LBB22_16
3442 ; AVX2-NEXT: ## %bb.15: ## %cond.load19
3443 ; AVX2-NEXT: vpinsrw $7, 14(%rdi), %xmm1, %xmm2
3444 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3445 ; AVX2-NEXT: LBB22_16: ## %else20
3446 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
3447 ; AVX2-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3448 ; AVX2-NEXT: vextracti128 $1, %ymm2, %xmm2
3449 ; AVX2-NEXT: vpextrb $0, %xmm2, %eax
3450 ; AVX2-NEXT: testb $1, %al
3451 ; AVX2-NEXT: je LBB22_18
3452 ; AVX2-NEXT: ## %bb.17: ## %cond.load22
3453 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm3
3454 ; AVX2-NEXT: vpinsrw $0, 16(%rdi), %xmm3, %xmm3
3455 ; AVX2-NEXT: vinserti128 $1, %xmm3, %ymm1, %ymm1
3456 ; AVX2-NEXT: LBB22_18: ## %else23
3457 ; AVX2-NEXT: vpextrb $2, %xmm2, %eax
3458 ; AVX2-NEXT: testb $1, %al
3459 ; AVX2-NEXT: je LBB22_20
3460 ; AVX2-NEXT: ## %bb.19: ## %cond.load25
3461 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
3462 ; AVX2-NEXT: vpinsrw $1, 18(%rdi), %xmm2, %xmm2
3463 ; AVX2-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3464 ; AVX2-NEXT: LBB22_20: ## %else26
3465 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
3466 ; AVX2-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3467 ; AVX2-NEXT: vextracti128 $1, %ymm2, %xmm2
3468 ; AVX2-NEXT: vpextrb $4, %xmm2, %eax
3469 ; AVX2-NEXT: testb $1, %al
3470 ; AVX2-NEXT: je LBB22_22
3471 ; AVX2-NEXT: ## %bb.21: ## %cond.load28
3472 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm3
3473 ; AVX2-NEXT: vpinsrw $2, 20(%rdi), %xmm3, %xmm3
3474 ; AVX2-NEXT: vinserti128 $1, %xmm3, %ymm1, %ymm1
3475 ; AVX2-NEXT: LBB22_22: ## %else29
3476 ; AVX2-NEXT: vpextrb $6, %xmm2, %eax
3477 ; AVX2-NEXT: testb $1, %al
3478 ; AVX2-NEXT: je LBB22_24
3479 ; AVX2-NEXT: ## %bb.23: ## %cond.load31
3480 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
3481 ; AVX2-NEXT: vpinsrw $3, 22(%rdi), %xmm2, %xmm2
3482 ; AVX2-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3483 ; AVX2-NEXT: LBB22_24: ## %else32
3484 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
3485 ; AVX2-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3486 ; AVX2-NEXT: vextracti128 $1, %ymm2, %xmm2
3487 ; AVX2-NEXT: vpextrb $8, %xmm2, %eax
3488 ; AVX2-NEXT: testb $1, %al
3489 ; AVX2-NEXT: je LBB22_26
3490 ; AVX2-NEXT: ## %bb.25: ## %cond.load34
3491 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm3
3492 ; AVX2-NEXT: vpinsrw $4, 24(%rdi), %xmm3, %xmm3
3493 ; AVX2-NEXT: vinserti128 $1, %xmm3, %ymm1, %ymm1
3494 ; AVX2-NEXT: LBB22_26: ## %else35
3495 ; AVX2-NEXT: vpextrb $10, %xmm2, %eax
3496 ; AVX2-NEXT: testb $1, %al
3497 ; AVX2-NEXT: je LBB22_28
3498 ; AVX2-NEXT: ## %bb.27: ## %cond.load37
3499 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
3500 ; AVX2-NEXT: vpinsrw $5, 26(%rdi), %xmm2, %xmm2
3501 ; AVX2-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3502 ; AVX2-NEXT: LBB22_28: ## %else38
3503 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
3504 ; AVX2-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm0
3505 ; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm0
3506 ; AVX2-NEXT: vpextrb $12, %xmm0, %eax
3507 ; AVX2-NEXT: testb $1, %al
3508 ; AVX2-NEXT: je LBB22_30
3509 ; AVX2-NEXT: ## %bb.29: ## %cond.load40
3510 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
3511 ; AVX2-NEXT: vpinsrw $6, 28(%rdi), %xmm2, %xmm2
3512 ; AVX2-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3513 ; AVX2-NEXT: LBB22_30: ## %else41
3514 ; AVX2-NEXT: vpextrb $14, %xmm0, %eax
3515 ; AVX2-NEXT: testb $1, %al
3516 ; AVX2-NEXT: je LBB22_32
3517 ; AVX2-NEXT: ## %bb.31: ## %cond.load43
3518 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm0
3519 ; AVX2-NEXT: vpinsrw $7, 30(%rdi), %xmm0, %xmm0
3520 ; AVX2-NEXT: vinserti128 $1, %xmm0, %ymm1, %ymm1
3521 ; AVX2-NEXT: LBB22_32: ## %else44
3522 ; AVX2-NEXT: vmovdqa %ymm1, %ymm0
3525 ; AVX512F-LABEL: load_v16i16_v16i16:
3526 ; AVX512F: ## %bb.0:
3527 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
3528 ; AVX512F-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3529 ; AVX512F-NEXT: vpmovsxwd %ymm2, %zmm2
3530 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
3531 ; AVX512F-NEXT: kmovw %k0, %eax
3532 ; AVX512F-NEXT: testb $1, %al
3533 ; AVX512F-NEXT: je LBB22_2
3534 ; AVX512F-NEXT: ## %bb.1: ## %cond.load
3535 ; AVX512F-NEXT: vpinsrw $0, (%rdi), %xmm1, %xmm2
3536 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3537 ; AVX512F-NEXT: LBB22_2: ## %else
3538 ; AVX512F-NEXT: kshiftrw $1, %k0, %k0
3539 ; AVX512F-NEXT: kmovw %k0, %eax
3540 ; AVX512F-NEXT: testb $1, %al
3541 ; AVX512F-NEXT: je LBB22_4
3542 ; AVX512F-NEXT: ## %bb.3: ## %cond.load1
3543 ; AVX512F-NEXT: vpinsrw $1, 2(%rdi), %xmm1, %xmm2
3544 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3545 ; AVX512F-NEXT: LBB22_4: ## %else2
3546 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
3547 ; AVX512F-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3548 ; AVX512F-NEXT: vpmovsxwd %ymm2, %zmm2
3549 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
3550 ; AVX512F-NEXT: kshiftrw $2, %k0, %k1
3551 ; AVX512F-NEXT: kmovw %k1, %eax
3552 ; AVX512F-NEXT: testb $1, %al
3553 ; AVX512F-NEXT: je LBB22_6
3554 ; AVX512F-NEXT: ## %bb.5: ## %cond.load4
3555 ; AVX512F-NEXT: vpinsrw $2, 4(%rdi), %xmm1, %xmm2
3556 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3557 ; AVX512F-NEXT: LBB22_6: ## %else5
3558 ; AVX512F-NEXT: kshiftrw $3, %k0, %k0
3559 ; AVX512F-NEXT: kmovw %k0, %eax
3560 ; AVX512F-NEXT: testb $1, %al
3561 ; AVX512F-NEXT: je LBB22_8
3562 ; AVX512F-NEXT: ## %bb.7: ## %cond.load7
3563 ; AVX512F-NEXT: vpinsrw $3, 6(%rdi), %xmm1, %xmm2
3564 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3565 ; AVX512F-NEXT: LBB22_8: ## %else8
3566 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
3567 ; AVX512F-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3568 ; AVX512F-NEXT: vpmovsxwd %ymm2, %zmm2
3569 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
3570 ; AVX512F-NEXT: kshiftrw $4, %k0, %k1
3571 ; AVX512F-NEXT: kmovw %k1, %eax
3572 ; AVX512F-NEXT: testb $1, %al
3573 ; AVX512F-NEXT: je LBB22_10
3574 ; AVX512F-NEXT: ## %bb.9: ## %cond.load10
3575 ; AVX512F-NEXT: vpinsrw $4, 8(%rdi), %xmm1, %xmm2
3576 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3577 ; AVX512F-NEXT: LBB22_10: ## %else11
3578 ; AVX512F-NEXT: kshiftrw $5, %k0, %k0
3579 ; AVX512F-NEXT: kmovw %k0, %eax
3580 ; AVX512F-NEXT: testb $1, %al
3581 ; AVX512F-NEXT: je LBB22_12
3582 ; AVX512F-NEXT: ## %bb.11: ## %cond.load13
3583 ; AVX512F-NEXT: vpinsrw $5, 10(%rdi), %xmm1, %xmm2
3584 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3585 ; AVX512F-NEXT: LBB22_12: ## %else14
3586 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
3587 ; AVX512F-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3588 ; AVX512F-NEXT: vpmovsxwd %ymm2, %zmm2
3589 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
3590 ; AVX512F-NEXT: kshiftrw $6, %k0, %k1
3591 ; AVX512F-NEXT: kmovw %k1, %eax
3592 ; AVX512F-NEXT: testb $1, %al
3593 ; AVX512F-NEXT: je LBB22_14
3594 ; AVX512F-NEXT: ## %bb.13: ## %cond.load16
3595 ; AVX512F-NEXT: vpinsrw $6, 12(%rdi), %xmm1, %xmm2
3596 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3597 ; AVX512F-NEXT: LBB22_14: ## %else17
3598 ; AVX512F-NEXT: kshiftrw $7, %k0, %k0
3599 ; AVX512F-NEXT: kmovw %k0, %eax
3600 ; AVX512F-NEXT: testb $1, %al
3601 ; AVX512F-NEXT: je LBB22_16
3602 ; AVX512F-NEXT: ## %bb.15: ## %cond.load19
3603 ; AVX512F-NEXT: vpinsrw $7, 14(%rdi), %xmm1, %xmm2
3604 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3605 ; AVX512F-NEXT: LBB22_16: ## %else20
3606 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
3607 ; AVX512F-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3608 ; AVX512F-NEXT: vpmovsxwd %ymm2, %zmm2
3609 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
3610 ; AVX512F-NEXT: kshiftrw $8, %k0, %k1
3611 ; AVX512F-NEXT: kmovw %k1, %eax
3612 ; AVX512F-NEXT: testb $1, %al
3613 ; AVX512F-NEXT: je LBB22_18
3614 ; AVX512F-NEXT: ## %bb.17: ## %cond.load22
3615 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
3616 ; AVX512F-NEXT: vpinsrw $0, 16(%rdi), %xmm2, %xmm2
3617 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3618 ; AVX512F-NEXT: LBB22_18: ## %else23
3619 ; AVX512F-NEXT: kshiftrw $9, %k0, %k0
3620 ; AVX512F-NEXT: kmovw %k0, %eax
3621 ; AVX512F-NEXT: testb $1, %al
3622 ; AVX512F-NEXT: je LBB22_20
3623 ; AVX512F-NEXT: ## %bb.19: ## %cond.load25
3624 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
3625 ; AVX512F-NEXT: vpinsrw $1, 18(%rdi), %xmm2, %xmm2
3626 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3627 ; AVX512F-NEXT: LBB22_20: ## %else26
3628 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
3629 ; AVX512F-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3630 ; AVX512F-NEXT: vpmovsxwd %ymm2, %zmm2
3631 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
3632 ; AVX512F-NEXT: kshiftrw $10, %k0, %k1
3633 ; AVX512F-NEXT: kmovw %k1, %eax
3634 ; AVX512F-NEXT: testb $1, %al
3635 ; AVX512F-NEXT: je LBB22_22
3636 ; AVX512F-NEXT: ## %bb.21: ## %cond.load28
3637 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
3638 ; AVX512F-NEXT: vpinsrw $2, 20(%rdi), %xmm2, %xmm2
3639 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3640 ; AVX512F-NEXT: LBB22_22: ## %else29
3641 ; AVX512F-NEXT: kshiftrw $11, %k0, %k0
3642 ; AVX512F-NEXT: kmovw %k0, %eax
3643 ; AVX512F-NEXT: testb $1, %al
3644 ; AVX512F-NEXT: je LBB22_24
3645 ; AVX512F-NEXT: ## %bb.23: ## %cond.load31
3646 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
3647 ; AVX512F-NEXT: vpinsrw $3, 22(%rdi), %xmm2, %xmm2
3648 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3649 ; AVX512F-NEXT: LBB22_24: ## %else32
3650 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
3651 ; AVX512F-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3652 ; AVX512F-NEXT: vpmovsxwd %ymm2, %zmm2
3653 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
3654 ; AVX512F-NEXT: kshiftrw $12, %k0, %k1
3655 ; AVX512F-NEXT: kmovw %k1, %eax
3656 ; AVX512F-NEXT: testb $1, %al
3657 ; AVX512F-NEXT: je LBB22_26
3658 ; AVX512F-NEXT: ## %bb.25: ## %cond.load34
3659 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
3660 ; AVX512F-NEXT: vpinsrw $4, 24(%rdi), %xmm2, %xmm2
3661 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3662 ; AVX512F-NEXT: LBB22_26: ## %else35
3663 ; AVX512F-NEXT: kshiftrw $13, %k0, %k0
3664 ; AVX512F-NEXT: kmovw %k0, %eax
3665 ; AVX512F-NEXT: testb $1, %al
3666 ; AVX512F-NEXT: je LBB22_28
3667 ; AVX512F-NEXT: ## %bb.27: ## %cond.load37
3668 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
3669 ; AVX512F-NEXT: vpinsrw $5, 26(%rdi), %xmm2, %xmm2
3670 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3671 ; AVX512F-NEXT: LBB22_28: ## %else38
3672 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
3673 ; AVX512F-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm0
3674 ; AVX512F-NEXT: vpmovsxwd %ymm0, %zmm0
3675 ; AVX512F-NEXT: vptestmd %zmm0, %zmm0, %k0
3676 ; AVX512F-NEXT: kshiftrw $14, %k0, %k1
3677 ; AVX512F-NEXT: kmovw %k1, %eax
3678 ; AVX512F-NEXT: testb $1, %al
3679 ; AVX512F-NEXT: je LBB22_30
3680 ; AVX512F-NEXT: ## %bb.29: ## %cond.load40
3681 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm0
3682 ; AVX512F-NEXT: vpinsrw $6, 28(%rdi), %xmm0, %xmm0
3683 ; AVX512F-NEXT: vinserti128 $1, %xmm0, %ymm1, %ymm1
3684 ; AVX512F-NEXT: LBB22_30: ## %else41
3685 ; AVX512F-NEXT: kshiftrw $15, %k0, %k0
3686 ; AVX512F-NEXT: kmovw %k0, %eax
3687 ; AVX512F-NEXT: testb $1, %al
3688 ; AVX512F-NEXT: je LBB22_32
3689 ; AVX512F-NEXT: ## %bb.31: ## %cond.load43
3690 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm0
3691 ; AVX512F-NEXT: vpinsrw $7, 30(%rdi), %xmm0, %xmm0
3692 ; AVX512F-NEXT: vinserti128 $1, %xmm0, %ymm1, %ymm1
3693 ; AVX512F-NEXT: LBB22_32: ## %else44
3694 ; AVX512F-NEXT: vmovdqa %ymm1, %ymm0
3695 ; AVX512F-NEXT: retq
3697 ; AVX512VLDQ-LABEL: load_v16i16_v16i16:
3698 ; AVX512VLDQ: ## %bb.0:
3699 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
3700 ; AVX512VLDQ-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3701 ; AVX512VLDQ-NEXT: vpmovsxwd %ymm2, %zmm2
3702 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
3703 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
3704 ; AVX512VLDQ-NEXT: testb $1, %al
3705 ; AVX512VLDQ-NEXT: je LBB22_2
3706 ; AVX512VLDQ-NEXT: ## %bb.1: ## %cond.load
3707 ; AVX512VLDQ-NEXT: vpinsrw $0, (%rdi), %xmm1, %xmm2
3708 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3709 ; AVX512VLDQ-NEXT: LBB22_2: ## %else
3710 ; AVX512VLDQ-NEXT: kshiftrw $1, %k0, %k0
3711 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
3712 ; AVX512VLDQ-NEXT: testb $1, %al
3713 ; AVX512VLDQ-NEXT: je LBB22_4
3714 ; AVX512VLDQ-NEXT: ## %bb.3: ## %cond.load1
3715 ; AVX512VLDQ-NEXT: vpinsrw $1, 2(%rdi), %xmm1, %xmm2
3716 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3717 ; AVX512VLDQ-NEXT: LBB22_4: ## %else2
3718 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
3719 ; AVX512VLDQ-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3720 ; AVX512VLDQ-NEXT: vpmovsxwd %ymm2, %zmm2
3721 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
3722 ; AVX512VLDQ-NEXT: kshiftrw $2, %k0, %k1
3723 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
3724 ; AVX512VLDQ-NEXT: testb $1, %al
3725 ; AVX512VLDQ-NEXT: je LBB22_6
3726 ; AVX512VLDQ-NEXT: ## %bb.5: ## %cond.load4
3727 ; AVX512VLDQ-NEXT: vpinsrw $2, 4(%rdi), %xmm1, %xmm2
3728 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3729 ; AVX512VLDQ-NEXT: LBB22_6: ## %else5
3730 ; AVX512VLDQ-NEXT: kshiftrw $3, %k0, %k0
3731 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
3732 ; AVX512VLDQ-NEXT: testb $1, %al
3733 ; AVX512VLDQ-NEXT: je LBB22_8
3734 ; AVX512VLDQ-NEXT: ## %bb.7: ## %cond.load7
3735 ; AVX512VLDQ-NEXT: vpinsrw $3, 6(%rdi), %xmm1, %xmm2
3736 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3737 ; AVX512VLDQ-NEXT: LBB22_8: ## %else8
3738 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
3739 ; AVX512VLDQ-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3740 ; AVX512VLDQ-NEXT: vpmovsxwd %ymm2, %zmm2
3741 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
3742 ; AVX512VLDQ-NEXT: kshiftrw $4, %k0, %k1
3743 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
3744 ; AVX512VLDQ-NEXT: testb $1, %al
3745 ; AVX512VLDQ-NEXT: je LBB22_10
3746 ; AVX512VLDQ-NEXT: ## %bb.9: ## %cond.load10
3747 ; AVX512VLDQ-NEXT: vpinsrw $4, 8(%rdi), %xmm1, %xmm2
3748 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3749 ; AVX512VLDQ-NEXT: LBB22_10: ## %else11
3750 ; AVX512VLDQ-NEXT: kshiftrw $5, %k0, %k0
3751 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
3752 ; AVX512VLDQ-NEXT: testb $1, %al
3753 ; AVX512VLDQ-NEXT: je LBB22_12
3754 ; AVX512VLDQ-NEXT: ## %bb.11: ## %cond.load13
3755 ; AVX512VLDQ-NEXT: vpinsrw $5, 10(%rdi), %xmm1, %xmm2
3756 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3757 ; AVX512VLDQ-NEXT: LBB22_12: ## %else14
3758 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
3759 ; AVX512VLDQ-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3760 ; AVX512VLDQ-NEXT: vpmovsxwd %ymm2, %zmm2
3761 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
3762 ; AVX512VLDQ-NEXT: kshiftrw $6, %k0, %k1
3763 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
3764 ; AVX512VLDQ-NEXT: testb $1, %al
3765 ; AVX512VLDQ-NEXT: je LBB22_14
3766 ; AVX512VLDQ-NEXT: ## %bb.13: ## %cond.load16
3767 ; AVX512VLDQ-NEXT: vpinsrw $6, 12(%rdi), %xmm1, %xmm2
3768 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3769 ; AVX512VLDQ-NEXT: LBB22_14: ## %else17
3770 ; AVX512VLDQ-NEXT: kshiftrw $7, %k0, %k0
3771 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
3772 ; AVX512VLDQ-NEXT: testb $1, %al
3773 ; AVX512VLDQ-NEXT: je LBB22_16
3774 ; AVX512VLDQ-NEXT: ## %bb.15: ## %cond.load19
3775 ; AVX512VLDQ-NEXT: vpinsrw $7, 14(%rdi), %xmm1, %xmm2
3776 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3777 ; AVX512VLDQ-NEXT: LBB22_16: ## %else20
3778 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
3779 ; AVX512VLDQ-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3780 ; AVX512VLDQ-NEXT: vpmovsxwd %ymm2, %zmm2
3781 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
3782 ; AVX512VLDQ-NEXT: kshiftrw $8, %k0, %k1
3783 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
3784 ; AVX512VLDQ-NEXT: testb $1, %al
3785 ; AVX512VLDQ-NEXT: je LBB22_18
3786 ; AVX512VLDQ-NEXT: ## %bb.17: ## %cond.load22
3787 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
3788 ; AVX512VLDQ-NEXT: vpinsrw $0, 16(%rdi), %xmm2, %xmm2
3789 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3790 ; AVX512VLDQ-NEXT: LBB22_18: ## %else23
3791 ; AVX512VLDQ-NEXT: kshiftrw $9, %k0, %k0
3792 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
3793 ; AVX512VLDQ-NEXT: testb $1, %al
3794 ; AVX512VLDQ-NEXT: je LBB22_20
3795 ; AVX512VLDQ-NEXT: ## %bb.19: ## %cond.load25
3796 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
3797 ; AVX512VLDQ-NEXT: vpinsrw $1, 18(%rdi), %xmm2, %xmm2
3798 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3799 ; AVX512VLDQ-NEXT: LBB22_20: ## %else26
3800 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
3801 ; AVX512VLDQ-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3802 ; AVX512VLDQ-NEXT: vpmovsxwd %ymm2, %zmm2
3803 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
3804 ; AVX512VLDQ-NEXT: kshiftrw $10, %k0, %k1
3805 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
3806 ; AVX512VLDQ-NEXT: testb $1, %al
3807 ; AVX512VLDQ-NEXT: je LBB22_22
3808 ; AVX512VLDQ-NEXT: ## %bb.21: ## %cond.load28
3809 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
3810 ; AVX512VLDQ-NEXT: vpinsrw $2, 20(%rdi), %xmm2, %xmm2
3811 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3812 ; AVX512VLDQ-NEXT: LBB22_22: ## %else29
3813 ; AVX512VLDQ-NEXT: kshiftrw $11, %k0, %k0
3814 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
3815 ; AVX512VLDQ-NEXT: testb $1, %al
3816 ; AVX512VLDQ-NEXT: je LBB22_24
3817 ; AVX512VLDQ-NEXT: ## %bb.23: ## %cond.load31
3818 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
3819 ; AVX512VLDQ-NEXT: vpinsrw $3, 22(%rdi), %xmm2, %xmm2
3820 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3821 ; AVX512VLDQ-NEXT: LBB22_24: ## %else32
3822 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
3823 ; AVX512VLDQ-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm2
3824 ; AVX512VLDQ-NEXT: vpmovsxwd %ymm2, %zmm2
3825 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
3826 ; AVX512VLDQ-NEXT: kshiftrw $12, %k0, %k1
3827 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
3828 ; AVX512VLDQ-NEXT: testb $1, %al
3829 ; AVX512VLDQ-NEXT: je LBB22_26
3830 ; AVX512VLDQ-NEXT: ## %bb.25: ## %cond.load34
3831 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
3832 ; AVX512VLDQ-NEXT: vpinsrw $4, 24(%rdi), %xmm2, %xmm2
3833 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3834 ; AVX512VLDQ-NEXT: LBB22_26: ## %else35
3835 ; AVX512VLDQ-NEXT: kshiftrw $13, %k0, %k0
3836 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
3837 ; AVX512VLDQ-NEXT: testb $1, %al
3838 ; AVX512VLDQ-NEXT: je LBB22_28
3839 ; AVX512VLDQ-NEXT: ## %bb.27: ## %cond.load37
3840 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
3841 ; AVX512VLDQ-NEXT: vpinsrw $5, 26(%rdi), %xmm2, %xmm2
3842 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
3843 ; AVX512VLDQ-NEXT: LBB22_28: ## %else38
3844 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
3845 ; AVX512VLDQ-NEXT: vpcmpgtw %ymm0, %ymm2, %ymm0
3846 ; AVX512VLDQ-NEXT: vpmovsxwd %ymm0, %zmm0
3847 ; AVX512VLDQ-NEXT: vpmovd2m %zmm0, %k0
3848 ; AVX512VLDQ-NEXT: kshiftrw $14, %k0, %k1
3849 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
3850 ; AVX512VLDQ-NEXT: testb $1, %al
3851 ; AVX512VLDQ-NEXT: je LBB22_30
3852 ; AVX512VLDQ-NEXT: ## %bb.29: ## %cond.load40
3853 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm0
3854 ; AVX512VLDQ-NEXT: vpinsrw $6, 28(%rdi), %xmm0, %xmm0
3855 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm0, %ymm1, %ymm1
3856 ; AVX512VLDQ-NEXT: LBB22_30: ## %else41
3857 ; AVX512VLDQ-NEXT: kshiftrw $15, %k0, %k0
3858 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
3859 ; AVX512VLDQ-NEXT: testb $1, %al
3860 ; AVX512VLDQ-NEXT: je LBB22_32
3861 ; AVX512VLDQ-NEXT: ## %bb.31: ## %cond.load43
3862 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm0
3863 ; AVX512VLDQ-NEXT: vpinsrw $7, 30(%rdi), %xmm0, %xmm0
3864 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm0, %ymm1, %ymm1
3865 ; AVX512VLDQ-NEXT: LBB22_32: ## %else44
3866 ; AVX512VLDQ-NEXT: vmovdqa %ymm1, %ymm0
3867 ; AVX512VLDQ-NEXT: retq
3869 ; AVX512VLBW-LABEL: load_v16i16_v16i16:
3870 ; AVX512VLBW: ## %bb.0:
3871 ; AVX512VLBW-NEXT: vpmovw2m %ymm0, %k1
3872 ; AVX512VLBW-NEXT: vpblendmw (%rdi), %ymm1, %ymm0 {%k1}
3873 ; AVX512VLBW-NEXT: retq
3874 %mask = icmp slt <16 x i16> %trigger, zeroinitializer
3875 %res = call <16 x i16> @llvm.masked.load.v16i16.p0v16i16(<16 x i16>* %addr, i32 4, <16 x i1> %mask, <16 x i16> %dst)
3883 define <16 x i8> @load_v16i8_v16i8(<16 x i8> %trigger, <16 x i8>* %addr, <16 x i8> %dst) {
3884 ; SSE2-LABEL: load_v16i8_v16i8:
3886 ; SSE2-NEXT: pxor %xmm2, %xmm2
3887 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm2
3888 ; SSE2-NEXT: movd %xmm2, %eax
3889 ; SSE2-NEXT: testb $1, %al
3890 ; SSE2-NEXT: je LBB23_2
3891 ; SSE2-NEXT: ## %bb.1: ## %cond.load
3892 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [0,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
3893 ; SSE2-NEXT: pand %xmm2, %xmm1
3894 ; SSE2-NEXT: movzbl (%rdi), %ecx
3895 ; SSE2-NEXT: movd %ecx, %xmm3
3896 ; SSE2-NEXT: pandn %xmm3, %xmm2
3897 ; SSE2-NEXT: por %xmm2, %xmm1
3898 ; SSE2-NEXT: LBB23_2: ## %else
3899 ; SSE2-NEXT: shrl $8, %eax
3900 ; SSE2-NEXT: testb $1, %al
3901 ; SSE2-NEXT: je LBB23_4
3902 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
3903 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [255,0,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
3904 ; SSE2-NEXT: pand %xmm2, %xmm1
3905 ; SSE2-NEXT: movzbl 1(%rdi), %eax
3906 ; SSE2-NEXT: movd %eax, %xmm3
3907 ; SSE2-NEXT: psllw $8, %xmm3
3908 ; SSE2-NEXT: pandn %xmm3, %xmm2
3909 ; SSE2-NEXT: por %xmm2, %xmm1
3910 ; SSE2-NEXT: LBB23_4: ## %else2
3911 ; SSE2-NEXT: pxor %xmm2, %xmm2
3912 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm2
3913 ; SSE2-NEXT: movd %xmm2, %eax
3914 ; SSE2-NEXT: movl %eax, %ecx
3915 ; SSE2-NEXT: shrl $16, %ecx
3916 ; SSE2-NEXT: testb $1, %cl
3917 ; SSE2-NEXT: je LBB23_6
3918 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
3919 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [255,255,0,255,255,255,255,255,255,255,255,255,255,255,255,255]
3920 ; SSE2-NEXT: pand %xmm2, %xmm1
3921 ; SSE2-NEXT: movzbl 2(%rdi), %ecx
3922 ; SSE2-NEXT: movd %ecx, %xmm3
3923 ; SSE2-NEXT: pslld $16, %xmm3
3924 ; SSE2-NEXT: pandn %xmm3, %xmm2
3925 ; SSE2-NEXT: por %xmm2, %xmm1
3926 ; SSE2-NEXT: LBB23_6: ## %else5
3927 ; SSE2-NEXT: shrl $24, %eax
3928 ; SSE2-NEXT: testb $1, %al
3929 ; SSE2-NEXT: je LBB23_8
3930 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
3931 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [255,255,255,0,255,255,255,255,255,255,255,255,255,255,255,255]
3932 ; SSE2-NEXT: pand %xmm2, %xmm1
3933 ; SSE2-NEXT: movzbl 3(%rdi), %eax
3934 ; SSE2-NEXT: movd %eax, %xmm3
3935 ; SSE2-NEXT: pslld $24, %xmm3
3936 ; SSE2-NEXT: pandn %xmm3, %xmm2
3937 ; SSE2-NEXT: por %xmm2, %xmm1
3938 ; SSE2-NEXT: LBB23_8: ## %else8
3939 ; SSE2-NEXT: pxor %xmm2, %xmm2
3940 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm2
3941 ; SSE2-NEXT: pextrw $2, %xmm2, %eax
3942 ; SSE2-NEXT: testb $1, %al
3943 ; SSE2-NEXT: je LBB23_10
3944 ; SSE2-NEXT: ## %bb.9: ## %cond.load10
3945 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [255,255,255,255,0,255,255,255,255,255,255,255,255,255,255,255]
3946 ; SSE2-NEXT: pand %xmm2, %xmm1
3947 ; SSE2-NEXT: movzbl 4(%rdi), %ecx
3948 ; SSE2-NEXT: movd %ecx, %xmm3
3949 ; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm3[0,0,1,1]
3950 ; SSE2-NEXT: pandn %xmm3, %xmm2
3951 ; SSE2-NEXT: por %xmm2, %xmm1
3952 ; SSE2-NEXT: LBB23_10: ## %else11
3953 ; SSE2-NEXT: shrl $8, %eax
3954 ; SSE2-NEXT: testb $1, %al
3955 ; SSE2-NEXT: je LBB23_12
3956 ; SSE2-NEXT: ## %bb.11: ## %cond.load13
3957 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [255,255,255,255,255,0,255,255,255,255,255,255,255,255,255,255]
3958 ; SSE2-NEXT: pand %xmm2, %xmm1
3959 ; SSE2-NEXT: movzbl 5(%rdi), %eax
3960 ; SSE2-NEXT: movd %eax, %xmm3
3961 ; SSE2-NEXT: psllq $40, %xmm3
3962 ; SSE2-NEXT: pandn %xmm3, %xmm2
3963 ; SSE2-NEXT: por %xmm2, %xmm1
3964 ; SSE2-NEXT: LBB23_12: ## %else14
3965 ; SSE2-NEXT: pxor %xmm2, %xmm2
3966 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm2
3967 ; SSE2-NEXT: pextrw $3, %xmm2, %eax
3968 ; SSE2-NEXT: testb $1, %al
3969 ; SSE2-NEXT: je LBB23_14
3970 ; SSE2-NEXT: ## %bb.13: ## %cond.load16
3971 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,0,255,255,255,255,255,255,255,255,255]
3972 ; SSE2-NEXT: pand %xmm2, %xmm1
3973 ; SSE2-NEXT: movzbl 6(%rdi), %ecx
3974 ; SSE2-NEXT: movd %ecx, %xmm3
3975 ; SSE2-NEXT: psllq $48, %xmm3
3976 ; SSE2-NEXT: pandn %xmm3, %xmm2
3977 ; SSE2-NEXT: por %xmm2, %xmm1
3978 ; SSE2-NEXT: LBB23_14: ## %else17
3979 ; SSE2-NEXT: shrl $8, %eax
3980 ; SSE2-NEXT: testb $1, %al
3981 ; SSE2-NEXT: je LBB23_16
3982 ; SSE2-NEXT: ## %bb.15: ## %cond.load19
3983 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,0,255,255,255,255,255,255,255,255]
3984 ; SSE2-NEXT: pand %xmm2, %xmm1
3985 ; SSE2-NEXT: movzbl 7(%rdi), %eax
3986 ; SSE2-NEXT: movd %eax, %xmm3
3987 ; SSE2-NEXT: psllq $56, %xmm3
3988 ; SSE2-NEXT: pandn %xmm3, %xmm2
3989 ; SSE2-NEXT: por %xmm2, %xmm1
3990 ; SSE2-NEXT: LBB23_16: ## %else20
3991 ; SSE2-NEXT: pxor %xmm2, %xmm2
3992 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm2
3993 ; SSE2-NEXT: pextrw $4, %xmm2, %eax
3994 ; SSE2-NEXT: testb $1, %al
3995 ; SSE2-NEXT: je LBB23_18
3996 ; SSE2-NEXT: ## %bb.17: ## %cond.load22
3997 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255,0,255,255,255,255,255,255,255]
3998 ; SSE2-NEXT: pand %xmm2, %xmm1
3999 ; SSE2-NEXT: movzbl 8(%rdi), %ecx
4000 ; SSE2-NEXT: movd %ecx, %xmm3
4001 ; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm3[0,1,0,1]
4002 ; SSE2-NEXT: pandn %xmm3, %xmm2
4003 ; SSE2-NEXT: por %xmm2, %xmm1
4004 ; SSE2-NEXT: LBB23_18: ## %else23
4005 ; SSE2-NEXT: shrl $8, %eax
4006 ; SSE2-NEXT: testb $1, %al
4007 ; SSE2-NEXT: je LBB23_20
4008 ; SSE2-NEXT: ## %bb.19: ## %cond.load25
4009 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255,255,0,255,255,255,255,255,255]
4010 ; SSE2-NEXT: pand %xmm2, %xmm1
4011 ; SSE2-NEXT: movzbl 9(%rdi), %eax
4012 ; SSE2-NEXT: movd %eax, %xmm3
4013 ; SSE2-NEXT: pslldq {{.*#+}} xmm3 = zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm3[0,1,2,3,4,5,6]
4014 ; SSE2-NEXT: pandn %xmm3, %xmm2
4015 ; SSE2-NEXT: por %xmm2, %xmm1
4016 ; SSE2-NEXT: LBB23_20: ## %else26
4017 ; SSE2-NEXT: pxor %xmm2, %xmm2
4018 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm2
4019 ; SSE2-NEXT: pextrw $5, %xmm2, %eax
4020 ; SSE2-NEXT: testb $1, %al
4021 ; SSE2-NEXT: je LBB23_22
4022 ; SSE2-NEXT: ## %bb.21: ## %cond.load28
4023 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255,255,255,0,255,255,255,255,255]
4024 ; SSE2-NEXT: pand %xmm2, %xmm1
4025 ; SSE2-NEXT: movzbl 10(%rdi), %ecx
4026 ; SSE2-NEXT: movd %ecx, %xmm3
4027 ; SSE2-NEXT: pslldq {{.*#+}} xmm3 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm3[0,1,2,3,4,5]
4028 ; SSE2-NEXT: pandn %xmm3, %xmm2
4029 ; SSE2-NEXT: por %xmm2, %xmm1
4030 ; SSE2-NEXT: LBB23_22: ## %else29
4031 ; SSE2-NEXT: shrl $8, %eax
4032 ; SSE2-NEXT: testb $1, %al
4033 ; SSE2-NEXT: je LBB23_24
4034 ; SSE2-NEXT: ## %bb.23: ## %cond.load31
4035 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255,255,255,255,0,255,255,255,255]
4036 ; SSE2-NEXT: pand %xmm2, %xmm1
4037 ; SSE2-NEXT: movzbl 11(%rdi), %eax
4038 ; SSE2-NEXT: movd %eax, %xmm3
4039 ; SSE2-NEXT: pslldq {{.*#+}} xmm3 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm3[0,1,2,3,4]
4040 ; SSE2-NEXT: pandn %xmm3, %xmm2
4041 ; SSE2-NEXT: por %xmm2, %xmm1
4042 ; SSE2-NEXT: LBB23_24: ## %else32
4043 ; SSE2-NEXT: pxor %xmm2, %xmm2
4044 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm2
4045 ; SSE2-NEXT: pextrw $6, %xmm2, %eax
4046 ; SSE2-NEXT: testb $1, %al
4047 ; SSE2-NEXT: je LBB23_26
4048 ; SSE2-NEXT: ## %bb.25: ## %cond.load34
4049 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255,255,255,255,255,0,255,255,255]
4050 ; SSE2-NEXT: pand %xmm2, %xmm1
4051 ; SSE2-NEXT: movzbl 12(%rdi), %ecx
4052 ; SSE2-NEXT: movd %ecx, %xmm3
4053 ; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm3[0,1,2,0]
4054 ; SSE2-NEXT: pandn %xmm3, %xmm2
4055 ; SSE2-NEXT: por %xmm2, %xmm1
4056 ; SSE2-NEXT: LBB23_26: ## %else35
4057 ; SSE2-NEXT: shrl $8, %eax
4058 ; SSE2-NEXT: testb $1, %al
4059 ; SSE2-NEXT: je LBB23_28
4060 ; SSE2-NEXT: ## %bb.27: ## %cond.load37
4061 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255,255,255,255,255,255,0,255,255]
4062 ; SSE2-NEXT: pand %xmm2, %xmm1
4063 ; SSE2-NEXT: movzbl 13(%rdi), %eax
4064 ; SSE2-NEXT: movd %eax, %xmm3
4065 ; SSE2-NEXT: pslldq {{.*#+}} xmm3 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm3[0,1,2]
4066 ; SSE2-NEXT: pandn %xmm3, %xmm2
4067 ; SSE2-NEXT: por %xmm2, %xmm1
4068 ; SSE2-NEXT: LBB23_28: ## %else38
4069 ; SSE2-NEXT: pxor %xmm2, %xmm2
4070 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm2
4071 ; SSE2-NEXT: pextrw $7, %xmm2, %eax
4072 ; SSE2-NEXT: testb $1, %al
4073 ; SSE2-NEXT: je LBB23_30
4074 ; SSE2-NEXT: ## %bb.29: ## %cond.load40
4075 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,0,255]
4076 ; SSE2-NEXT: pand %xmm0, %xmm1
4077 ; SSE2-NEXT: movzbl 14(%rdi), %ecx
4078 ; SSE2-NEXT: movd %ecx, %xmm2
4079 ; SSE2-NEXT: pslldq {{.*#+}} xmm2 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm2[0,1]
4080 ; SSE2-NEXT: pandn %xmm2, %xmm0
4081 ; SSE2-NEXT: por %xmm0, %xmm1
4082 ; SSE2-NEXT: LBB23_30: ## %else41
4083 ; SSE2-NEXT: shrl $8, %eax
4084 ; SSE2-NEXT: testb $1, %al
4085 ; SSE2-NEXT: je LBB23_32
4086 ; SSE2-NEXT: ## %bb.31: ## %cond.load43
4087 ; SSE2-NEXT: pand {{.*}}(%rip), %xmm1
4088 ; SSE2-NEXT: movzbl 15(%rdi), %eax
4089 ; SSE2-NEXT: movd %eax, %xmm0
4090 ; SSE2-NEXT: pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0]
4091 ; SSE2-NEXT: por %xmm0, %xmm1
4092 ; SSE2-NEXT: LBB23_32: ## %else44
4093 ; SSE2-NEXT: movdqa %xmm1, %xmm0
4096 ; SSE42-LABEL: load_v16i8_v16i8:
4098 ; SSE42-NEXT: pxor %xmm2, %xmm2
4099 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm2
4100 ; SSE42-NEXT: pextrb $0, %xmm2, %eax
4101 ; SSE42-NEXT: testb $1, %al
4102 ; SSE42-NEXT: je LBB23_2
4103 ; SSE42-NEXT: ## %bb.1: ## %cond.load
4104 ; SSE42-NEXT: pinsrb $0, (%rdi), %xmm1
4105 ; SSE42-NEXT: LBB23_2: ## %else
4106 ; SSE42-NEXT: pextrb $1, %xmm2, %eax
4107 ; SSE42-NEXT: testb $1, %al
4108 ; SSE42-NEXT: je LBB23_4
4109 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
4110 ; SSE42-NEXT: pinsrb $1, 1(%rdi), %xmm1
4111 ; SSE42-NEXT: LBB23_4: ## %else2
4112 ; SSE42-NEXT: pxor %xmm2, %xmm2
4113 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm2
4114 ; SSE42-NEXT: pextrb $2, %xmm2, %eax
4115 ; SSE42-NEXT: testb $1, %al
4116 ; SSE42-NEXT: je LBB23_6
4117 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
4118 ; SSE42-NEXT: pinsrb $2, 2(%rdi), %xmm1
4119 ; SSE42-NEXT: LBB23_6: ## %else5
4120 ; SSE42-NEXT: pextrb $3, %xmm2, %eax
4121 ; SSE42-NEXT: testb $1, %al
4122 ; SSE42-NEXT: je LBB23_8
4123 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
4124 ; SSE42-NEXT: pinsrb $3, 3(%rdi), %xmm1
4125 ; SSE42-NEXT: LBB23_8: ## %else8
4126 ; SSE42-NEXT: pxor %xmm2, %xmm2
4127 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm2
4128 ; SSE42-NEXT: pextrb $4, %xmm2, %eax
4129 ; SSE42-NEXT: testb $1, %al
4130 ; SSE42-NEXT: je LBB23_10
4131 ; SSE42-NEXT: ## %bb.9: ## %cond.load10
4132 ; SSE42-NEXT: pinsrb $4, 4(%rdi), %xmm1
4133 ; SSE42-NEXT: LBB23_10: ## %else11
4134 ; SSE42-NEXT: pextrb $5, %xmm2, %eax
4135 ; SSE42-NEXT: testb $1, %al
4136 ; SSE42-NEXT: je LBB23_12
4137 ; SSE42-NEXT: ## %bb.11: ## %cond.load13
4138 ; SSE42-NEXT: pinsrb $5, 5(%rdi), %xmm1
4139 ; SSE42-NEXT: LBB23_12: ## %else14
4140 ; SSE42-NEXT: pxor %xmm2, %xmm2
4141 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm2
4142 ; SSE42-NEXT: pextrb $6, %xmm2, %eax
4143 ; SSE42-NEXT: testb $1, %al
4144 ; SSE42-NEXT: je LBB23_14
4145 ; SSE42-NEXT: ## %bb.13: ## %cond.load16
4146 ; SSE42-NEXT: pinsrb $6, 6(%rdi), %xmm1
4147 ; SSE42-NEXT: LBB23_14: ## %else17
4148 ; SSE42-NEXT: pextrb $7, %xmm2, %eax
4149 ; SSE42-NEXT: testb $1, %al
4150 ; SSE42-NEXT: je LBB23_16
4151 ; SSE42-NEXT: ## %bb.15: ## %cond.load19
4152 ; SSE42-NEXT: pinsrb $7, 7(%rdi), %xmm1
4153 ; SSE42-NEXT: LBB23_16: ## %else20
4154 ; SSE42-NEXT: pxor %xmm2, %xmm2
4155 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm2
4156 ; SSE42-NEXT: pextrb $8, %xmm2, %eax
4157 ; SSE42-NEXT: testb $1, %al
4158 ; SSE42-NEXT: je LBB23_18
4159 ; SSE42-NEXT: ## %bb.17: ## %cond.load22
4160 ; SSE42-NEXT: pinsrb $8, 8(%rdi), %xmm1
4161 ; SSE42-NEXT: LBB23_18: ## %else23
4162 ; SSE42-NEXT: pextrb $9, %xmm2, %eax
4163 ; SSE42-NEXT: testb $1, %al
4164 ; SSE42-NEXT: je LBB23_20
4165 ; SSE42-NEXT: ## %bb.19: ## %cond.load25
4166 ; SSE42-NEXT: pinsrb $9, 9(%rdi), %xmm1
4167 ; SSE42-NEXT: LBB23_20: ## %else26
4168 ; SSE42-NEXT: pxor %xmm2, %xmm2
4169 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm2
4170 ; SSE42-NEXT: pextrb $10, %xmm2, %eax
4171 ; SSE42-NEXT: testb $1, %al
4172 ; SSE42-NEXT: je LBB23_22
4173 ; SSE42-NEXT: ## %bb.21: ## %cond.load28
4174 ; SSE42-NEXT: pinsrb $10, 10(%rdi), %xmm1
4175 ; SSE42-NEXT: LBB23_22: ## %else29
4176 ; SSE42-NEXT: pextrb $11, %xmm2, %eax
4177 ; SSE42-NEXT: testb $1, %al
4178 ; SSE42-NEXT: je LBB23_24
4179 ; SSE42-NEXT: ## %bb.23: ## %cond.load31
4180 ; SSE42-NEXT: pinsrb $11, 11(%rdi), %xmm1
4181 ; SSE42-NEXT: LBB23_24: ## %else32
4182 ; SSE42-NEXT: pxor %xmm2, %xmm2
4183 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm2
4184 ; SSE42-NEXT: pextrb $12, %xmm2, %eax
4185 ; SSE42-NEXT: testb $1, %al
4186 ; SSE42-NEXT: je LBB23_26
4187 ; SSE42-NEXT: ## %bb.25: ## %cond.load34
4188 ; SSE42-NEXT: pinsrb $12, 12(%rdi), %xmm1
4189 ; SSE42-NEXT: LBB23_26: ## %else35
4190 ; SSE42-NEXT: pextrb $13, %xmm2, %eax
4191 ; SSE42-NEXT: testb $1, %al
4192 ; SSE42-NEXT: je LBB23_28
4193 ; SSE42-NEXT: ## %bb.27: ## %cond.load37
4194 ; SSE42-NEXT: pinsrb $13, 13(%rdi), %xmm1
4195 ; SSE42-NEXT: LBB23_28: ## %else38
4196 ; SSE42-NEXT: pxor %xmm2, %xmm2
4197 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm2
4198 ; SSE42-NEXT: pextrb $14, %xmm2, %eax
4199 ; SSE42-NEXT: testb $1, %al
4200 ; SSE42-NEXT: je LBB23_30
4201 ; SSE42-NEXT: ## %bb.29: ## %cond.load40
4202 ; SSE42-NEXT: pinsrb $14, 14(%rdi), %xmm1
4203 ; SSE42-NEXT: LBB23_30: ## %else41
4204 ; SSE42-NEXT: pextrb $15, %xmm2, %eax
4205 ; SSE42-NEXT: testb $1, %al
4206 ; SSE42-NEXT: je LBB23_32
4207 ; SSE42-NEXT: ## %bb.31: ## %cond.load43
4208 ; SSE42-NEXT: pinsrb $15, 15(%rdi), %xmm1
4209 ; SSE42-NEXT: LBB23_32: ## %else44
4210 ; SSE42-NEXT: movdqa %xmm1, %xmm0
4213 ; AVX1OR2-LABEL: load_v16i8_v16i8:
4214 ; AVX1OR2: ## %bb.0:
4215 ; AVX1OR2-NEXT: vpxor %xmm2, %xmm2, %xmm2
4216 ; AVX1OR2-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4217 ; AVX1OR2-NEXT: vpextrb $0, %xmm2, %eax
4218 ; AVX1OR2-NEXT: testb $1, %al
4219 ; AVX1OR2-NEXT: je LBB23_2
4220 ; AVX1OR2-NEXT: ## %bb.1: ## %cond.load
4221 ; AVX1OR2-NEXT: vpinsrb $0, (%rdi), %xmm1, %xmm1
4222 ; AVX1OR2-NEXT: LBB23_2: ## %else
4223 ; AVX1OR2-NEXT: vpextrb $1, %xmm2, %eax
4224 ; AVX1OR2-NEXT: testb $1, %al
4225 ; AVX1OR2-NEXT: je LBB23_4
4226 ; AVX1OR2-NEXT: ## %bb.3: ## %cond.load1
4227 ; AVX1OR2-NEXT: vpinsrb $1, 1(%rdi), %xmm1, %xmm1
4228 ; AVX1OR2-NEXT: LBB23_4: ## %else2
4229 ; AVX1OR2-NEXT: vpxor %xmm2, %xmm2, %xmm2
4230 ; AVX1OR2-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4231 ; AVX1OR2-NEXT: vpextrb $2, %xmm2, %eax
4232 ; AVX1OR2-NEXT: testb $1, %al
4233 ; AVX1OR2-NEXT: je LBB23_6
4234 ; AVX1OR2-NEXT: ## %bb.5: ## %cond.load4
4235 ; AVX1OR2-NEXT: vpinsrb $2, 2(%rdi), %xmm1, %xmm1
4236 ; AVX1OR2-NEXT: LBB23_6: ## %else5
4237 ; AVX1OR2-NEXT: vpextrb $3, %xmm2, %eax
4238 ; AVX1OR2-NEXT: testb $1, %al
4239 ; AVX1OR2-NEXT: je LBB23_8
4240 ; AVX1OR2-NEXT: ## %bb.7: ## %cond.load7
4241 ; AVX1OR2-NEXT: vpinsrb $3, 3(%rdi), %xmm1, %xmm1
4242 ; AVX1OR2-NEXT: LBB23_8: ## %else8
4243 ; AVX1OR2-NEXT: vpxor %xmm2, %xmm2, %xmm2
4244 ; AVX1OR2-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4245 ; AVX1OR2-NEXT: vpextrb $4, %xmm2, %eax
4246 ; AVX1OR2-NEXT: testb $1, %al
4247 ; AVX1OR2-NEXT: je LBB23_10
4248 ; AVX1OR2-NEXT: ## %bb.9: ## %cond.load10
4249 ; AVX1OR2-NEXT: vpinsrb $4, 4(%rdi), %xmm1, %xmm1
4250 ; AVX1OR2-NEXT: LBB23_10: ## %else11
4251 ; AVX1OR2-NEXT: vpextrb $5, %xmm2, %eax
4252 ; AVX1OR2-NEXT: testb $1, %al
4253 ; AVX1OR2-NEXT: je LBB23_12
4254 ; AVX1OR2-NEXT: ## %bb.11: ## %cond.load13
4255 ; AVX1OR2-NEXT: vpinsrb $5, 5(%rdi), %xmm1, %xmm1
4256 ; AVX1OR2-NEXT: LBB23_12: ## %else14
4257 ; AVX1OR2-NEXT: vpxor %xmm2, %xmm2, %xmm2
4258 ; AVX1OR2-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4259 ; AVX1OR2-NEXT: vpextrb $6, %xmm2, %eax
4260 ; AVX1OR2-NEXT: testb $1, %al
4261 ; AVX1OR2-NEXT: je LBB23_14
4262 ; AVX1OR2-NEXT: ## %bb.13: ## %cond.load16
4263 ; AVX1OR2-NEXT: vpinsrb $6, 6(%rdi), %xmm1, %xmm1
4264 ; AVX1OR2-NEXT: LBB23_14: ## %else17
4265 ; AVX1OR2-NEXT: vpextrb $7, %xmm2, %eax
4266 ; AVX1OR2-NEXT: testb $1, %al
4267 ; AVX1OR2-NEXT: je LBB23_16
4268 ; AVX1OR2-NEXT: ## %bb.15: ## %cond.load19
4269 ; AVX1OR2-NEXT: vpinsrb $7, 7(%rdi), %xmm1, %xmm1
4270 ; AVX1OR2-NEXT: LBB23_16: ## %else20
4271 ; AVX1OR2-NEXT: vpxor %xmm2, %xmm2, %xmm2
4272 ; AVX1OR2-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4273 ; AVX1OR2-NEXT: vpextrb $8, %xmm2, %eax
4274 ; AVX1OR2-NEXT: testb $1, %al
4275 ; AVX1OR2-NEXT: je LBB23_18
4276 ; AVX1OR2-NEXT: ## %bb.17: ## %cond.load22
4277 ; AVX1OR2-NEXT: vpinsrb $8, 8(%rdi), %xmm1, %xmm1
4278 ; AVX1OR2-NEXT: LBB23_18: ## %else23
4279 ; AVX1OR2-NEXT: vpextrb $9, %xmm2, %eax
4280 ; AVX1OR2-NEXT: testb $1, %al
4281 ; AVX1OR2-NEXT: je LBB23_20
4282 ; AVX1OR2-NEXT: ## %bb.19: ## %cond.load25
4283 ; AVX1OR2-NEXT: vpinsrb $9, 9(%rdi), %xmm1, %xmm1
4284 ; AVX1OR2-NEXT: LBB23_20: ## %else26
4285 ; AVX1OR2-NEXT: vpxor %xmm2, %xmm2, %xmm2
4286 ; AVX1OR2-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4287 ; AVX1OR2-NEXT: vpextrb $10, %xmm2, %eax
4288 ; AVX1OR2-NEXT: testb $1, %al
4289 ; AVX1OR2-NEXT: je LBB23_22
4290 ; AVX1OR2-NEXT: ## %bb.21: ## %cond.load28
4291 ; AVX1OR2-NEXT: vpinsrb $10, 10(%rdi), %xmm1, %xmm1
4292 ; AVX1OR2-NEXT: LBB23_22: ## %else29
4293 ; AVX1OR2-NEXT: vpextrb $11, %xmm2, %eax
4294 ; AVX1OR2-NEXT: testb $1, %al
4295 ; AVX1OR2-NEXT: je LBB23_24
4296 ; AVX1OR2-NEXT: ## %bb.23: ## %cond.load31
4297 ; AVX1OR2-NEXT: vpinsrb $11, 11(%rdi), %xmm1, %xmm1
4298 ; AVX1OR2-NEXT: LBB23_24: ## %else32
4299 ; AVX1OR2-NEXT: vpxor %xmm2, %xmm2, %xmm2
4300 ; AVX1OR2-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4301 ; AVX1OR2-NEXT: vpextrb $12, %xmm2, %eax
4302 ; AVX1OR2-NEXT: testb $1, %al
4303 ; AVX1OR2-NEXT: je LBB23_26
4304 ; AVX1OR2-NEXT: ## %bb.25: ## %cond.load34
4305 ; AVX1OR2-NEXT: vpinsrb $12, 12(%rdi), %xmm1, %xmm1
4306 ; AVX1OR2-NEXT: LBB23_26: ## %else35
4307 ; AVX1OR2-NEXT: vpextrb $13, %xmm2, %eax
4308 ; AVX1OR2-NEXT: testb $1, %al
4309 ; AVX1OR2-NEXT: je LBB23_28
4310 ; AVX1OR2-NEXT: ## %bb.27: ## %cond.load37
4311 ; AVX1OR2-NEXT: vpinsrb $13, 13(%rdi), %xmm1, %xmm1
4312 ; AVX1OR2-NEXT: LBB23_28: ## %else38
4313 ; AVX1OR2-NEXT: vpxor %xmm2, %xmm2, %xmm2
4314 ; AVX1OR2-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm0
4315 ; AVX1OR2-NEXT: vpextrb $14, %xmm0, %eax
4316 ; AVX1OR2-NEXT: testb $1, %al
4317 ; AVX1OR2-NEXT: je LBB23_30
4318 ; AVX1OR2-NEXT: ## %bb.29: ## %cond.load40
4319 ; AVX1OR2-NEXT: vpinsrb $14, 14(%rdi), %xmm1, %xmm1
4320 ; AVX1OR2-NEXT: LBB23_30: ## %else41
4321 ; AVX1OR2-NEXT: vpextrb $15, %xmm0, %eax
4322 ; AVX1OR2-NEXT: testb $1, %al
4323 ; AVX1OR2-NEXT: je LBB23_32
4324 ; AVX1OR2-NEXT: ## %bb.31: ## %cond.load43
4325 ; AVX1OR2-NEXT: vpinsrb $15, 15(%rdi), %xmm1, %xmm1
4326 ; AVX1OR2-NEXT: LBB23_32: ## %else44
4327 ; AVX1OR2-NEXT: vmovdqa %xmm1, %xmm0
4328 ; AVX1OR2-NEXT: retq
4330 ; AVX512F-LABEL: load_v16i8_v16i8:
4331 ; AVX512F: ## %bb.0:
4332 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
4333 ; AVX512F-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4334 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
4335 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
4336 ; AVX512F-NEXT: kmovw %k0, %eax
4337 ; AVX512F-NEXT: testb $1, %al
4338 ; AVX512F-NEXT: je LBB23_2
4339 ; AVX512F-NEXT: ## %bb.1: ## %cond.load
4340 ; AVX512F-NEXT: vpinsrb $0, (%rdi), %xmm1, %xmm1
4341 ; AVX512F-NEXT: LBB23_2: ## %else
4342 ; AVX512F-NEXT: kshiftrw $1, %k0, %k0
4343 ; AVX512F-NEXT: kmovw %k0, %eax
4344 ; AVX512F-NEXT: testb $1, %al
4345 ; AVX512F-NEXT: je LBB23_4
4346 ; AVX512F-NEXT: ## %bb.3: ## %cond.load1
4347 ; AVX512F-NEXT: vpinsrb $1, 1(%rdi), %xmm1, %xmm1
4348 ; AVX512F-NEXT: LBB23_4: ## %else2
4349 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
4350 ; AVX512F-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4351 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
4352 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
4353 ; AVX512F-NEXT: kshiftrw $2, %k0, %k1
4354 ; AVX512F-NEXT: kmovw %k1, %eax
4355 ; AVX512F-NEXT: testb $1, %al
4356 ; AVX512F-NEXT: je LBB23_6
4357 ; AVX512F-NEXT: ## %bb.5: ## %cond.load4
4358 ; AVX512F-NEXT: vpinsrb $2, 2(%rdi), %xmm1, %xmm1
4359 ; AVX512F-NEXT: LBB23_6: ## %else5
4360 ; AVX512F-NEXT: kshiftrw $3, %k0, %k0
4361 ; AVX512F-NEXT: kmovw %k0, %eax
4362 ; AVX512F-NEXT: testb $1, %al
4363 ; AVX512F-NEXT: je LBB23_8
4364 ; AVX512F-NEXT: ## %bb.7: ## %cond.load7
4365 ; AVX512F-NEXT: vpinsrb $3, 3(%rdi), %xmm1, %xmm1
4366 ; AVX512F-NEXT: LBB23_8: ## %else8
4367 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
4368 ; AVX512F-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4369 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
4370 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
4371 ; AVX512F-NEXT: kshiftrw $4, %k0, %k1
4372 ; AVX512F-NEXT: kmovw %k1, %eax
4373 ; AVX512F-NEXT: testb $1, %al
4374 ; AVX512F-NEXT: je LBB23_10
4375 ; AVX512F-NEXT: ## %bb.9: ## %cond.load10
4376 ; AVX512F-NEXT: vpinsrb $4, 4(%rdi), %xmm1, %xmm1
4377 ; AVX512F-NEXT: LBB23_10: ## %else11
4378 ; AVX512F-NEXT: kshiftrw $5, %k0, %k0
4379 ; AVX512F-NEXT: kmovw %k0, %eax
4380 ; AVX512F-NEXT: testb $1, %al
4381 ; AVX512F-NEXT: je LBB23_12
4382 ; AVX512F-NEXT: ## %bb.11: ## %cond.load13
4383 ; AVX512F-NEXT: vpinsrb $5, 5(%rdi), %xmm1, %xmm1
4384 ; AVX512F-NEXT: LBB23_12: ## %else14
4385 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
4386 ; AVX512F-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4387 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
4388 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
4389 ; AVX512F-NEXT: kshiftrw $6, %k0, %k1
4390 ; AVX512F-NEXT: kmovw %k1, %eax
4391 ; AVX512F-NEXT: testb $1, %al
4392 ; AVX512F-NEXT: je LBB23_14
4393 ; AVX512F-NEXT: ## %bb.13: ## %cond.load16
4394 ; AVX512F-NEXT: vpinsrb $6, 6(%rdi), %xmm1, %xmm1
4395 ; AVX512F-NEXT: LBB23_14: ## %else17
4396 ; AVX512F-NEXT: kshiftrw $7, %k0, %k0
4397 ; AVX512F-NEXT: kmovw %k0, %eax
4398 ; AVX512F-NEXT: testb $1, %al
4399 ; AVX512F-NEXT: je LBB23_16
4400 ; AVX512F-NEXT: ## %bb.15: ## %cond.load19
4401 ; AVX512F-NEXT: vpinsrb $7, 7(%rdi), %xmm1, %xmm1
4402 ; AVX512F-NEXT: LBB23_16: ## %else20
4403 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
4404 ; AVX512F-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4405 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
4406 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
4407 ; AVX512F-NEXT: kshiftrw $8, %k0, %k1
4408 ; AVX512F-NEXT: kmovw %k1, %eax
4409 ; AVX512F-NEXT: testb $1, %al
4410 ; AVX512F-NEXT: je LBB23_18
4411 ; AVX512F-NEXT: ## %bb.17: ## %cond.load22
4412 ; AVX512F-NEXT: vpinsrb $8, 8(%rdi), %xmm1, %xmm1
4413 ; AVX512F-NEXT: LBB23_18: ## %else23
4414 ; AVX512F-NEXT: kshiftrw $9, %k0, %k0
4415 ; AVX512F-NEXT: kmovw %k0, %eax
4416 ; AVX512F-NEXT: testb $1, %al
4417 ; AVX512F-NEXT: je LBB23_20
4418 ; AVX512F-NEXT: ## %bb.19: ## %cond.load25
4419 ; AVX512F-NEXT: vpinsrb $9, 9(%rdi), %xmm1, %xmm1
4420 ; AVX512F-NEXT: LBB23_20: ## %else26
4421 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
4422 ; AVX512F-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4423 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
4424 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
4425 ; AVX512F-NEXT: kshiftrw $10, %k0, %k1
4426 ; AVX512F-NEXT: kmovw %k1, %eax
4427 ; AVX512F-NEXT: testb $1, %al
4428 ; AVX512F-NEXT: je LBB23_22
4429 ; AVX512F-NEXT: ## %bb.21: ## %cond.load28
4430 ; AVX512F-NEXT: vpinsrb $10, 10(%rdi), %xmm1, %xmm1
4431 ; AVX512F-NEXT: LBB23_22: ## %else29
4432 ; AVX512F-NEXT: kshiftrw $11, %k0, %k0
4433 ; AVX512F-NEXT: kmovw %k0, %eax
4434 ; AVX512F-NEXT: testb $1, %al
4435 ; AVX512F-NEXT: je LBB23_24
4436 ; AVX512F-NEXT: ## %bb.23: ## %cond.load31
4437 ; AVX512F-NEXT: vpinsrb $11, 11(%rdi), %xmm1, %xmm1
4438 ; AVX512F-NEXT: LBB23_24: ## %else32
4439 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
4440 ; AVX512F-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4441 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
4442 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
4443 ; AVX512F-NEXT: kshiftrw $12, %k0, %k1
4444 ; AVX512F-NEXT: kmovw %k1, %eax
4445 ; AVX512F-NEXT: testb $1, %al
4446 ; AVX512F-NEXT: je LBB23_26
4447 ; AVX512F-NEXT: ## %bb.25: ## %cond.load34
4448 ; AVX512F-NEXT: vpinsrb $12, 12(%rdi), %xmm1, %xmm1
4449 ; AVX512F-NEXT: LBB23_26: ## %else35
4450 ; AVX512F-NEXT: kshiftrw $13, %k0, %k0
4451 ; AVX512F-NEXT: kmovw %k0, %eax
4452 ; AVX512F-NEXT: testb $1, %al
4453 ; AVX512F-NEXT: je LBB23_28
4454 ; AVX512F-NEXT: ## %bb.27: ## %cond.load37
4455 ; AVX512F-NEXT: vpinsrb $13, 13(%rdi), %xmm1, %xmm1
4456 ; AVX512F-NEXT: LBB23_28: ## %else38
4457 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
4458 ; AVX512F-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm0
4459 ; AVX512F-NEXT: vpmovsxbd %xmm0, %zmm0
4460 ; AVX512F-NEXT: vptestmd %zmm0, %zmm0, %k0
4461 ; AVX512F-NEXT: kshiftrw $14, %k0, %k1
4462 ; AVX512F-NEXT: kmovw %k1, %eax
4463 ; AVX512F-NEXT: testb $1, %al
4464 ; AVX512F-NEXT: je LBB23_30
4465 ; AVX512F-NEXT: ## %bb.29: ## %cond.load40
4466 ; AVX512F-NEXT: vpinsrb $14, 14(%rdi), %xmm1, %xmm1
4467 ; AVX512F-NEXT: LBB23_30: ## %else41
4468 ; AVX512F-NEXT: kshiftrw $15, %k0, %k0
4469 ; AVX512F-NEXT: kmovw %k0, %eax
4470 ; AVX512F-NEXT: testb $1, %al
4471 ; AVX512F-NEXT: je LBB23_32
4472 ; AVX512F-NEXT: ## %bb.31: ## %cond.load43
4473 ; AVX512F-NEXT: vpinsrb $15, 15(%rdi), %xmm1, %xmm1
4474 ; AVX512F-NEXT: LBB23_32: ## %else44
4475 ; AVX512F-NEXT: vmovdqa %xmm1, %xmm0
4476 ; AVX512F-NEXT: vzeroupper
4477 ; AVX512F-NEXT: retq
4479 ; AVX512VLDQ-LABEL: load_v16i8_v16i8:
4480 ; AVX512VLDQ: ## %bb.0:
4481 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
4482 ; AVX512VLDQ-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4483 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
4484 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
4485 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
4486 ; AVX512VLDQ-NEXT: testb $1, %al
4487 ; AVX512VLDQ-NEXT: je LBB23_2
4488 ; AVX512VLDQ-NEXT: ## %bb.1: ## %cond.load
4489 ; AVX512VLDQ-NEXT: vpinsrb $0, (%rdi), %xmm1, %xmm1
4490 ; AVX512VLDQ-NEXT: LBB23_2: ## %else
4491 ; AVX512VLDQ-NEXT: kshiftrw $1, %k0, %k0
4492 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
4493 ; AVX512VLDQ-NEXT: testb $1, %al
4494 ; AVX512VLDQ-NEXT: je LBB23_4
4495 ; AVX512VLDQ-NEXT: ## %bb.3: ## %cond.load1
4496 ; AVX512VLDQ-NEXT: vpinsrb $1, 1(%rdi), %xmm1, %xmm1
4497 ; AVX512VLDQ-NEXT: LBB23_4: ## %else2
4498 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
4499 ; AVX512VLDQ-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4500 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
4501 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
4502 ; AVX512VLDQ-NEXT: kshiftrw $2, %k0, %k1
4503 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
4504 ; AVX512VLDQ-NEXT: testb $1, %al
4505 ; AVX512VLDQ-NEXT: je LBB23_6
4506 ; AVX512VLDQ-NEXT: ## %bb.5: ## %cond.load4
4507 ; AVX512VLDQ-NEXT: vpinsrb $2, 2(%rdi), %xmm1, %xmm1
4508 ; AVX512VLDQ-NEXT: LBB23_6: ## %else5
4509 ; AVX512VLDQ-NEXT: kshiftrw $3, %k0, %k0
4510 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
4511 ; AVX512VLDQ-NEXT: testb $1, %al
4512 ; AVX512VLDQ-NEXT: je LBB23_8
4513 ; AVX512VLDQ-NEXT: ## %bb.7: ## %cond.load7
4514 ; AVX512VLDQ-NEXT: vpinsrb $3, 3(%rdi), %xmm1, %xmm1
4515 ; AVX512VLDQ-NEXT: LBB23_8: ## %else8
4516 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
4517 ; AVX512VLDQ-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4518 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
4519 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
4520 ; AVX512VLDQ-NEXT: kshiftrw $4, %k0, %k1
4521 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
4522 ; AVX512VLDQ-NEXT: testb $1, %al
4523 ; AVX512VLDQ-NEXT: je LBB23_10
4524 ; AVX512VLDQ-NEXT: ## %bb.9: ## %cond.load10
4525 ; AVX512VLDQ-NEXT: vpinsrb $4, 4(%rdi), %xmm1, %xmm1
4526 ; AVX512VLDQ-NEXT: LBB23_10: ## %else11
4527 ; AVX512VLDQ-NEXT: kshiftrw $5, %k0, %k0
4528 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
4529 ; AVX512VLDQ-NEXT: testb $1, %al
4530 ; AVX512VLDQ-NEXT: je LBB23_12
4531 ; AVX512VLDQ-NEXT: ## %bb.11: ## %cond.load13
4532 ; AVX512VLDQ-NEXT: vpinsrb $5, 5(%rdi), %xmm1, %xmm1
4533 ; AVX512VLDQ-NEXT: LBB23_12: ## %else14
4534 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
4535 ; AVX512VLDQ-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4536 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
4537 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
4538 ; AVX512VLDQ-NEXT: kshiftrw $6, %k0, %k1
4539 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
4540 ; AVX512VLDQ-NEXT: testb $1, %al
4541 ; AVX512VLDQ-NEXT: je LBB23_14
4542 ; AVX512VLDQ-NEXT: ## %bb.13: ## %cond.load16
4543 ; AVX512VLDQ-NEXT: vpinsrb $6, 6(%rdi), %xmm1, %xmm1
4544 ; AVX512VLDQ-NEXT: LBB23_14: ## %else17
4545 ; AVX512VLDQ-NEXT: kshiftrw $7, %k0, %k0
4546 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
4547 ; AVX512VLDQ-NEXT: testb $1, %al
4548 ; AVX512VLDQ-NEXT: je LBB23_16
4549 ; AVX512VLDQ-NEXT: ## %bb.15: ## %cond.load19
4550 ; AVX512VLDQ-NEXT: vpinsrb $7, 7(%rdi), %xmm1, %xmm1
4551 ; AVX512VLDQ-NEXT: LBB23_16: ## %else20
4552 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
4553 ; AVX512VLDQ-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4554 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
4555 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
4556 ; AVX512VLDQ-NEXT: kshiftrw $8, %k0, %k1
4557 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
4558 ; AVX512VLDQ-NEXT: testb $1, %al
4559 ; AVX512VLDQ-NEXT: je LBB23_18
4560 ; AVX512VLDQ-NEXT: ## %bb.17: ## %cond.load22
4561 ; AVX512VLDQ-NEXT: vpinsrb $8, 8(%rdi), %xmm1, %xmm1
4562 ; AVX512VLDQ-NEXT: LBB23_18: ## %else23
4563 ; AVX512VLDQ-NEXT: kshiftrw $9, %k0, %k0
4564 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
4565 ; AVX512VLDQ-NEXT: testb $1, %al
4566 ; AVX512VLDQ-NEXT: je LBB23_20
4567 ; AVX512VLDQ-NEXT: ## %bb.19: ## %cond.load25
4568 ; AVX512VLDQ-NEXT: vpinsrb $9, 9(%rdi), %xmm1, %xmm1
4569 ; AVX512VLDQ-NEXT: LBB23_20: ## %else26
4570 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
4571 ; AVX512VLDQ-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4572 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
4573 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
4574 ; AVX512VLDQ-NEXT: kshiftrw $10, %k0, %k1
4575 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
4576 ; AVX512VLDQ-NEXT: testb $1, %al
4577 ; AVX512VLDQ-NEXT: je LBB23_22
4578 ; AVX512VLDQ-NEXT: ## %bb.21: ## %cond.load28
4579 ; AVX512VLDQ-NEXT: vpinsrb $10, 10(%rdi), %xmm1, %xmm1
4580 ; AVX512VLDQ-NEXT: LBB23_22: ## %else29
4581 ; AVX512VLDQ-NEXT: kshiftrw $11, %k0, %k0
4582 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
4583 ; AVX512VLDQ-NEXT: testb $1, %al
4584 ; AVX512VLDQ-NEXT: je LBB23_24
4585 ; AVX512VLDQ-NEXT: ## %bb.23: ## %cond.load31
4586 ; AVX512VLDQ-NEXT: vpinsrb $11, 11(%rdi), %xmm1, %xmm1
4587 ; AVX512VLDQ-NEXT: LBB23_24: ## %else32
4588 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
4589 ; AVX512VLDQ-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
4590 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
4591 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
4592 ; AVX512VLDQ-NEXT: kshiftrw $12, %k0, %k1
4593 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
4594 ; AVX512VLDQ-NEXT: testb $1, %al
4595 ; AVX512VLDQ-NEXT: je LBB23_26
4596 ; AVX512VLDQ-NEXT: ## %bb.25: ## %cond.load34
4597 ; AVX512VLDQ-NEXT: vpinsrb $12, 12(%rdi), %xmm1, %xmm1
4598 ; AVX512VLDQ-NEXT: LBB23_26: ## %else35
4599 ; AVX512VLDQ-NEXT: kshiftrw $13, %k0, %k0
4600 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
4601 ; AVX512VLDQ-NEXT: testb $1, %al
4602 ; AVX512VLDQ-NEXT: je LBB23_28
4603 ; AVX512VLDQ-NEXT: ## %bb.27: ## %cond.load37
4604 ; AVX512VLDQ-NEXT: vpinsrb $13, 13(%rdi), %xmm1, %xmm1
4605 ; AVX512VLDQ-NEXT: LBB23_28: ## %else38
4606 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
4607 ; AVX512VLDQ-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm0
4608 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm0, %zmm0
4609 ; AVX512VLDQ-NEXT: vpmovd2m %zmm0, %k0
4610 ; AVX512VLDQ-NEXT: kshiftrw $14, %k0, %k1
4611 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
4612 ; AVX512VLDQ-NEXT: testb $1, %al
4613 ; AVX512VLDQ-NEXT: je LBB23_30
4614 ; AVX512VLDQ-NEXT: ## %bb.29: ## %cond.load40
4615 ; AVX512VLDQ-NEXT: vpinsrb $14, 14(%rdi), %xmm1, %xmm1
4616 ; AVX512VLDQ-NEXT: LBB23_30: ## %else41
4617 ; AVX512VLDQ-NEXT: kshiftrw $15, %k0, %k0
4618 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
4619 ; AVX512VLDQ-NEXT: testb $1, %al
4620 ; AVX512VLDQ-NEXT: je LBB23_32
4621 ; AVX512VLDQ-NEXT: ## %bb.31: ## %cond.load43
4622 ; AVX512VLDQ-NEXT: vpinsrb $15, 15(%rdi), %xmm1, %xmm1
4623 ; AVX512VLDQ-NEXT: LBB23_32: ## %else44
4624 ; AVX512VLDQ-NEXT: vmovdqa %xmm1, %xmm0
4625 ; AVX512VLDQ-NEXT: vzeroupper
4626 ; AVX512VLDQ-NEXT: retq
4628 ; AVX512VLBW-LABEL: load_v16i8_v16i8:
4629 ; AVX512VLBW: ## %bb.0:
4630 ; AVX512VLBW-NEXT: vpmovb2m %xmm0, %k1
4631 ; AVX512VLBW-NEXT: vpblendmb (%rdi), %xmm1, %xmm0 {%k1}
4632 ; AVX512VLBW-NEXT: retq
4633 %mask = icmp slt <16 x i8> %trigger, zeroinitializer
4634 %res = call <16 x i8> @llvm.masked.load.v16i8.p0v16i8(<16 x i8>* %addr, i32 4, <16 x i1> %mask, <16 x i8> %dst)
4638 define <32 x i8> @load_v32i8_v32i8(<32 x i8> %trigger, <32 x i8>* %addr, <32 x i8> %dst) {
4639 ; SSE2-LABEL: load_v32i8_v32i8:
4641 ; SSE2-NEXT: pxor %xmm4, %xmm4
4642 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm4
4643 ; SSE2-NEXT: movd %xmm4, %eax
4644 ; SSE2-NEXT: testb $1, %al
4645 ; SSE2-NEXT: je LBB24_2
4646 ; SSE2-NEXT: ## %bb.1: ## %cond.load
4647 ; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [0,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
4648 ; SSE2-NEXT: pand %xmm4, %xmm2
4649 ; SSE2-NEXT: movzbl (%rdi), %ecx
4650 ; SSE2-NEXT: movd %ecx, %xmm5
4651 ; SSE2-NEXT: pandn %xmm5, %xmm4
4652 ; SSE2-NEXT: por %xmm4, %xmm2
4653 ; SSE2-NEXT: LBB24_2: ## %else
4654 ; SSE2-NEXT: shrl $8, %eax
4655 ; SSE2-NEXT: testb $1, %al
4656 ; SSE2-NEXT: je LBB24_4
4657 ; SSE2-NEXT: ## %bb.3: ## %cond.load1
4658 ; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [255,0,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
4659 ; SSE2-NEXT: pand %xmm4, %xmm2
4660 ; SSE2-NEXT: movzbl 1(%rdi), %eax
4661 ; SSE2-NEXT: movd %eax, %xmm5
4662 ; SSE2-NEXT: psllw $8, %xmm5
4663 ; SSE2-NEXT: pandn %xmm5, %xmm4
4664 ; SSE2-NEXT: por %xmm4, %xmm2
4665 ; SSE2-NEXT: LBB24_4: ## %else2
4666 ; SSE2-NEXT: pxor %xmm4, %xmm4
4667 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm4
4668 ; SSE2-NEXT: movd %xmm4, %eax
4669 ; SSE2-NEXT: movl %eax, %ecx
4670 ; SSE2-NEXT: shrl $16, %ecx
4671 ; SSE2-NEXT: testb $1, %cl
4672 ; SSE2-NEXT: je LBB24_6
4673 ; SSE2-NEXT: ## %bb.5: ## %cond.load4
4674 ; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [255,255,0,255,255,255,255,255,255,255,255,255,255,255,255,255]
4675 ; SSE2-NEXT: pand %xmm4, %xmm2
4676 ; SSE2-NEXT: movzbl 2(%rdi), %ecx
4677 ; SSE2-NEXT: movd %ecx, %xmm5
4678 ; SSE2-NEXT: pslld $16, %xmm5
4679 ; SSE2-NEXT: pandn %xmm5, %xmm4
4680 ; SSE2-NEXT: por %xmm4, %xmm2
4681 ; SSE2-NEXT: LBB24_6: ## %else5
4682 ; SSE2-NEXT: shrl $24, %eax
4683 ; SSE2-NEXT: testb $1, %al
4684 ; SSE2-NEXT: je LBB24_8
4685 ; SSE2-NEXT: ## %bb.7: ## %cond.load7
4686 ; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [255,255,255,0,255,255,255,255,255,255,255,255,255,255,255,255]
4687 ; SSE2-NEXT: pand %xmm4, %xmm2
4688 ; SSE2-NEXT: movzbl 3(%rdi), %eax
4689 ; SSE2-NEXT: movd %eax, %xmm5
4690 ; SSE2-NEXT: pslld $24, %xmm5
4691 ; SSE2-NEXT: pandn %xmm5, %xmm4
4692 ; SSE2-NEXT: por %xmm4, %xmm2
4693 ; SSE2-NEXT: LBB24_8: ## %else8
4694 ; SSE2-NEXT: pxor %xmm4, %xmm4
4695 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm4
4696 ; SSE2-NEXT: pextrw $2, %xmm4, %eax
4697 ; SSE2-NEXT: testb $1, %al
4698 ; SSE2-NEXT: je LBB24_10
4699 ; SSE2-NEXT: ## %bb.9: ## %cond.load10
4700 ; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [255,255,255,255,0,255,255,255,255,255,255,255,255,255,255,255]
4701 ; SSE2-NEXT: pand %xmm4, %xmm2
4702 ; SSE2-NEXT: movzbl 4(%rdi), %ecx
4703 ; SSE2-NEXT: movd %ecx, %xmm5
4704 ; SSE2-NEXT: pshufd {{.*#+}} xmm5 = xmm5[0,0,1,1]
4705 ; SSE2-NEXT: pandn %xmm5, %xmm4
4706 ; SSE2-NEXT: por %xmm4, %xmm2
4707 ; SSE2-NEXT: LBB24_10: ## %else11
4708 ; SSE2-NEXT: shrl $8, %eax
4709 ; SSE2-NEXT: testb $1, %al
4710 ; SSE2-NEXT: je LBB24_12
4711 ; SSE2-NEXT: ## %bb.11: ## %cond.load13
4712 ; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [255,255,255,255,255,0,255,255,255,255,255,255,255,255,255,255]
4713 ; SSE2-NEXT: pand %xmm4, %xmm2
4714 ; SSE2-NEXT: movzbl 5(%rdi), %eax
4715 ; SSE2-NEXT: movd %eax, %xmm5
4716 ; SSE2-NEXT: psllq $40, %xmm5
4717 ; SSE2-NEXT: pandn %xmm5, %xmm4
4718 ; SSE2-NEXT: por %xmm4, %xmm2
4719 ; SSE2-NEXT: LBB24_12: ## %else14
4720 ; SSE2-NEXT: pxor %xmm4, %xmm4
4721 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm4
4722 ; SSE2-NEXT: pextrw $3, %xmm4, %eax
4723 ; SSE2-NEXT: testb $1, %al
4724 ; SSE2-NEXT: je LBB24_14
4725 ; SSE2-NEXT: ## %bb.13: ## %cond.load16
4726 ; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,0,255,255,255,255,255,255,255,255,255]
4727 ; SSE2-NEXT: pand %xmm4, %xmm2
4728 ; SSE2-NEXT: movzbl 6(%rdi), %ecx
4729 ; SSE2-NEXT: movd %ecx, %xmm5
4730 ; SSE2-NEXT: psllq $48, %xmm5
4731 ; SSE2-NEXT: pandn %xmm5, %xmm4
4732 ; SSE2-NEXT: por %xmm4, %xmm2
4733 ; SSE2-NEXT: LBB24_14: ## %else17
4734 ; SSE2-NEXT: shrl $8, %eax
4735 ; SSE2-NEXT: testb $1, %al
4736 ; SSE2-NEXT: je LBB24_16
4737 ; SSE2-NEXT: ## %bb.15: ## %cond.load19
4738 ; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,255,0,255,255,255,255,255,255,255,255]
4739 ; SSE2-NEXT: pand %xmm4, %xmm2
4740 ; SSE2-NEXT: movzbl 7(%rdi), %eax
4741 ; SSE2-NEXT: movd %eax, %xmm5
4742 ; SSE2-NEXT: psllq $56, %xmm5
4743 ; SSE2-NEXT: pandn %xmm5, %xmm4
4744 ; SSE2-NEXT: por %xmm4, %xmm2
4745 ; SSE2-NEXT: LBB24_16: ## %else20
4746 ; SSE2-NEXT: pxor %xmm4, %xmm4
4747 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm4
4748 ; SSE2-NEXT: pextrw $4, %xmm4, %eax
4749 ; SSE2-NEXT: testb $1, %al
4750 ; SSE2-NEXT: je LBB24_18
4751 ; SSE2-NEXT: ## %bb.17: ## %cond.load22
4752 ; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,255,255,0,255,255,255,255,255,255,255]
4753 ; SSE2-NEXT: pand %xmm4, %xmm2
4754 ; SSE2-NEXT: movzbl 8(%rdi), %ecx
4755 ; SSE2-NEXT: movd %ecx, %xmm5
4756 ; SSE2-NEXT: pshufd {{.*#+}} xmm5 = xmm5[0,1,0,1]
4757 ; SSE2-NEXT: pandn %xmm5, %xmm4
4758 ; SSE2-NEXT: por %xmm4, %xmm2
4759 ; SSE2-NEXT: LBB24_18: ## %else23
4760 ; SSE2-NEXT: shrl $8, %eax
4761 ; SSE2-NEXT: testb $1, %al
4762 ; SSE2-NEXT: je LBB24_20
4763 ; SSE2-NEXT: ## %bb.19: ## %cond.load25
4764 ; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,255,255,255,0,255,255,255,255,255,255]
4765 ; SSE2-NEXT: pand %xmm4, %xmm2
4766 ; SSE2-NEXT: movzbl 9(%rdi), %eax
4767 ; SSE2-NEXT: movd %eax, %xmm5
4768 ; SSE2-NEXT: pslldq {{.*#+}} xmm5 = zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm5[0,1,2,3,4,5,6]
4769 ; SSE2-NEXT: pandn %xmm5, %xmm4
4770 ; SSE2-NEXT: por %xmm4, %xmm2
4771 ; SSE2-NEXT: LBB24_20: ## %else26
4772 ; SSE2-NEXT: pxor %xmm4, %xmm4
4773 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm4
4774 ; SSE2-NEXT: pextrw $5, %xmm4, %eax
4775 ; SSE2-NEXT: testb $1, %al
4776 ; SSE2-NEXT: je LBB24_22
4777 ; SSE2-NEXT: ## %bb.21: ## %cond.load28
4778 ; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,255,255,255,255,0,255,255,255,255,255]
4779 ; SSE2-NEXT: pand %xmm4, %xmm2
4780 ; SSE2-NEXT: movzbl 10(%rdi), %ecx
4781 ; SSE2-NEXT: movd %ecx, %xmm5
4782 ; SSE2-NEXT: pslldq {{.*#+}} xmm5 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm5[0,1,2,3,4,5]
4783 ; SSE2-NEXT: pandn %xmm5, %xmm4
4784 ; SSE2-NEXT: por %xmm4, %xmm2
4785 ; SSE2-NEXT: LBB24_22: ## %else29
4786 ; SSE2-NEXT: shrl $8, %eax
4787 ; SSE2-NEXT: testb $1, %al
4788 ; SSE2-NEXT: je LBB24_24
4789 ; SSE2-NEXT: ## %bb.23: ## %cond.load31
4790 ; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,255,255,255,255,255,0,255,255,255,255]
4791 ; SSE2-NEXT: pand %xmm4, %xmm2
4792 ; SSE2-NEXT: movzbl 11(%rdi), %eax
4793 ; SSE2-NEXT: movd %eax, %xmm5
4794 ; SSE2-NEXT: pslldq {{.*#+}} xmm5 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm5[0,1,2,3,4]
4795 ; SSE2-NEXT: pandn %xmm5, %xmm4
4796 ; SSE2-NEXT: por %xmm4, %xmm2
4797 ; SSE2-NEXT: LBB24_24: ## %else32
4798 ; SSE2-NEXT: pxor %xmm4, %xmm4
4799 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm4
4800 ; SSE2-NEXT: pextrw $6, %xmm4, %eax
4801 ; SSE2-NEXT: testb $1, %al
4802 ; SSE2-NEXT: je LBB24_26
4803 ; SSE2-NEXT: ## %bb.25: ## %cond.load34
4804 ; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,255,255,255,255,255,255,0,255,255,255]
4805 ; SSE2-NEXT: pand %xmm4, %xmm2
4806 ; SSE2-NEXT: movzbl 12(%rdi), %ecx
4807 ; SSE2-NEXT: movd %ecx, %xmm5
4808 ; SSE2-NEXT: pshufd {{.*#+}} xmm5 = xmm5[0,1,2,0]
4809 ; SSE2-NEXT: pandn %xmm5, %xmm4
4810 ; SSE2-NEXT: por %xmm4, %xmm2
4811 ; SSE2-NEXT: LBB24_26: ## %else35
4812 ; SSE2-NEXT: shrl $8, %eax
4813 ; SSE2-NEXT: testb $1, %al
4814 ; SSE2-NEXT: je LBB24_28
4815 ; SSE2-NEXT: ## %bb.27: ## %cond.load37
4816 ; SSE2-NEXT: movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,255,255,255,255,255,255,255,0,255,255]
4817 ; SSE2-NEXT: pand %xmm4, %xmm2
4818 ; SSE2-NEXT: movzbl 13(%rdi), %eax
4819 ; SSE2-NEXT: movd %eax, %xmm5
4820 ; SSE2-NEXT: pslldq {{.*#+}} xmm5 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm5[0,1,2]
4821 ; SSE2-NEXT: pandn %xmm5, %xmm4
4822 ; SSE2-NEXT: por %xmm4, %xmm2
4823 ; SSE2-NEXT: LBB24_28: ## %else38
4824 ; SSE2-NEXT: pxor %xmm4, %xmm4
4825 ; SSE2-NEXT: pcmpgtb %xmm0, %xmm4
4826 ; SSE2-NEXT: pextrw $7, %xmm4, %eax
4827 ; SSE2-NEXT: testb $1, %al
4828 ; SSE2-NEXT: je LBB24_30
4829 ; SSE2-NEXT: ## %bb.29: ## %cond.load40
4830 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,0,255]
4831 ; SSE2-NEXT: pand %xmm0, %xmm2
4832 ; SSE2-NEXT: movzbl 14(%rdi), %ecx
4833 ; SSE2-NEXT: movd %ecx, %xmm4
4834 ; SSE2-NEXT: pslldq {{.*#+}} xmm4 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm4[0,1]
4835 ; SSE2-NEXT: pandn %xmm4, %xmm0
4836 ; SSE2-NEXT: por %xmm0, %xmm2
4837 ; SSE2-NEXT: LBB24_30: ## %else41
4838 ; SSE2-NEXT: shrl $8, %eax
4839 ; SSE2-NEXT: testb $1, %al
4840 ; SSE2-NEXT: je LBB24_32
4841 ; SSE2-NEXT: ## %bb.31: ## %cond.load43
4842 ; SSE2-NEXT: pand {{.*}}(%rip), %xmm2
4843 ; SSE2-NEXT: movzbl 15(%rdi), %eax
4844 ; SSE2-NEXT: movd %eax, %xmm0
4845 ; SSE2-NEXT: pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0]
4846 ; SSE2-NEXT: por %xmm0, %xmm2
4847 ; SSE2-NEXT: LBB24_32: ## %else44
4848 ; SSE2-NEXT: pxor %xmm0, %xmm0
4849 ; SSE2-NEXT: pcmpgtb %xmm1, %xmm0
4850 ; SSE2-NEXT: movd %xmm0, %eax
4851 ; SSE2-NEXT: testb $1, %al
4852 ; SSE2-NEXT: je LBB24_34
4853 ; SSE2-NEXT: ## %bb.33: ## %cond.load46
4854 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [0,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
4855 ; SSE2-NEXT: pand %xmm0, %xmm3
4856 ; SSE2-NEXT: movzbl 16(%rdi), %ecx
4857 ; SSE2-NEXT: movd %ecx, %xmm4
4858 ; SSE2-NEXT: pandn %xmm4, %xmm0
4859 ; SSE2-NEXT: por %xmm0, %xmm3
4860 ; SSE2-NEXT: LBB24_34: ## %else47
4861 ; SSE2-NEXT: shrl $8, %eax
4862 ; SSE2-NEXT: testb $1, %al
4863 ; SSE2-NEXT: je LBB24_36
4864 ; SSE2-NEXT: ## %bb.35: ## %cond.load49
4865 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,0,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
4866 ; SSE2-NEXT: pand %xmm0, %xmm3
4867 ; SSE2-NEXT: movzbl 17(%rdi), %eax
4868 ; SSE2-NEXT: movd %eax, %xmm4
4869 ; SSE2-NEXT: psllw $8, %xmm4
4870 ; SSE2-NEXT: pandn %xmm4, %xmm0
4871 ; SSE2-NEXT: por %xmm0, %xmm3
4872 ; SSE2-NEXT: LBB24_36: ## %else50
4873 ; SSE2-NEXT: pxor %xmm0, %xmm0
4874 ; SSE2-NEXT: pcmpgtb %xmm1, %xmm0
4875 ; SSE2-NEXT: movd %xmm0, %eax
4876 ; SSE2-NEXT: movl %eax, %ecx
4877 ; SSE2-NEXT: shrl $16, %ecx
4878 ; SSE2-NEXT: testb $1, %cl
4879 ; SSE2-NEXT: je LBB24_38
4880 ; SSE2-NEXT: ## %bb.37: ## %cond.load52
4881 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,255,0,255,255,255,255,255,255,255,255,255,255,255,255,255]
4882 ; SSE2-NEXT: pand %xmm0, %xmm3
4883 ; SSE2-NEXT: movzbl 18(%rdi), %ecx
4884 ; SSE2-NEXT: movd %ecx, %xmm4
4885 ; SSE2-NEXT: pslld $16, %xmm4
4886 ; SSE2-NEXT: pandn %xmm4, %xmm0
4887 ; SSE2-NEXT: por %xmm0, %xmm3
4888 ; SSE2-NEXT: LBB24_38: ## %else53
4889 ; SSE2-NEXT: shrl $24, %eax
4890 ; SSE2-NEXT: testb $1, %al
4891 ; SSE2-NEXT: je LBB24_40
4892 ; SSE2-NEXT: ## %bb.39: ## %cond.load55
4893 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,255,255,0,255,255,255,255,255,255,255,255,255,255,255,255]
4894 ; SSE2-NEXT: pand %xmm0, %xmm3
4895 ; SSE2-NEXT: movzbl 19(%rdi), %eax
4896 ; SSE2-NEXT: movd %eax, %xmm4
4897 ; SSE2-NEXT: pslld $24, %xmm4
4898 ; SSE2-NEXT: pandn %xmm4, %xmm0
4899 ; SSE2-NEXT: por %xmm0, %xmm3
4900 ; SSE2-NEXT: LBB24_40: ## %else56
4901 ; SSE2-NEXT: pxor %xmm0, %xmm0
4902 ; SSE2-NEXT: pcmpgtb %xmm1, %xmm0
4903 ; SSE2-NEXT: pextrw $2, %xmm0, %eax
4904 ; SSE2-NEXT: testb $1, %al
4905 ; SSE2-NEXT: je LBB24_42
4906 ; SSE2-NEXT: ## %bb.41: ## %cond.load58
4907 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,255,255,255,0,255,255,255,255,255,255,255,255,255,255,255]
4908 ; SSE2-NEXT: pand %xmm0, %xmm3
4909 ; SSE2-NEXT: movzbl 20(%rdi), %ecx
4910 ; SSE2-NEXT: movd %ecx, %xmm4
4911 ; SSE2-NEXT: pshufd {{.*#+}} xmm4 = xmm4[0,0,1,1]
4912 ; SSE2-NEXT: pandn %xmm4, %xmm0
4913 ; SSE2-NEXT: por %xmm0, %xmm3
4914 ; SSE2-NEXT: LBB24_42: ## %else59
4915 ; SSE2-NEXT: shrl $8, %eax
4916 ; SSE2-NEXT: testb $1, %al
4917 ; SSE2-NEXT: je LBB24_44
4918 ; SSE2-NEXT: ## %bb.43: ## %cond.load61
4919 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,255,255,255,255,0,255,255,255,255,255,255,255,255,255,255]
4920 ; SSE2-NEXT: pand %xmm0, %xmm3
4921 ; SSE2-NEXT: movzbl 21(%rdi), %eax
4922 ; SSE2-NEXT: movd %eax, %xmm4
4923 ; SSE2-NEXT: psllq $40, %xmm4
4924 ; SSE2-NEXT: pandn %xmm4, %xmm0
4925 ; SSE2-NEXT: por %xmm0, %xmm3
4926 ; SSE2-NEXT: LBB24_44: ## %else62
4927 ; SSE2-NEXT: pxor %xmm0, %xmm0
4928 ; SSE2-NEXT: pcmpgtb %xmm1, %xmm0
4929 ; SSE2-NEXT: pextrw $3, %xmm0, %eax
4930 ; SSE2-NEXT: testb $1, %al
4931 ; SSE2-NEXT: je LBB24_46
4932 ; SSE2-NEXT: ## %bb.45: ## %cond.load64
4933 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,0,255,255,255,255,255,255,255,255,255]
4934 ; SSE2-NEXT: pand %xmm0, %xmm3
4935 ; SSE2-NEXT: movzbl 22(%rdi), %ecx
4936 ; SSE2-NEXT: movd %ecx, %xmm4
4937 ; SSE2-NEXT: psllq $48, %xmm4
4938 ; SSE2-NEXT: pandn %xmm4, %xmm0
4939 ; SSE2-NEXT: por %xmm0, %xmm3
4940 ; SSE2-NEXT: LBB24_46: ## %else65
4941 ; SSE2-NEXT: shrl $8, %eax
4942 ; SSE2-NEXT: testb $1, %al
4943 ; SSE2-NEXT: je LBB24_48
4944 ; SSE2-NEXT: ## %bb.47: ## %cond.load67
4945 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,0,255,255,255,255,255,255,255,255]
4946 ; SSE2-NEXT: pand %xmm0, %xmm3
4947 ; SSE2-NEXT: movzbl 23(%rdi), %eax
4948 ; SSE2-NEXT: movd %eax, %xmm4
4949 ; SSE2-NEXT: psllq $56, %xmm4
4950 ; SSE2-NEXT: pandn %xmm4, %xmm0
4951 ; SSE2-NEXT: por %xmm0, %xmm3
4952 ; SSE2-NEXT: LBB24_48: ## %else68
4953 ; SSE2-NEXT: pxor %xmm0, %xmm0
4954 ; SSE2-NEXT: pcmpgtb %xmm1, %xmm0
4955 ; SSE2-NEXT: pextrw $4, %xmm0, %eax
4956 ; SSE2-NEXT: testb $1, %al
4957 ; SSE2-NEXT: je LBB24_50
4958 ; SSE2-NEXT: ## %bb.49: ## %cond.load70
4959 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,0,255,255,255,255,255,255,255]
4960 ; SSE2-NEXT: pand %xmm0, %xmm3
4961 ; SSE2-NEXT: movzbl 24(%rdi), %ecx
4962 ; SSE2-NEXT: movd %ecx, %xmm4
4963 ; SSE2-NEXT: pshufd {{.*#+}} xmm4 = xmm4[0,1,0,1]
4964 ; SSE2-NEXT: pandn %xmm4, %xmm0
4965 ; SSE2-NEXT: por %xmm0, %xmm3
4966 ; SSE2-NEXT: LBB24_50: ## %else71
4967 ; SSE2-NEXT: shrl $8, %eax
4968 ; SSE2-NEXT: testb $1, %al
4969 ; SSE2-NEXT: je LBB24_52
4970 ; SSE2-NEXT: ## %bb.51: ## %cond.load73
4971 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,0,255,255,255,255,255,255]
4972 ; SSE2-NEXT: pand %xmm0, %xmm3
4973 ; SSE2-NEXT: movzbl 25(%rdi), %eax
4974 ; SSE2-NEXT: movd %eax, %xmm4
4975 ; SSE2-NEXT: pslldq {{.*#+}} xmm4 = zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm4[0,1,2,3,4,5,6]
4976 ; SSE2-NEXT: pandn %xmm4, %xmm0
4977 ; SSE2-NEXT: por %xmm0, %xmm3
4978 ; SSE2-NEXT: LBB24_52: ## %else74
4979 ; SSE2-NEXT: pxor %xmm0, %xmm0
4980 ; SSE2-NEXT: pcmpgtb %xmm1, %xmm0
4981 ; SSE2-NEXT: pextrw $5, %xmm0, %eax
4982 ; SSE2-NEXT: testb $1, %al
4983 ; SSE2-NEXT: je LBB24_54
4984 ; SSE2-NEXT: ## %bb.53: ## %cond.load76
4985 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,255,0,255,255,255,255,255]
4986 ; SSE2-NEXT: pand %xmm0, %xmm3
4987 ; SSE2-NEXT: movzbl 26(%rdi), %ecx
4988 ; SSE2-NEXT: movd %ecx, %xmm4
4989 ; SSE2-NEXT: pslldq {{.*#+}} xmm4 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm4[0,1,2,3,4,5]
4990 ; SSE2-NEXT: pandn %xmm4, %xmm0
4991 ; SSE2-NEXT: por %xmm0, %xmm3
4992 ; SSE2-NEXT: LBB24_54: ## %else77
4993 ; SSE2-NEXT: shrl $8, %eax
4994 ; SSE2-NEXT: testb $1, %al
4995 ; SSE2-NEXT: je LBB24_56
4996 ; SSE2-NEXT: ## %bb.55: ## %cond.load79
4997 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,255,255,0,255,255,255,255]
4998 ; SSE2-NEXT: pand %xmm0, %xmm3
4999 ; SSE2-NEXT: movzbl 27(%rdi), %eax
5000 ; SSE2-NEXT: movd %eax, %xmm4
5001 ; SSE2-NEXT: pslldq {{.*#+}} xmm4 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm4[0,1,2,3,4]
5002 ; SSE2-NEXT: pandn %xmm4, %xmm0
5003 ; SSE2-NEXT: por %xmm0, %xmm3
5004 ; SSE2-NEXT: LBB24_56: ## %else80
5005 ; SSE2-NEXT: pxor %xmm0, %xmm0
5006 ; SSE2-NEXT: pcmpgtb %xmm1, %xmm0
5007 ; SSE2-NEXT: pextrw $6, %xmm0, %eax
5008 ; SSE2-NEXT: testb $1, %al
5009 ; SSE2-NEXT: je LBB24_58
5010 ; SSE2-NEXT: ## %bb.57: ## %cond.load82
5011 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,255,255,255,0,255,255,255]
5012 ; SSE2-NEXT: pand %xmm0, %xmm3
5013 ; SSE2-NEXT: movzbl 28(%rdi), %ecx
5014 ; SSE2-NEXT: movd %ecx, %xmm4
5015 ; SSE2-NEXT: pshufd {{.*#+}} xmm4 = xmm4[0,1,2,0]
5016 ; SSE2-NEXT: pandn %xmm4, %xmm0
5017 ; SSE2-NEXT: por %xmm0, %xmm3
5018 ; SSE2-NEXT: LBB24_58: ## %else83
5019 ; SSE2-NEXT: shrl $8, %eax
5020 ; SSE2-NEXT: testb $1, %al
5021 ; SSE2-NEXT: je LBB24_60
5022 ; SSE2-NEXT: ## %bb.59: ## %cond.load85
5023 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,255,255,255,255,0,255,255]
5024 ; SSE2-NEXT: pand %xmm0, %xmm3
5025 ; SSE2-NEXT: movzbl 29(%rdi), %eax
5026 ; SSE2-NEXT: movd %eax, %xmm4
5027 ; SSE2-NEXT: pslldq {{.*#+}} xmm4 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm4[0,1,2]
5028 ; SSE2-NEXT: pandn %xmm4, %xmm0
5029 ; SSE2-NEXT: por %xmm0, %xmm3
5030 ; SSE2-NEXT: LBB24_60: ## %else86
5031 ; SSE2-NEXT: pxor %xmm0, %xmm0
5032 ; SSE2-NEXT: pcmpgtb %xmm1, %xmm0
5033 ; SSE2-NEXT: pextrw $7, %xmm0, %eax
5034 ; SSE2-NEXT: testb $1, %al
5035 ; SSE2-NEXT: je LBB24_62
5036 ; SSE2-NEXT: ## %bb.61: ## %cond.load88
5037 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,0,255]
5038 ; SSE2-NEXT: pand %xmm0, %xmm3
5039 ; SSE2-NEXT: movzbl 30(%rdi), %ecx
5040 ; SSE2-NEXT: movd %ecx, %xmm1
5041 ; SSE2-NEXT: pslldq {{.*#+}} xmm1 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm1[0,1]
5042 ; SSE2-NEXT: pandn %xmm1, %xmm0
5043 ; SSE2-NEXT: por %xmm0, %xmm3
5044 ; SSE2-NEXT: LBB24_62: ## %else89
5045 ; SSE2-NEXT: shrl $8, %eax
5046 ; SSE2-NEXT: testb $1, %al
5047 ; SSE2-NEXT: je LBB24_64
5048 ; SSE2-NEXT: ## %bb.63: ## %cond.load91
5049 ; SSE2-NEXT: pand {{.*}}(%rip), %xmm3
5050 ; SSE2-NEXT: movzbl 31(%rdi), %eax
5051 ; SSE2-NEXT: movd %eax, %xmm0
5052 ; SSE2-NEXT: pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0]
5053 ; SSE2-NEXT: por %xmm0, %xmm3
5054 ; SSE2-NEXT: LBB24_64: ## %else92
5055 ; SSE2-NEXT: movdqa %xmm2, %xmm0
5056 ; SSE2-NEXT: movdqa %xmm3, %xmm1
5059 ; SSE42-LABEL: load_v32i8_v32i8:
5061 ; SSE42-NEXT: pxor %xmm4, %xmm4
5062 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm4
5063 ; SSE42-NEXT: pextrb $0, %xmm4, %eax
5064 ; SSE42-NEXT: testb $1, %al
5065 ; SSE42-NEXT: je LBB24_2
5066 ; SSE42-NEXT: ## %bb.1: ## %cond.load
5067 ; SSE42-NEXT: pinsrb $0, (%rdi), %xmm2
5068 ; SSE42-NEXT: LBB24_2: ## %else
5069 ; SSE42-NEXT: pextrb $1, %xmm4, %eax
5070 ; SSE42-NEXT: testb $1, %al
5071 ; SSE42-NEXT: je LBB24_4
5072 ; SSE42-NEXT: ## %bb.3: ## %cond.load1
5073 ; SSE42-NEXT: pinsrb $1, 1(%rdi), %xmm2
5074 ; SSE42-NEXT: LBB24_4: ## %else2
5075 ; SSE42-NEXT: pxor %xmm4, %xmm4
5076 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm4
5077 ; SSE42-NEXT: pextrb $2, %xmm4, %eax
5078 ; SSE42-NEXT: testb $1, %al
5079 ; SSE42-NEXT: je LBB24_6
5080 ; SSE42-NEXT: ## %bb.5: ## %cond.load4
5081 ; SSE42-NEXT: pinsrb $2, 2(%rdi), %xmm2
5082 ; SSE42-NEXT: LBB24_6: ## %else5
5083 ; SSE42-NEXT: pextrb $3, %xmm4, %eax
5084 ; SSE42-NEXT: testb $1, %al
5085 ; SSE42-NEXT: je LBB24_8
5086 ; SSE42-NEXT: ## %bb.7: ## %cond.load7
5087 ; SSE42-NEXT: pinsrb $3, 3(%rdi), %xmm2
5088 ; SSE42-NEXT: LBB24_8: ## %else8
5089 ; SSE42-NEXT: pxor %xmm4, %xmm4
5090 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm4
5091 ; SSE42-NEXT: pextrb $4, %xmm4, %eax
5092 ; SSE42-NEXT: testb $1, %al
5093 ; SSE42-NEXT: je LBB24_10
5094 ; SSE42-NEXT: ## %bb.9: ## %cond.load10
5095 ; SSE42-NEXT: pinsrb $4, 4(%rdi), %xmm2
5096 ; SSE42-NEXT: LBB24_10: ## %else11
5097 ; SSE42-NEXT: pextrb $5, %xmm4, %eax
5098 ; SSE42-NEXT: testb $1, %al
5099 ; SSE42-NEXT: je LBB24_12
5100 ; SSE42-NEXT: ## %bb.11: ## %cond.load13
5101 ; SSE42-NEXT: pinsrb $5, 5(%rdi), %xmm2
5102 ; SSE42-NEXT: LBB24_12: ## %else14
5103 ; SSE42-NEXT: pxor %xmm4, %xmm4
5104 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm4
5105 ; SSE42-NEXT: pextrb $6, %xmm4, %eax
5106 ; SSE42-NEXT: testb $1, %al
5107 ; SSE42-NEXT: je LBB24_14
5108 ; SSE42-NEXT: ## %bb.13: ## %cond.load16
5109 ; SSE42-NEXT: pinsrb $6, 6(%rdi), %xmm2
5110 ; SSE42-NEXT: LBB24_14: ## %else17
5111 ; SSE42-NEXT: pextrb $7, %xmm4, %eax
5112 ; SSE42-NEXT: testb $1, %al
5113 ; SSE42-NEXT: je LBB24_16
5114 ; SSE42-NEXT: ## %bb.15: ## %cond.load19
5115 ; SSE42-NEXT: pinsrb $7, 7(%rdi), %xmm2
5116 ; SSE42-NEXT: LBB24_16: ## %else20
5117 ; SSE42-NEXT: pxor %xmm4, %xmm4
5118 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm4
5119 ; SSE42-NEXT: pextrb $8, %xmm4, %eax
5120 ; SSE42-NEXT: testb $1, %al
5121 ; SSE42-NEXT: je LBB24_18
5122 ; SSE42-NEXT: ## %bb.17: ## %cond.load22
5123 ; SSE42-NEXT: pinsrb $8, 8(%rdi), %xmm2
5124 ; SSE42-NEXT: LBB24_18: ## %else23
5125 ; SSE42-NEXT: pextrb $9, %xmm4, %eax
5126 ; SSE42-NEXT: testb $1, %al
5127 ; SSE42-NEXT: je LBB24_20
5128 ; SSE42-NEXT: ## %bb.19: ## %cond.load25
5129 ; SSE42-NEXT: pinsrb $9, 9(%rdi), %xmm2
5130 ; SSE42-NEXT: LBB24_20: ## %else26
5131 ; SSE42-NEXT: pxor %xmm4, %xmm4
5132 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm4
5133 ; SSE42-NEXT: pextrb $10, %xmm4, %eax
5134 ; SSE42-NEXT: testb $1, %al
5135 ; SSE42-NEXT: je LBB24_22
5136 ; SSE42-NEXT: ## %bb.21: ## %cond.load28
5137 ; SSE42-NEXT: pinsrb $10, 10(%rdi), %xmm2
5138 ; SSE42-NEXT: LBB24_22: ## %else29
5139 ; SSE42-NEXT: pextrb $11, %xmm4, %eax
5140 ; SSE42-NEXT: testb $1, %al
5141 ; SSE42-NEXT: je LBB24_24
5142 ; SSE42-NEXT: ## %bb.23: ## %cond.load31
5143 ; SSE42-NEXT: pinsrb $11, 11(%rdi), %xmm2
5144 ; SSE42-NEXT: LBB24_24: ## %else32
5145 ; SSE42-NEXT: pxor %xmm4, %xmm4
5146 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm4
5147 ; SSE42-NEXT: pextrb $12, %xmm4, %eax
5148 ; SSE42-NEXT: testb $1, %al
5149 ; SSE42-NEXT: je LBB24_26
5150 ; SSE42-NEXT: ## %bb.25: ## %cond.load34
5151 ; SSE42-NEXT: pinsrb $12, 12(%rdi), %xmm2
5152 ; SSE42-NEXT: LBB24_26: ## %else35
5153 ; SSE42-NEXT: pextrb $13, %xmm4, %eax
5154 ; SSE42-NEXT: testb $1, %al
5155 ; SSE42-NEXT: je LBB24_28
5156 ; SSE42-NEXT: ## %bb.27: ## %cond.load37
5157 ; SSE42-NEXT: pinsrb $13, 13(%rdi), %xmm2
5158 ; SSE42-NEXT: LBB24_28: ## %else38
5159 ; SSE42-NEXT: pxor %xmm4, %xmm4
5160 ; SSE42-NEXT: pcmpgtb %xmm0, %xmm4
5161 ; SSE42-NEXT: pextrb $14, %xmm4, %eax
5162 ; SSE42-NEXT: testb $1, %al
5163 ; SSE42-NEXT: je LBB24_30
5164 ; SSE42-NEXT: ## %bb.29: ## %cond.load40
5165 ; SSE42-NEXT: pinsrb $14, 14(%rdi), %xmm2
5166 ; SSE42-NEXT: LBB24_30: ## %else41
5167 ; SSE42-NEXT: pextrb $15, %xmm4, %eax
5168 ; SSE42-NEXT: testb $1, %al
5169 ; SSE42-NEXT: je LBB24_32
5170 ; SSE42-NEXT: ## %bb.31: ## %cond.load43
5171 ; SSE42-NEXT: pinsrb $15, 15(%rdi), %xmm2
5172 ; SSE42-NEXT: LBB24_32: ## %else44
5173 ; SSE42-NEXT: pxor %xmm0, %xmm0
5174 ; SSE42-NEXT: pcmpgtb %xmm1, %xmm0
5175 ; SSE42-NEXT: pextrb $0, %xmm0, %eax
5176 ; SSE42-NEXT: testb $1, %al
5177 ; SSE42-NEXT: je LBB24_34
5178 ; SSE42-NEXT: ## %bb.33: ## %cond.load46
5179 ; SSE42-NEXT: pinsrb $0, 16(%rdi), %xmm3
5180 ; SSE42-NEXT: LBB24_34: ## %else47
5181 ; SSE42-NEXT: pextrb $1, %xmm0, %eax
5182 ; SSE42-NEXT: testb $1, %al
5183 ; SSE42-NEXT: je LBB24_36
5184 ; SSE42-NEXT: ## %bb.35: ## %cond.load49
5185 ; SSE42-NEXT: pinsrb $1, 17(%rdi), %xmm3
5186 ; SSE42-NEXT: LBB24_36: ## %else50
5187 ; SSE42-NEXT: pxor %xmm0, %xmm0
5188 ; SSE42-NEXT: pcmpgtb %xmm1, %xmm0
5189 ; SSE42-NEXT: pextrb $2, %xmm0, %eax
5190 ; SSE42-NEXT: testb $1, %al
5191 ; SSE42-NEXT: je LBB24_38
5192 ; SSE42-NEXT: ## %bb.37: ## %cond.load52
5193 ; SSE42-NEXT: pinsrb $2, 18(%rdi), %xmm3
5194 ; SSE42-NEXT: LBB24_38: ## %else53
5195 ; SSE42-NEXT: pextrb $3, %xmm0, %eax
5196 ; SSE42-NEXT: testb $1, %al
5197 ; SSE42-NEXT: je LBB24_40
5198 ; SSE42-NEXT: ## %bb.39: ## %cond.load55
5199 ; SSE42-NEXT: pinsrb $3, 19(%rdi), %xmm3
5200 ; SSE42-NEXT: LBB24_40: ## %else56
5201 ; SSE42-NEXT: pxor %xmm0, %xmm0
5202 ; SSE42-NEXT: pcmpgtb %xmm1, %xmm0
5203 ; SSE42-NEXT: pextrb $4, %xmm0, %eax
5204 ; SSE42-NEXT: testb $1, %al
5205 ; SSE42-NEXT: je LBB24_42
5206 ; SSE42-NEXT: ## %bb.41: ## %cond.load58
5207 ; SSE42-NEXT: pinsrb $4, 20(%rdi), %xmm3
5208 ; SSE42-NEXT: LBB24_42: ## %else59
5209 ; SSE42-NEXT: pextrb $5, %xmm0, %eax
5210 ; SSE42-NEXT: testb $1, %al
5211 ; SSE42-NEXT: je LBB24_44
5212 ; SSE42-NEXT: ## %bb.43: ## %cond.load61
5213 ; SSE42-NEXT: pinsrb $5, 21(%rdi), %xmm3
5214 ; SSE42-NEXT: LBB24_44: ## %else62
5215 ; SSE42-NEXT: pxor %xmm0, %xmm0
5216 ; SSE42-NEXT: pcmpgtb %xmm1, %xmm0
5217 ; SSE42-NEXT: pextrb $6, %xmm0, %eax
5218 ; SSE42-NEXT: testb $1, %al
5219 ; SSE42-NEXT: je LBB24_46
5220 ; SSE42-NEXT: ## %bb.45: ## %cond.load64
5221 ; SSE42-NEXT: pinsrb $6, 22(%rdi), %xmm3
5222 ; SSE42-NEXT: LBB24_46: ## %else65
5223 ; SSE42-NEXT: pextrb $7, %xmm0, %eax
5224 ; SSE42-NEXT: testb $1, %al
5225 ; SSE42-NEXT: je LBB24_48
5226 ; SSE42-NEXT: ## %bb.47: ## %cond.load67
5227 ; SSE42-NEXT: pinsrb $7, 23(%rdi), %xmm3
5228 ; SSE42-NEXT: LBB24_48: ## %else68
5229 ; SSE42-NEXT: pxor %xmm0, %xmm0
5230 ; SSE42-NEXT: pcmpgtb %xmm1, %xmm0
5231 ; SSE42-NEXT: pextrb $8, %xmm0, %eax
5232 ; SSE42-NEXT: testb $1, %al
5233 ; SSE42-NEXT: je LBB24_50
5234 ; SSE42-NEXT: ## %bb.49: ## %cond.load70
5235 ; SSE42-NEXT: pinsrb $8, 24(%rdi), %xmm3
5236 ; SSE42-NEXT: LBB24_50: ## %else71
5237 ; SSE42-NEXT: pextrb $9, %xmm0, %eax
5238 ; SSE42-NEXT: testb $1, %al
5239 ; SSE42-NEXT: je LBB24_52
5240 ; SSE42-NEXT: ## %bb.51: ## %cond.load73
5241 ; SSE42-NEXT: pinsrb $9, 25(%rdi), %xmm3
5242 ; SSE42-NEXT: LBB24_52: ## %else74
5243 ; SSE42-NEXT: pxor %xmm0, %xmm0
5244 ; SSE42-NEXT: pcmpgtb %xmm1, %xmm0
5245 ; SSE42-NEXT: pextrb $10, %xmm0, %eax
5246 ; SSE42-NEXT: testb $1, %al
5247 ; SSE42-NEXT: je LBB24_54
5248 ; SSE42-NEXT: ## %bb.53: ## %cond.load76
5249 ; SSE42-NEXT: pinsrb $10, 26(%rdi), %xmm3
5250 ; SSE42-NEXT: LBB24_54: ## %else77
5251 ; SSE42-NEXT: pextrb $11, %xmm0, %eax
5252 ; SSE42-NEXT: testb $1, %al
5253 ; SSE42-NEXT: je LBB24_56
5254 ; SSE42-NEXT: ## %bb.55: ## %cond.load79
5255 ; SSE42-NEXT: pinsrb $11, 27(%rdi), %xmm3
5256 ; SSE42-NEXT: LBB24_56: ## %else80
5257 ; SSE42-NEXT: pxor %xmm0, %xmm0
5258 ; SSE42-NEXT: pcmpgtb %xmm1, %xmm0
5259 ; SSE42-NEXT: pextrb $12, %xmm0, %eax
5260 ; SSE42-NEXT: testb $1, %al
5261 ; SSE42-NEXT: je LBB24_58
5262 ; SSE42-NEXT: ## %bb.57: ## %cond.load82
5263 ; SSE42-NEXT: pinsrb $12, 28(%rdi), %xmm3
5264 ; SSE42-NEXT: LBB24_58: ## %else83
5265 ; SSE42-NEXT: pextrb $13, %xmm0, %eax
5266 ; SSE42-NEXT: testb $1, %al
5267 ; SSE42-NEXT: je LBB24_60
5268 ; SSE42-NEXT: ## %bb.59: ## %cond.load85
5269 ; SSE42-NEXT: pinsrb $13, 29(%rdi), %xmm3
5270 ; SSE42-NEXT: LBB24_60: ## %else86
5271 ; SSE42-NEXT: pxor %xmm0, %xmm0
5272 ; SSE42-NEXT: pcmpgtb %xmm1, %xmm0
5273 ; SSE42-NEXT: pextrb $14, %xmm0, %eax
5274 ; SSE42-NEXT: testb $1, %al
5275 ; SSE42-NEXT: je LBB24_62
5276 ; SSE42-NEXT: ## %bb.61: ## %cond.load88
5277 ; SSE42-NEXT: pinsrb $14, 30(%rdi), %xmm3
5278 ; SSE42-NEXT: LBB24_62: ## %else89
5279 ; SSE42-NEXT: pextrb $15, %xmm0, %eax
5280 ; SSE42-NEXT: testb $1, %al
5281 ; SSE42-NEXT: je LBB24_64
5282 ; SSE42-NEXT: ## %bb.63: ## %cond.load91
5283 ; SSE42-NEXT: pinsrb $15, 31(%rdi), %xmm3
5284 ; SSE42-NEXT: LBB24_64: ## %else92
5285 ; SSE42-NEXT: movdqa %xmm2, %xmm0
5286 ; SSE42-NEXT: movdqa %xmm3, %xmm1
5289 ; AVX1-LABEL: load_v32i8_v32i8:
5291 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5292 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm3
5293 ; AVX1-NEXT: vpextrb $0, %xmm3, %eax
5294 ; AVX1-NEXT: testb $1, %al
5295 ; AVX1-NEXT: je LBB24_2
5296 ; AVX1-NEXT: ## %bb.1: ## %cond.load
5297 ; AVX1-NEXT: vpinsrb $0, (%rdi), %xmm1, %xmm3
5298 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5299 ; AVX1-NEXT: LBB24_2: ## %else
5300 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
5301 ; AVX1-NEXT: vpextrb $1, %xmm2, %eax
5302 ; AVX1-NEXT: testb $1, %al
5303 ; AVX1-NEXT: je LBB24_4
5304 ; AVX1-NEXT: ## %bb.3: ## %cond.load1
5305 ; AVX1-NEXT: vpinsrb $1, 1(%rdi), %xmm1, %xmm2
5306 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5307 ; AVX1-NEXT: LBB24_4: ## %else2
5308 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5309 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm3
5310 ; AVX1-NEXT: vpextrb $2, %xmm3, %eax
5311 ; AVX1-NEXT: testb $1, %al
5312 ; AVX1-NEXT: je LBB24_6
5313 ; AVX1-NEXT: ## %bb.5: ## %cond.load4
5314 ; AVX1-NEXT: vpinsrb $2, 2(%rdi), %xmm1, %xmm3
5315 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5316 ; AVX1-NEXT: LBB24_6: ## %else5
5317 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
5318 ; AVX1-NEXT: vpextrb $3, %xmm2, %eax
5319 ; AVX1-NEXT: testb $1, %al
5320 ; AVX1-NEXT: je LBB24_8
5321 ; AVX1-NEXT: ## %bb.7: ## %cond.load7
5322 ; AVX1-NEXT: vpinsrb $3, 3(%rdi), %xmm1, %xmm2
5323 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5324 ; AVX1-NEXT: LBB24_8: ## %else8
5325 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5326 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm3
5327 ; AVX1-NEXT: vpextrb $4, %xmm3, %eax
5328 ; AVX1-NEXT: testb $1, %al
5329 ; AVX1-NEXT: je LBB24_10
5330 ; AVX1-NEXT: ## %bb.9: ## %cond.load10
5331 ; AVX1-NEXT: vpinsrb $4, 4(%rdi), %xmm1, %xmm3
5332 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5333 ; AVX1-NEXT: LBB24_10: ## %else11
5334 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
5335 ; AVX1-NEXT: vpextrb $5, %xmm2, %eax
5336 ; AVX1-NEXT: testb $1, %al
5337 ; AVX1-NEXT: je LBB24_12
5338 ; AVX1-NEXT: ## %bb.11: ## %cond.load13
5339 ; AVX1-NEXT: vpinsrb $5, 5(%rdi), %xmm1, %xmm2
5340 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5341 ; AVX1-NEXT: LBB24_12: ## %else14
5342 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5343 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm3
5344 ; AVX1-NEXT: vpextrb $6, %xmm3, %eax
5345 ; AVX1-NEXT: testb $1, %al
5346 ; AVX1-NEXT: je LBB24_14
5347 ; AVX1-NEXT: ## %bb.13: ## %cond.load16
5348 ; AVX1-NEXT: vpinsrb $6, 6(%rdi), %xmm1, %xmm3
5349 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5350 ; AVX1-NEXT: LBB24_14: ## %else17
5351 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
5352 ; AVX1-NEXT: vpextrb $7, %xmm2, %eax
5353 ; AVX1-NEXT: testb $1, %al
5354 ; AVX1-NEXT: je LBB24_16
5355 ; AVX1-NEXT: ## %bb.15: ## %cond.load19
5356 ; AVX1-NEXT: vpinsrb $7, 7(%rdi), %xmm1, %xmm2
5357 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5358 ; AVX1-NEXT: LBB24_16: ## %else20
5359 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5360 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm3
5361 ; AVX1-NEXT: vpextrb $8, %xmm3, %eax
5362 ; AVX1-NEXT: testb $1, %al
5363 ; AVX1-NEXT: je LBB24_18
5364 ; AVX1-NEXT: ## %bb.17: ## %cond.load22
5365 ; AVX1-NEXT: vpinsrb $8, 8(%rdi), %xmm1, %xmm3
5366 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5367 ; AVX1-NEXT: LBB24_18: ## %else23
5368 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
5369 ; AVX1-NEXT: vpextrb $9, %xmm2, %eax
5370 ; AVX1-NEXT: testb $1, %al
5371 ; AVX1-NEXT: je LBB24_20
5372 ; AVX1-NEXT: ## %bb.19: ## %cond.load25
5373 ; AVX1-NEXT: vpinsrb $9, 9(%rdi), %xmm1, %xmm2
5374 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5375 ; AVX1-NEXT: LBB24_20: ## %else26
5376 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5377 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm3
5378 ; AVX1-NEXT: vpextrb $10, %xmm3, %eax
5379 ; AVX1-NEXT: testb $1, %al
5380 ; AVX1-NEXT: je LBB24_22
5381 ; AVX1-NEXT: ## %bb.21: ## %cond.load28
5382 ; AVX1-NEXT: vpinsrb $10, 10(%rdi), %xmm1, %xmm3
5383 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5384 ; AVX1-NEXT: LBB24_22: ## %else29
5385 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
5386 ; AVX1-NEXT: vpextrb $11, %xmm2, %eax
5387 ; AVX1-NEXT: testb $1, %al
5388 ; AVX1-NEXT: je LBB24_24
5389 ; AVX1-NEXT: ## %bb.23: ## %cond.load31
5390 ; AVX1-NEXT: vpinsrb $11, 11(%rdi), %xmm1, %xmm2
5391 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5392 ; AVX1-NEXT: LBB24_24: ## %else32
5393 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5394 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm3
5395 ; AVX1-NEXT: vpextrb $12, %xmm3, %eax
5396 ; AVX1-NEXT: testb $1, %al
5397 ; AVX1-NEXT: je LBB24_26
5398 ; AVX1-NEXT: ## %bb.25: ## %cond.load34
5399 ; AVX1-NEXT: vpinsrb $12, 12(%rdi), %xmm1, %xmm3
5400 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5401 ; AVX1-NEXT: LBB24_26: ## %else35
5402 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
5403 ; AVX1-NEXT: vpextrb $13, %xmm2, %eax
5404 ; AVX1-NEXT: testb $1, %al
5405 ; AVX1-NEXT: je LBB24_28
5406 ; AVX1-NEXT: ## %bb.27: ## %cond.load37
5407 ; AVX1-NEXT: vpinsrb $13, 13(%rdi), %xmm1, %xmm2
5408 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5409 ; AVX1-NEXT: LBB24_28: ## %else38
5410 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5411 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm3
5412 ; AVX1-NEXT: vpextrb $14, %xmm3, %eax
5413 ; AVX1-NEXT: testb $1, %al
5414 ; AVX1-NEXT: je LBB24_30
5415 ; AVX1-NEXT: ## %bb.29: ## %cond.load40
5416 ; AVX1-NEXT: vpinsrb $14, 14(%rdi), %xmm1, %xmm3
5417 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5418 ; AVX1-NEXT: LBB24_30: ## %else41
5419 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
5420 ; AVX1-NEXT: vpextrb $15, %xmm2, %eax
5421 ; AVX1-NEXT: testb $1, %al
5422 ; AVX1-NEXT: je LBB24_32
5423 ; AVX1-NEXT: ## %bb.31: ## %cond.load43
5424 ; AVX1-NEXT: vpinsrb $15, 15(%rdi), %xmm1, %xmm2
5425 ; AVX1-NEXT: vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5426 ; AVX1-NEXT: LBB24_32: ## %else44
5427 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm0
5428 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5429 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
5430 ; AVX1-NEXT: vpextrb $0, %xmm2, %eax
5431 ; AVX1-NEXT: testb $1, %al
5432 ; AVX1-NEXT: je LBB24_34
5433 ; AVX1-NEXT: ## %bb.33: ## %cond.load46
5434 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3
5435 ; AVX1-NEXT: vpinsrb $0, 16(%rdi), %xmm3, %xmm3
5436 ; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm1, %ymm1
5437 ; AVX1-NEXT: LBB24_34: ## %else47
5438 ; AVX1-NEXT: vpextrb $1, %xmm2, %eax
5439 ; AVX1-NEXT: testb $1, %al
5440 ; AVX1-NEXT: je LBB24_36
5441 ; AVX1-NEXT: ## %bb.35: ## %cond.load49
5442 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
5443 ; AVX1-NEXT: vpinsrb $1, 17(%rdi), %xmm2, %xmm2
5444 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
5445 ; AVX1-NEXT: LBB24_36: ## %else50
5446 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5447 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
5448 ; AVX1-NEXT: vpextrb $2, %xmm2, %eax
5449 ; AVX1-NEXT: testb $1, %al
5450 ; AVX1-NEXT: je LBB24_38
5451 ; AVX1-NEXT: ## %bb.37: ## %cond.load52
5452 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3
5453 ; AVX1-NEXT: vpinsrb $2, 18(%rdi), %xmm3, %xmm3
5454 ; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm1, %ymm1
5455 ; AVX1-NEXT: LBB24_38: ## %else53
5456 ; AVX1-NEXT: vpextrb $3, %xmm2, %eax
5457 ; AVX1-NEXT: testb $1, %al
5458 ; AVX1-NEXT: je LBB24_40
5459 ; AVX1-NEXT: ## %bb.39: ## %cond.load55
5460 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
5461 ; AVX1-NEXT: vpinsrb $3, 19(%rdi), %xmm2, %xmm2
5462 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
5463 ; AVX1-NEXT: LBB24_40: ## %else56
5464 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5465 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
5466 ; AVX1-NEXT: vpextrb $4, %xmm2, %eax
5467 ; AVX1-NEXT: testb $1, %al
5468 ; AVX1-NEXT: je LBB24_42
5469 ; AVX1-NEXT: ## %bb.41: ## %cond.load58
5470 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3
5471 ; AVX1-NEXT: vpinsrb $4, 20(%rdi), %xmm3, %xmm3
5472 ; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm1, %ymm1
5473 ; AVX1-NEXT: LBB24_42: ## %else59
5474 ; AVX1-NEXT: vpextrb $5, %xmm2, %eax
5475 ; AVX1-NEXT: testb $1, %al
5476 ; AVX1-NEXT: je LBB24_44
5477 ; AVX1-NEXT: ## %bb.43: ## %cond.load61
5478 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
5479 ; AVX1-NEXT: vpinsrb $5, 21(%rdi), %xmm2, %xmm2
5480 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
5481 ; AVX1-NEXT: LBB24_44: ## %else62
5482 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5483 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
5484 ; AVX1-NEXT: vpextrb $6, %xmm2, %eax
5485 ; AVX1-NEXT: testb $1, %al
5486 ; AVX1-NEXT: je LBB24_46
5487 ; AVX1-NEXT: ## %bb.45: ## %cond.load64
5488 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3
5489 ; AVX1-NEXT: vpinsrb $6, 22(%rdi), %xmm3, %xmm3
5490 ; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm1, %ymm1
5491 ; AVX1-NEXT: LBB24_46: ## %else65
5492 ; AVX1-NEXT: vpextrb $7, %xmm2, %eax
5493 ; AVX1-NEXT: testb $1, %al
5494 ; AVX1-NEXT: je LBB24_48
5495 ; AVX1-NEXT: ## %bb.47: ## %cond.load67
5496 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
5497 ; AVX1-NEXT: vpinsrb $7, 23(%rdi), %xmm2, %xmm2
5498 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
5499 ; AVX1-NEXT: LBB24_48: ## %else68
5500 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5501 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
5502 ; AVX1-NEXT: vpextrb $8, %xmm2, %eax
5503 ; AVX1-NEXT: testb $1, %al
5504 ; AVX1-NEXT: je LBB24_50
5505 ; AVX1-NEXT: ## %bb.49: ## %cond.load70
5506 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3
5507 ; AVX1-NEXT: vpinsrb $8, 24(%rdi), %xmm3, %xmm3
5508 ; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm1, %ymm1
5509 ; AVX1-NEXT: LBB24_50: ## %else71
5510 ; AVX1-NEXT: vpextrb $9, %xmm2, %eax
5511 ; AVX1-NEXT: testb $1, %al
5512 ; AVX1-NEXT: je LBB24_52
5513 ; AVX1-NEXT: ## %bb.51: ## %cond.load73
5514 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
5515 ; AVX1-NEXT: vpinsrb $9, 25(%rdi), %xmm2, %xmm2
5516 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
5517 ; AVX1-NEXT: LBB24_52: ## %else74
5518 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5519 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
5520 ; AVX1-NEXT: vpextrb $10, %xmm2, %eax
5521 ; AVX1-NEXT: testb $1, %al
5522 ; AVX1-NEXT: je LBB24_54
5523 ; AVX1-NEXT: ## %bb.53: ## %cond.load76
5524 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3
5525 ; AVX1-NEXT: vpinsrb $10, 26(%rdi), %xmm3, %xmm3
5526 ; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm1, %ymm1
5527 ; AVX1-NEXT: LBB24_54: ## %else77
5528 ; AVX1-NEXT: vpextrb $11, %xmm2, %eax
5529 ; AVX1-NEXT: testb $1, %al
5530 ; AVX1-NEXT: je LBB24_56
5531 ; AVX1-NEXT: ## %bb.55: ## %cond.load79
5532 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
5533 ; AVX1-NEXT: vpinsrb $11, 27(%rdi), %xmm2, %xmm2
5534 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
5535 ; AVX1-NEXT: LBB24_56: ## %else80
5536 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5537 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm2
5538 ; AVX1-NEXT: vpextrb $12, %xmm2, %eax
5539 ; AVX1-NEXT: testb $1, %al
5540 ; AVX1-NEXT: je LBB24_58
5541 ; AVX1-NEXT: ## %bb.57: ## %cond.load82
5542 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm3
5543 ; AVX1-NEXT: vpinsrb $12, 28(%rdi), %xmm3, %xmm3
5544 ; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm1, %ymm1
5545 ; AVX1-NEXT: LBB24_58: ## %else83
5546 ; AVX1-NEXT: vpextrb $13, %xmm2, %eax
5547 ; AVX1-NEXT: testb $1, %al
5548 ; AVX1-NEXT: je LBB24_60
5549 ; AVX1-NEXT: ## %bb.59: ## %cond.load85
5550 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
5551 ; AVX1-NEXT: vpinsrb $13, 29(%rdi), %xmm2, %xmm2
5552 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
5553 ; AVX1-NEXT: LBB24_60: ## %else86
5554 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
5555 ; AVX1-NEXT: vpcmpgtb %xmm0, %xmm2, %xmm0
5556 ; AVX1-NEXT: vpextrb $14, %xmm0, %eax
5557 ; AVX1-NEXT: testb $1, %al
5558 ; AVX1-NEXT: je LBB24_62
5559 ; AVX1-NEXT: ## %bb.61: ## %cond.load88
5560 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
5561 ; AVX1-NEXT: vpinsrb $14, 30(%rdi), %xmm2, %xmm2
5562 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
5563 ; AVX1-NEXT: LBB24_62: ## %else89
5564 ; AVX1-NEXT: vpextrb $15, %xmm0, %eax
5565 ; AVX1-NEXT: testb $1, %al
5566 ; AVX1-NEXT: je LBB24_64
5567 ; AVX1-NEXT: ## %bb.63: ## %cond.load91
5568 ; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm0
5569 ; AVX1-NEXT: vpinsrb $15, 31(%rdi), %xmm0, %xmm0
5570 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm1
5571 ; AVX1-NEXT: LBB24_64: ## %else92
5572 ; AVX1-NEXT: vmovaps %ymm1, %ymm0
5575 ; AVX2-LABEL: load_v32i8_v32i8:
5577 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5578 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5579 ; AVX2-NEXT: vpextrb $0, %xmm2, %eax
5580 ; AVX2-NEXT: testb $1, %al
5581 ; AVX2-NEXT: je LBB24_2
5582 ; AVX2-NEXT: ## %bb.1: ## %cond.load
5583 ; AVX2-NEXT: vpinsrb $0, (%rdi), %xmm1, %xmm3
5584 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5585 ; AVX2-NEXT: LBB24_2: ## %else
5586 ; AVX2-NEXT: vpextrb $1, %xmm2, %eax
5587 ; AVX2-NEXT: testb $1, %al
5588 ; AVX2-NEXT: je LBB24_4
5589 ; AVX2-NEXT: ## %bb.3: ## %cond.load1
5590 ; AVX2-NEXT: vpinsrb $1, 1(%rdi), %xmm1, %xmm2
5591 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5592 ; AVX2-NEXT: LBB24_4: ## %else2
5593 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5594 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5595 ; AVX2-NEXT: vpextrb $2, %xmm2, %eax
5596 ; AVX2-NEXT: testb $1, %al
5597 ; AVX2-NEXT: je LBB24_6
5598 ; AVX2-NEXT: ## %bb.5: ## %cond.load4
5599 ; AVX2-NEXT: vpinsrb $2, 2(%rdi), %xmm1, %xmm3
5600 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5601 ; AVX2-NEXT: LBB24_6: ## %else5
5602 ; AVX2-NEXT: vpextrb $3, %xmm2, %eax
5603 ; AVX2-NEXT: testb $1, %al
5604 ; AVX2-NEXT: je LBB24_8
5605 ; AVX2-NEXT: ## %bb.7: ## %cond.load7
5606 ; AVX2-NEXT: vpinsrb $3, 3(%rdi), %xmm1, %xmm2
5607 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5608 ; AVX2-NEXT: LBB24_8: ## %else8
5609 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5610 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5611 ; AVX2-NEXT: vpextrb $4, %xmm2, %eax
5612 ; AVX2-NEXT: testb $1, %al
5613 ; AVX2-NEXT: je LBB24_10
5614 ; AVX2-NEXT: ## %bb.9: ## %cond.load10
5615 ; AVX2-NEXT: vpinsrb $4, 4(%rdi), %xmm1, %xmm3
5616 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5617 ; AVX2-NEXT: LBB24_10: ## %else11
5618 ; AVX2-NEXT: vpextrb $5, %xmm2, %eax
5619 ; AVX2-NEXT: testb $1, %al
5620 ; AVX2-NEXT: je LBB24_12
5621 ; AVX2-NEXT: ## %bb.11: ## %cond.load13
5622 ; AVX2-NEXT: vpinsrb $5, 5(%rdi), %xmm1, %xmm2
5623 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5624 ; AVX2-NEXT: LBB24_12: ## %else14
5625 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5626 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5627 ; AVX2-NEXT: vpextrb $6, %xmm2, %eax
5628 ; AVX2-NEXT: testb $1, %al
5629 ; AVX2-NEXT: je LBB24_14
5630 ; AVX2-NEXT: ## %bb.13: ## %cond.load16
5631 ; AVX2-NEXT: vpinsrb $6, 6(%rdi), %xmm1, %xmm3
5632 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5633 ; AVX2-NEXT: LBB24_14: ## %else17
5634 ; AVX2-NEXT: vpextrb $7, %xmm2, %eax
5635 ; AVX2-NEXT: testb $1, %al
5636 ; AVX2-NEXT: je LBB24_16
5637 ; AVX2-NEXT: ## %bb.15: ## %cond.load19
5638 ; AVX2-NEXT: vpinsrb $7, 7(%rdi), %xmm1, %xmm2
5639 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5640 ; AVX2-NEXT: LBB24_16: ## %else20
5641 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5642 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5643 ; AVX2-NEXT: vpextrb $8, %xmm2, %eax
5644 ; AVX2-NEXT: testb $1, %al
5645 ; AVX2-NEXT: je LBB24_18
5646 ; AVX2-NEXT: ## %bb.17: ## %cond.load22
5647 ; AVX2-NEXT: vpinsrb $8, 8(%rdi), %xmm1, %xmm3
5648 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5649 ; AVX2-NEXT: LBB24_18: ## %else23
5650 ; AVX2-NEXT: vpextrb $9, %xmm2, %eax
5651 ; AVX2-NEXT: testb $1, %al
5652 ; AVX2-NEXT: je LBB24_20
5653 ; AVX2-NEXT: ## %bb.19: ## %cond.load25
5654 ; AVX2-NEXT: vpinsrb $9, 9(%rdi), %xmm1, %xmm2
5655 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5656 ; AVX2-NEXT: LBB24_20: ## %else26
5657 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5658 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5659 ; AVX2-NEXT: vpextrb $10, %xmm2, %eax
5660 ; AVX2-NEXT: testb $1, %al
5661 ; AVX2-NEXT: je LBB24_22
5662 ; AVX2-NEXT: ## %bb.21: ## %cond.load28
5663 ; AVX2-NEXT: vpinsrb $10, 10(%rdi), %xmm1, %xmm3
5664 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5665 ; AVX2-NEXT: LBB24_22: ## %else29
5666 ; AVX2-NEXT: vpextrb $11, %xmm2, %eax
5667 ; AVX2-NEXT: testb $1, %al
5668 ; AVX2-NEXT: je LBB24_24
5669 ; AVX2-NEXT: ## %bb.23: ## %cond.load31
5670 ; AVX2-NEXT: vpinsrb $11, 11(%rdi), %xmm1, %xmm2
5671 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5672 ; AVX2-NEXT: LBB24_24: ## %else32
5673 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5674 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5675 ; AVX2-NEXT: vpextrb $12, %xmm2, %eax
5676 ; AVX2-NEXT: testb $1, %al
5677 ; AVX2-NEXT: je LBB24_26
5678 ; AVX2-NEXT: ## %bb.25: ## %cond.load34
5679 ; AVX2-NEXT: vpinsrb $12, 12(%rdi), %xmm1, %xmm3
5680 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5681 ; AVX2-NEXT: LBB24_26: ## %else35
5682 ; AVX2-NEXT: vpextrb $13, %xmm2, %eax
5683 ; AVX2-NEXT: testb $1, %al
5684 ; AVX2-NEXT: je LBB24_28
5685 ; AVX2-NEXT: ## %bb.27: ## %cond.load37
5686 ; AVX2-NEXT: vpinsrb $13, 13(%rdi), %xmm1, %xmm2
5687 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5688 ; AVX2-NEXT: LBB24_28: ## %else38
5689 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5690 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5691 ; AVX2-NEXT: vpextrb $14, %xmm2, %eax
5692 ; AVX2-NEXT: testb $1, %al
5693 ; AVX2-NEXT: je LBB24_30
5694 ; AVX2-NEXT: ## %bb.29: ## %cond.load40
5695 ; AVX2-NEXT: vpinsrb $14, 14(%rdi), %xmm1, %xmm3
5696 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5697 ; AVX2-NEXT: LBB24_30: ## %else41
5698 ; AVX2-NEXT: vpextrb $15, %xmm2, %eax
5699 ; AVX2-NEXT: testb $1, %al
5700 ; AVX2-NEXT: je LBB24_32
5701 ; AVX2-NEXT: ## %bb.31: ## %cond.load43
5702 ; AVX2-NEXT: vpinsrb $15, 15(%rdi), %xmm1, %xmm2
5703 ; AVX2-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5704 ; AVX2-NEXT: LBB24_32: ## %else44
5705 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5706 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5707 ; AVX2-NEXT: vextracti128 $1, %ymm2, %xmm2
5708 ; AVX2-NEXT: vpextrb $0, %xmm2, %eax
5709 ; AVX2-NEXT: testb $1, %al
5710 ; AVX2-NEXT: je LBB24_34
5711 ; AVX2-NEXT: ## %bb.33: ## %cond.load46
5712 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm3
5713 ; AVX2-NEXT: vpinsrb $0, 16(%rdi), %xmm3, %xmm3
5714 ; AVX2-NEXT: vinserti128 $1, %xmm3, %ymm1, %ymm1
5715 ; AVX2-NEXT: LBB24_34: ## %else47
5716 ; AVX2-NEXT: vpextrb $1, %xmm2, %eax
5717 ; AVX2-NEXT: testb $1, %al
5718 ; AVX2-NEXT: je LBB24_36
5719 ; AVX2-NEXT: ## %bb.35: ## %cond.load49
5720 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
5721 ; AVX2-NEXT: vpinsrb $1, 17(%rdi), %xmm2, %xmm2
5722 ; AVX2-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
5723 ; AVX2-NEXT: LBB24_36: ## %else50
5724 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5725 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5726 ; AVX2-NEXT: vextracti128 $1, %ymm2, %xmm2
5727 ; AVX2-NEXT: vpextrb $2, %xmm2, %eax
5728 ; AVX2-NEXT: testb $1, %al
5729 ; AVX2-NEXT: je LBB24_38
5730 ; AVX2-NEXT: ## %bb.37: ## %cond.load52
5731 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm3
5732 ; AVX2-NEXT: vpinsrb $2, 18(%rdi), %xmm3, %xmm3
5733 ; AVX2-NEXT: vinserti128 $1, %xmm3, %ymm1, %ymm1
5734 ; AVX2-NEXT: LBB24_38: ## %else53
5735 ; AVX2-NEXT: vpextrb $3, %xmm2, %eax
5736 ; AVX2-NEXT: testb $1, %al
5737 ; AVX2-NEXT: je LBB24_40
5738 ; AVX2-NEXT: ## %bb.39: ## %cond.load55
5739 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
5740 ; AVX2-NEXT: vpinsrb $3, 19(%rdi), %xmm2, %xmm2
5741 ; AVX2-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
5742 ; AVX2-NEXT: LBB24_40: ## %else56
5743 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5744 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5745 ; AVX2-NEXT: vextracti128 $1, %ymm2, %xmm2
5746 ; AVX2-NEXT: vpextrb $4, %xmm2, %eax
5747 ; AVX2-NEXT: testb $1, %al
5748 ; AVX2-NEXT: je LBB24_42
5749 ; AVX2-NEXT: ## %bb.41: ## %cond.load58
5750 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm3
5751 ; AVX2-NEXT: vpinsrb $4, 20(%rdi), %xmm3, %xmm3
5752 ; AVX2-NEXT: vinserti128 $1, %xmm3, %ymm1, %ymm1
5753 ; AVX2-NEXT: LBB24_42: ## %else59
5754 ; AVX2-NEXT: vpextrb $5, %xmm2, %eax
5755 ; AVX2-NEXT: testb $1, %al
5756 ; AVX2-NEXT: je LBB24_44
5757 ; AVX2-NEXT: ## %bb.43: ## %cond.load61
5758 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
5759 ; AVX2-NEXT: vpinsrb $5, 21(%rdi), %xmm2, %xmm2
5760 ; AVX2-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
5761 ; AVX2-NEXT: LBB24_44: ## %else62
5762 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5763 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5764 ; AVX2-NEXT: vextracti128 $1, %ymm2, %xmm2
5765 ; AVX2-NEXT: vpextrb $6, %xmm2, %eax
5766 ; AVX2-NEXT: testb $1, %al
5767 ; AVX2-NEXT: je LBB24_46
5768 ; AVX2-NEXT: ## %bb.45: ## %cond.load64
5769 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm3
5770 ; AVX2-NEXT: vpinsrb $6, 22(%rdi), %xmm3, %xmm3
5771 ; AVX2-NEXT: vinserti128 $1, %xmm3, %ymm1, %ymm1
5772 ; AVX2-NEXT: LBB24_46: ## %else65
5773 ; AVX2-NEXT: vpextrb $7, %xmm2, %eax
5774 ; AVX2-NEXT: testb $1, %al
5775 ; AVX2-NEXT: je LBB24_48
5776 ; AVX2-NEXT: ## %bb.47: ## %cond.load67
5777 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
5778 ; AVX2-NEXT: vpinsrb $7, 23(%rdi), %xmm2, %xmm2
5779 ; AVX2-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
5780 ; AVX2-NEXT: LBB24_48: ## %else68
5781 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5782 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5783 ; AVX2-NEXT: vextracti128 $1, %ymm2, %xmm2
5784 ; AVX2-NEXT: vpextrb $8, %xmm2, %eax
5785 ; AVX2-NEXT: testb $1, %al
5786 ; AVX2-NEXT: je LBB24_50
5787 ; AVX2-NEXT: ## %bb.49: ## %cond.load70
5788 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm3
5789 ; AVX2-NEXT: vpinsrb $8, 24(%rdi), %xmm3, %xmm3
5790 ; AVX2-NEXT: vinserti128 $1, %xmm3, %ymm1, %ymm1
5791 ; AVX2-NEXT: LBB24_50: ## %else71
5792 ; AVX2-NEXT: vpextrb $9, %xmm2, %eax
5793 ; AVX2-NEXT: testb $1, %al
5794 ; AVX2-NEXT: je LBB24_52
5795 ; AVX2-NEXT: ## %bb.51: ## %cond.load73
5796 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
5797 ; AVX2-NEXT: vpinsrb $9, 25(%rdi), %xmm2, %xmm2
5798 ; AVX2-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
5799 ; AVX2-NEXT: LBB24_52: ## %else74
5800 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5801 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5802 ; AVX2-NEXT: vextracti128 $1, %ymm2, %xmm2
5803 ; AVX2-NEXT: vpextrb $10, %xmm2, %eax
5804 ; AVX2-NEXT: testb $1, %al
5805 ; AVX2-NEXT: je LBB24_54
5806 ; AVX2-NEXT: ## %bb.53: ## %cond.load76
5807 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm3
5808 ; AVX2-NEXT: vpinsrb $10, 26(%rdi), %xmm3, %xmm3
5809 ; AVX2-NEXT: vinserti128 $1, %xmm3, %ymm1, %ymm1
5810 ; AVX2-NEXT: LBB24_54: ## %else77
5811 ; AVX2-NEXT: vpextrb $11, %xmm2, %eax
5812 ; AVX2-NEXT: testb $1, %al
5813 ; AVX2-NEXT: je LBB24_56
5814 ; AVX2-NEXT: ## %bb.55: ## %cond.load79
5815 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
5816 ; AVX2-NEXT: vpinsrb $11, 27(%rdi), %xmm2, %xmm2
5817 ; AVX2-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
5818 ; AVX2-NEXT: LBB24_56: ## %else80
5819 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5820 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5821 ; AVX2-NEXT: vextracti128 $1, %ymm2, %xmm2
5822 ; AVX2-NEXT: vpextrb $12, %xmm2, %eax
5823 ; AVX2-NEXT: testb $1, %al
5824 ; AVX2-NEXT: je LBB24_58
5825 ; AVX2-NEXT: ## %bb.57: ## %cond.load82
5826 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm3
5827 ; AVX2-NEXT: vpinsrb $12, 28(%rdi), %xmm3, %xmm3
5828 ; AVX2-NEXT: vinserti128 $1, %xmm3, %ymm1, %ymm1
5829 ; AVX2-NEXT: LBB24_58: ## %else83
5830 ; AVX2-NEXT: vpextrb $13, %xmm2, %eax
5831 ; AVX2-NEXT: testb $1, %al
5832 ; AVX2-NEXT: je LBB24_60
5833 ; AVX2-NEXT: ## %bb.59: ## %cond.load85
5834 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
5835 ; AVX2-NEXT: vpinsrb $13, 29(%rdi), %xmm2, %xmm2
5836 ; AVX2-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
5837 ; AVX2-NEXT: LBB24_60: ## %else86
5838 ; AVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
5839 ; AVX2-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm0
5840 ; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm0
5841 ; AVX2-NEXT: vpextrb $14, %xmm0, %eax
5842 ; AVX2-NEXT: testb $1, %al
5843 ; AVX2-NEXT: je LBB24_62
5844 ; AVX2-NEXT: ## %bb.61: ## %cond.load88
5845 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
5846 ; AVX2-NEXT: vpinsrb $14, 30(%rdi), %xmm2, %xmm2
5847 ; AVX2-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
5848 ; AVX2-NEXT: LBB24_62: ## %else89
5849 ; AVX2-NEXT: vpextrb $15, %xmm0, %eax
5850 ; AVX2-NEXT: testb $1, %al
5851 ; AVX2-NEXT: je LBB24_64
5852 ; AVX2-NEXT: ## %bb.63: ## %cond.load91
5853 ; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm0
5854 ; AVX2-NEXT: vpinsrb $15, 31(%rdi), %xmm0, %xmm0
5855 ; AVX2-NEXT: vinserti128 $1, %xmm0, %ymm1, %ymm1
5856 ; AVX2-NEXT: LBB24_64: ## %else92
5857 ; AVX2-NEXT: vmovdqa %ymm1, %ymm0
5860 ; AVX512F-LABEL: load_v32i8_v32i8:
5861 ; AVX512F: ## %bb.0:
5862 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
5863 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5864 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm3
5865 ; AVX512F-NEXT: vptestmd %zmm3, %zmm3, %k0
5866 ; AVX512F-NEXT: kmovw %k0, %eax
5867 ; AVX512F-NEXT: testb $1, %al
5868 ; AVX512F-NEXT: je LBB24_2
5869 ; AVX512F-NEXT: ## %bb.1: ## %cond.load
5870 ; AVX512F-NEXT: vpinsrb $0, (%rdi), %xmm1, %xmm3
5871 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5872 ; AVX512F-NEXT: LBB24_2: ## %else
5873 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
5874 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
5875 ; AVX512F-NEXT: kshiftrw $1, %k0, %k0
5876 ; AVX512F-NEXT: kmovw %k0, %eax
5877 ; AVX512F-NEXT: testb $1, %al
5878 ; AVX512F-NEXT: je LBB24_4
5879 ; AVX512F-NEXT: ## %bb.3: ## %cond.load1
5880 ; AVX512F-NEXT: vpinsrb $1, 1(%rdi), %xmm1, %xmm2
5881 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5882 ; AVX512F-NEXT: LBB24_4: ## %else2
5883 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
5884 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5885 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm3
5886 ; AVX512F-NEXT: vptestmd %zmm3, %zmm3, %k0
5887 ; AVX512F-NEXT: kshiftrw $2, %k0, %k0
5888 ; AVX512F-NEXT: kmovw %k0, %eax
5889 ; AVX512F-NEXT: testb $1, %al
5890 ; AVX512F-NEXT: je LBB24_6
5891 ; AVX512F-NEXT: ## %bb.5: ## %cond.load4
5892 ; AVX512F-NEXT: vpinsrb $2, 2(%rdi), %xmm1, %xmm3
5893 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5894 ; AVX512F-NEXT: LBB24_6: ## %else5
5895 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
5896 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
5897 ; AVX512F-NEXT: kshiftrw $3, %k0, %k0
5898 ; AVX512F-NEXT: kmovw %k0, %eax
5899 ; AVX512F-NEXT: testb $1, %al
5900 ; AVX512F-NEXT: je LBB24_8
5901 ; AVX512F-NEXT: ## %bb.7: ## %cond.load7
5902 ; AVX512F-NEXT: vpinsrb $3, 3(%rdi), %xmm1, %xmm2
5903 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5904 ; AVX512F-NEXT: LBB24_8: ## %else8
5905 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
5906 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5907 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm3
5908 ; AVX512F-NEXT: vptestmd %zmm3, %zmm3, %k0
5909 ; AVX512F-NEXT: kshiftrw $4, %k0, %k0
5910 ; AVX512F-NEXT: kmovw %k0, %eax
5911 ; AVX512F-NEXT: testb $1, %al
5912 ; AVX512F-NEXT: je LBB24_10
5913 ; AVX512F-NEXT: ## %bb.9: ## %cond.load10
5914 ; AVX512F-NEXT: vpinsrb $4, 4(%rdi), %xmm1, %xmm3
5915 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5916 ; AVX512F-NEXT: LBB24_10: ## %else11
5917 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
5918 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
5919 ; AVX512F-NEXT: kshiftrw $5, %k0, %k0
5920 ; AVX512F-NEXT: kmovw %k0, %eax
5921 ; AVX512F-NEXT: testb $1, %al
5922 ; AVX512F-NEXT: je LBB24_12
5923 ; AVX512F-NEXT: ## %bb.11: ## %cond.load13
5924 ; AVX512F-NEXT: vpinsrb $5, 5(%rdi), %xmm1, %xmm2
5925 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5926 ; AVX512F-NEXT: LBB24_12: ## %else14
5927 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
5928 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5929 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm3
5930 ; AVX512F-NEXT: vptestmd %zmm3, %zmm3, %k0
5931 ; AVX512F-NEXT: kshiftrw $6, %k0, %k0
5932 ; AVX512F-NEXT: kmovw %k0, %eax
5933 ; AVX512F-NEXT: testb $1, %al
5934 ; AVX512F-NEXT: je LBB24_14
5935 ; AVX512F-NEXT: ## %bb.13: ## %cond.load16
5936 ; AVX512F-NEXT: vpinsrb $6, 6(%rdi), %xmm1, %xmm3
5937 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5938 ; AVX512F-NEXT: LBB24_14: ## %else17
5939 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
5940 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
5941 ; AVX512F-NEXT: kshiftrw $7, %k0, %k0
5942 ; AVX512F-NEXT: kmovw %k0, %eax
5943 ; AVX512F-NEXT: testb $1, %al
5944 ; AVX512F-NEXT: je LBB24_16
5945 ; AVX512F-NEXT: ## %bb.15: ## %cond.load19
5946 ; AVX512F-NEXT: vpinsrb $7, 7(%rdi), %xmm1, %xmm2
5947 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5948 ; AVX512F-NEXT: LBB24_16: ## %else20
5949 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
5950 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5951 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm3
5952 ; AVX512F-NEXT: vptestmd %zmm3, %zmm3, %k0
5953 ; AVX512F-NEXT: kshiftrw $8, %k0, %k0
5954 ; AVX512F-NEXT: kmovw %k0, %eax
5955 ; AVX512F-NEXT: testb $1, %al
5956 ; AVX512F-NEXT: je LBB24_18
5957 ; AVX512F-NEXT: ## %bb.17: ## %cond.load22
5958 ; AVX512F-NEXT: vpinsrb $8, 8(%rdi), %xmm1, %xmm3
5959 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5960 ; AVX512F-NEXT: LBB24_18: ## %else23
5961 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
5962 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
5963 ; AVX512F-NEXT: kshiftrw $9, %k0, %k0
5964 ; AVX512F-NEXT: kmovw %k0, %eax
5965 ; AVX512F-NEXT: testb $1, %al
5966 ; AVX512F-NEXT: je LBB24_20
5967 ; AVX512F-NEXT: ## %bb.19: ## %cond.load25
5968 ; AVX512F-NEXT: vpinsrb $9, 9(%rdi), %xmm1, %xmm2
5969 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5970 ; AVX512F-NEXT: LBB24_20: ## %else26
5971 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
5972 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5973 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm3
5974 ; AVX512F-NEXT: vptestmd %zmm3, %zmm3, %k0
5975 ; AVX512F-NEXT: kshiftrw $10, %k0, %k0
5976 ; AVX512F-NEXT: kmovw %k0, %eax
5977 ; AVX512F-NEXT: testb $1, %al
5978 ; AVX512F-NEXT: je LBB24_22
5979 ; AVX512F-NEXT: ## %bb.21: ## %cond.load28
5980 ; AVX512F-NEXT: vpinsrb $10, 10(%rdi), %xmm1, %xmm3
5981 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5982 ; AVX512F-NEXT: LBB24_22: ## %else29
5983 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
5984 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
5985 ; AVX512F-NEXT: kshiftrw $11, %k0, %k0
5986 ; AVX512F-NEXT: kmovw %k0, %eax
5987 ; AVX512F-NEXT: testb $1, %al
5988 ; AVX512F-NEXT: je LBB24_24
5989 ; AVX512F-NEXT: ## %bb.23: ## %cond.load31
5990 ; AVX512F-NEXT: vpinsrb $11, 11(%rdi), %xmm1, %xmm2
5991 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5992 ; AVX512F-NEXT: LBB24_24: ## %else32
5993 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
5994 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
5995 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm3
5996 ; AVX512F-NEXT: vptestmd %zmm3, %zmm3, %k0
5997 ; AVX512F-NEXT: kshiftrw $12, %k0, %k0
5998 ; AVX512F-NEXT: kmovw %k0, %eax
5999 ; AVX512F-NEXT: testb $1, %al
6000 ; AVX512F-NEXT: je LBB24_26
6001 ; AVX512F-NEXT: ## %bb.25: ## %cond.load34
6002 ; AVX512F-NEXT: vpinsrb $12, 12(%rdi), %xmm1, %xmm3
6003 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6004 ; AVX512F-NEXT: LBB24_26: ## %else35
6005 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
6006 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
6007 ; AVX512F-NEXT: kshiftrw $13, %k0, %k0
6008 ; AVX512F-NEXT: kmovw %k0, %eax
6009 ; AVX512F-NEXT: testb $1, %al
6010 ; AVX512F-NEXT: je LBB24_28
6011 ; AVX512F-NEXT: ## %bb.27: ## %cond.load37
6012 ; AVX512F-NEXT: vpinsrb $13, 13(%rdi), %xmm1, %xmm2
6013 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6014 ; AVX512F-NEXT: LBB24_28: ## %else38
6015 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
6016 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6017 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm3
6018 ; AVX512F-NEXT: vptestmd %zmm3, %zmm3, %k0
6019 ; AVX512F-NEXT: kshiftrw $14, %k0, %k0
6020 ; AVX512F-NEXT: kmovw %k0, %eax
6021 ; AVX512F-NEXT: testb $1, %al
6022 ; AVX512F-NEXT: je LBB24_30
6023 ; AVX512F-NEXT: ## %bb.29: ## %cond.load40
6024 ; AVX512F-NEXT: vpinsrb $14, 14(%rdi), %xmm1, %xmm3
6025 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6026 ; AVX512F-NEXT: LBB24_30: ## %else41
6027 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
6028 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
6029 ; AVX512F-NEXT: kshiftrw $15, %k0, %k0
6030 ; AVX512F-NEXT: kmovw %k0, %eax
6031 ; AVX512F-NEXT: testb $1, %al
6032 ; AVX512F-NEXT: je LBB24_32
6033 ; AVX512F-NEXT: ## %bb.31: ## %cond.load43
6034 ; AVX512F-NEXT: vpinsrb $15, 15(%rdi), %xmm1, %xmm2
6035 ; AVX512F-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6036 ; AVX512F-NEXT: LBB24_32: ## %else44
6037 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
6038 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6039 ; AVX512F-NEXT: vextracti128 $1, %ymm2, %xmm2
6040 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
6041 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
6042 ; AVX512F-NEXT: kmovw %k0, %eax
6043 ; AVX512F-NEXT: testb $1, %al
6044 ; AVX512F-NEXT: je LBB24_34
6045 ; AVX512F-NEXT: ## %bb.33: ## %cond.load46
6046 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
6047 ; AVX512F-NEXT: vpinsrb $0, 16(%rdi), %xmm2, %xmm2
6048 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6049 ; AVX512F-NEXT: LBB24_34: ## %else47
6050 ; AVX512F-NEXT: kshiftrw $1, %k0, %k0
6051 ; AVX512F-NEXT: kmovw %k0, %eax
6052 ; AVX512F-NEXT: testb $1, %al
6053 ; AVX512F-NEXT: je LBB24_36
6054 ; AVX512F-NEXT: ## %bb.35: ## %cond.load49
6055 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
6056 ; AVX512F-NEXT: vpinsrb $1, 17(%rdi), %xmm2, %xmm2
6057 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6058 ; AVX512F-NEXT: LBB24_36: ## %else50
6059 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
6060 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6061 ; AVX512F-NEXT: vextracti128 $1, %ymm2, %xmm2
6062 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
6063 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
6064 ; AVX512F-NEXT: kshiftrw $2, %k0, %k1
6065 ; AVX512F-NEXT: kmovw %k1, %eax
6066 ; AVX512F-NEXT: testb $1, %al
6067 ; AVX512F-NEXT: je LBB24_38
6068 ; AVX512F-NEXT: ## %bb.37: ## %cond.load52
6069 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
6070 ; AVX512F-NEXT: vpinsrb $2, 18(%rdi), %xmm2, %xmm2
6071 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6072 ; AVX512F-NEXT: LBB24_38: ## %else53
6073 ; AVX512F-NEXT: kshiftrw $3, %k0, %k0
6074 ; AVX512F-NEXT: kmovw %k0, %eax
6075 ; AVX512F-NEXT: testb $1, %al
6076 ; AVX512F-NEXT: je LBB24_40
6077 ; AVX512F-NEXT: ## %bb.39: ## %cond.load55
6078 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
6079 ; AVX512F-NEXT: vpinsrb $3, 19(%rdi), %xmm2, %xmm2
6080 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6081 ; AVX512F-NEXT: LBB24_40: ## %else56
6082 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
6083 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6084 ; AVX512F-NEXT: vextracti128 $1, %ymm2, %xmm2
6085 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
6086 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
6087 ; AVX512F-NEXT: kshiftrw $4, %k0, %k1
6088 ; AVX512F-NEXT: kmovw %k1, %eax
6089 ; AVX512F-NEXT: testb $1, %al
6090 ; AVX512F-NEXT: je LBB24_42
6091 ; AVX512F-NEXT: ## %bb.41: ## %cond.load58
6092 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
6093 ; AVX512F-NEXT: vpinsrb $4, 20(%rdi), %xmm2, %xmm2
6094 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6095 ; AVX512F-NEXT: LBB24_42: ## %else59
6096 ; AVX512F-NEXT: kshiftrw $5, %k0, %k0
6097 ; AVX512F-NEXT: kmovw %k0, %eax
6098 ; AVX512F-NEXT: testb $1, %al
6099 ; AVX512F-NEXT: je LBB24_44
6100 ; AVX512F-NEXT: ## %bb.43: ## %cond.load61
6101 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
6102 ; AVX512F-NEXT: vpinsrb $5, 21(%rdi), %xmm2, %xmm2
6103 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6104 ; AVX512F-NEXT: LBB24_44: ## %else62
6105 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
6106 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6107 ; AVX512F-NEXT: vextracti128 $1, %ymm2, %xmm2
6108 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
6109 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
6110 ; AVX512F-NEXT: kshiftrw $6, %k0, %k1
6111 ; AVX512F-NEXT: kmovw %k1, %eax
6112 ; AVX512F-NEXT: testb $1, %al
6113 ; AVX512F-NEXT: je LBB24_46
6114 ; AVX512F-NEXT: ## %bb.45: ## %cond.load64
6115 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
6116 ; AVX512F-NEXT: vpinsrb $6, 22(%rdi), %xmm2, %xmm2
6117 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6118 ; AVX512F-NEXT: LBB24_46: ## %else65
6119 ; AVX512F-NEXT: kshiftrw $7, %k0, %k0
6120 ; AVX512F-NEXT: kmovw %k0, %eax
6121 ; AVX512F-NEXT: testb $1, %al
6122 ; AVX512F-NEXT: je LBB24_48
6123 ; AVX512F-NEXT: ## %bb.47: ## %cond.load67
6124 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
6125 ; AVX512F-NEXT: vpinsrb $7, 23(%rdi), %xmm2, %xmm2
6126 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6127 ; AVX512F-NEXT: LBB24_48: ## %else68
6128 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
6129 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6130 ; AVX512F-NEXT: vextracti128 $1, %ymm2, %xmm2
6131 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
6132 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
6133 ; AVX512F-NEXT: kshiftrw $8, %k0, %k1
6134 ; AVX512F-NEXT: kmovw %k1, %eax
6135 ; AVX512F-NEXT: testb $1, %al
6136 ; AVX512F-NEXT: je LBB24_50
6137 ; AVX512F-NEXT: ## %bb.49: ## %cond.load70
6138 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
6139 ; AVX512F-NEXT: vpinsrb $8, 24(%rdi), %xmm2, %xmm2
6140 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6141 ; AVX512F-NEXT: LBB24_50: ## %else71
6142 ; AVX512F-NEXT: kshiftrw $9, %k0, %k0
6143 ; AVX512F-NEXT: kmovw %k0, %eax
6144 ; AVX512F-NEXT: testb $1, %al
6145 ; AVX512F-NEXT: je LBB24_52
6146 ; AVX512F-NEXT: ## %bb.51: ## %cond.load73
6147 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
6148 ; AVX512F-NEXT: vpinsrb $9, 25(%rdi), %xmm2, %xmm2
6149 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6150 ; AVX512F-NEXT: LBB24_52: ## %else74
6151 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
6152 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6153 ; AVX512F-NEXT: vextracti128 $1, %ymm2, %xmm2
6154 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
6155 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
6156 ; AVX512F-NEXT: kshiftrw $10, %k0, %k1
6157 ; AVX512F-NEXT: kmovw %k1, %eax
6158 ; AVX512F-NEXT: testb $1, %al
6159 ; AVX512F-NEXT: je LBB24_54
6160 ; AVX512F-NEXT: ## %bb.53: ## %cond.load76
6161 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
6162 ; AVX512F-NEXT: vpinsrb $10, 26(%rdi), %xmm2, %xmm2
6163 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6164 ; AVX512F-NEXT: LBB24_54: ## %else77
6165 ; AVX512F-NEXT: kshiftrw $11, %k0, %k0
6166 ; AVX512F-NEXT: kmovw %k0, %eax
6167 ; AVX512F-NEXT: testb $1, %al
6168 ; AVX512F-NEXT: je LBB24_56
6169 ; AVX512F-NEXT: ## %bb.55: ## %cond.load79
6170 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
6171 ; AVX512F-NEXT: vpinsrb $11, 27(%rdi), %xmm2, %xmm2
6172 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6173 ; AVX512F-NEXT: LBB24_56: ## %else80
6174 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
6175 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6176 ; AVX512F-NEXT: vextracti128 $1, %ymm2, %xmm2
6177 ; AVX512F-NEXT: vpmovsxbd %xmm2, %zmm2
6178 ; AVX512F-NEXT: vptestmd %zmm2, %zmm2, %k0
6179 ; AVX512F-NEXT: kshiftrw $12, %k0, %k1
6180 ; AVX512F-NEXT: kmovw %k1, %eax
6181 ; AVX512F-NEXT: testb $1, %al
6182 ; AVX512F-NEXT: je LBB24_58
6183 ; AVX512F-NEXT: ## %bb.57: ## %cond.load82
6184 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
6185 ; AVX512F-NEXT: vpinsrb $12, 28(%rdi), %xmm2, %xmm2
6186 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6187 ; AVX512F-NEXT: LBB24_58: ## %else83
6188 ; AVX512F-NEXT: kshiftrw $13, %k0, %k0
6189 ; AVX512F-NEXT: kmovw %k0, %eax
6190 ; AVX512F-NEXT: testb $1, %al
6191 ; AVX512F-NEXT: je LBB24_60
6192 ; AVX512F-NEXT: ## %bb.59: ## %cond.load85
6193 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm2
6194 ; AVX512F-NEXT: vpinsrb $13, 29(%rdi), %xmm2, %xmm2
6195 ; AVX512F-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6196 ; AVX512F-NEXT: LBB24_60: ## %else86
6197 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
6198 ; AVX512F-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm0
6199 ; AVX512F-NEXT: vextracti128 $1, %ymm0, %xmm0
6200 ; AVX512F-NEXT: vpmovsxbd %xmm0, %zmm0
6201 ; AVX512F-NEXT: vptestmd %zmm0, %zmm0, %k0
6202 ; AVX512F-NEXT: kshiftrw $14, %k0, %k1
6203 ; AVX512F-NEXT: kmovw %k1, %eax
6204 ; AVX512F-NEXT: testb $1, %al
6205 ; AVX512F-NEXT: je LBB24_62
6206 ; AVX512F-NEXT: ## %bb.61: ## %cond.load88
6207 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm0
6208 ; AVX512F-NEXT: vpinsrb $14, 30(%rdi), %xmm0, %xmm0
6209 ; AVX512F-NEXT: vinserti128 $1, %xmm0, %ymm1, %ymm1
6210 ; AVX512F-NEXT: LBB24_62: ## %else89
6211 ; AVX512F-NEXT: kshiftrw $15, %k0, %k0
6212 ; AVX512F-NEXT: kmovw %k0, %eax
6213 ; AVX512F-NEXT: testb $1, %al
6214 ; AVX512F-NEXT: je LBB24_64
6215 ; AVX512F-NEXT: ## %bb.63: ## %cond.load91
6216 ; AVX512F-NEXT: vextracti128 $1, %ymm1, %xmm0
6217 ; AVX512F-NEXT: vpinsrb $15, 31(%rdi), %xmm0, %xmm0
6218 ; AVX512F-NEXT: vinserti128 $1, %xmm0, %ymm1, %ymm1
6219 ; AVX512F-NEXT: LBB24_64: ## %else92
6220 ; AVX512F-NEXT: vmovdqa %ymm1, %ymm0
6221 ; AVX512F-NEXT: retq
6223 ; AVX512VLDQ-LABEL: load_v32i8_v32i8:
6224 ; AVX512VLDQ: ## %bb.0:
6225 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6226 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6227 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm3
6228 ; AVX512VLDQ-NEXT: vpmovd2m %zmm3, %k0
6229 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6230 ; AVX512VLDQ-NEXT: testb $1, %al
6231 ; AVX512VLDQ-NEXT: je LBB24_2
6232 ; AVX512VLDQ-NEXT: ## %bb.1: ## %cond.load
6233 ; AVX512VLDQ-NEXT: vpinsrb $0, (%rdi), %xmm1, %xmm3
6234 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6235 ; AVX512VLDQ-NEXT: LBB24_2: ## %else
6236 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
6237 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
6238 ; AVX512VLDQ-NEXT: kshiftrw $1, %k0, %k0
6239 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6240 ; AVX512VLDQ-NEXT: testb $1, %al
6241 ; AVX512VLDQ-NEXT: je LBB24_4
6242 ; AVX512VLDQ-NEXT: ## %bb.3: ## %cond.load1
6243 ; AVX512VLDQ-NEXT: vpinsrb $1, 1(%rdi), %xmm1, %xmm2
6244 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6245 ; AVX512VLDQ-NEXT: LBB24_4: ## %else2
6246 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6247 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6248 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm3
6249 ; AVX512VLDQ-NEXT: vpmovd2m %zmm3, %k0
6250 ; AVX512VLDQ-NEXT: kshiftrw $2, %k0, %k0
6251 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6252 ; AVX512VLDQ-NEXT: testb $1, %al
6253 ; AVX512VLDQ-NEXT: je LBB24_6
6254 ; AVX512VLDQ-NEXT: ## %bb.5: ## %cond.load4
6255 ; AVX512VLDQ-NEXT: vpinsrb $2, 2(%rdi), %xmm1, %xmm3
6256 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6257 ; AVX512VLDQ-NEXT: LBB24_6: ## %else5
6258 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
6259 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
6260 ; AVX512VLDQ-NEXT: kshiftrw $3, %k0, %k0
6261 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6262 ; AVX512VLDQ-NEXT: testb $1, %al
6263 ; AVX512VLDQ-NEXT: je LBB24_8
6264 ; AVX512VLDQ-NEXT: ## %bb.7: ## %cond.load7
6265 ; AVX512VLDQ-NEXT: vpinsrb $3, 3(%rdi), %xmm1, %xmm2
6266 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6267 ; AVX512VLDQ-NEXT: LBB24_8: ## %else8
6268 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6269 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6270 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm3
6271 ; AVX512VLDQ-NEXT: vpmovd2m %zmm3, %k0
6272 ; AVX512VLDQ-NEXT: kshiftrw $4, %k0, %k0
6273 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6274 ; AVX512VLDQ-NEXT: testb $1, %al
6275 ; AVX512VLDQ-NEXT: je LBB24_10
6276 ; AVX512VLDQ-NEXT: ## %bb.9: ## %cond.load10
6277 ; AVX512VLDQ-NEXT: vpinsrb $4, 4(%rdi), %xmm1, %xmm3
6278 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6279 ; AVX512VLDQ-NEXT: LBB24_10: ## %else11
6280 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
6281 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
6282 ; AVX512VLDQ-NEXT: kshiftrw $5, %k0, %k0
6283 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6284 ; AVX512VLDQ-NEXT: testb $1, %al
6285 ; AVX512VLDQ-NEXT: je LBB24_12
6286 ; AVX512VLDQ-NEXT: ## %bb.11: ## %cond.load13
6287 ; AVX512VLDQ-NEXT: vpinsrb $5, 5(%rdi), %xmm1, %xmm2
6288 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6289 ; AVX512VLDQ-NEXT: LBB24_12: ## %else14
6290 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6291 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6292 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm3
6293 ; AVX512VLDQ-NEXT: vpmovd2m %zmm3, %k0
6294 ; AVX512VLDQ-NEXT: kshiftrw $6, %k0, %k0
6295 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6296 ; AVX512VLDQ-NEXT: testb $1, %al
6297 ; AVX512VLDQ-NEXT: je LBB24_14
6298 ; AVX512VLDQ-NEXT: ## %bb.13: ## %cond.load16
6299 ; AVX512VLDQ-NEXT: vpinsrb $6, 6(%rdi), %xmm1, %xmm3
6300 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6301 ; AVX512VLDQ-NEXT: LBB24_14: ## %else17
6302 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
6303 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
6304 ; AVX512VLDQ-NEXT: kshiftrw $7, %k0, %k0
6305 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6306 ; AVX512VLDQ-NEXT: testb $1, %al
6307 ; AVX512VLDQ-NEXT: je LBB24_16
6308 ; AVX512VLDQ-NEXT: ## %bb.15: ## %cond.load19
6309 ; AVX512VLDQ-NEXT: vpinsrb $7, 7(%rdi), %xmm1, %xmm2
6310 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6311 ; AVX512VLDQ-NEXT: LBB24_16: ## %else20
6312 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6313 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6314 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm3
6315 ; AVX512VLDQ-NEXT: vpmovd2m %zmm3, %k0
6316 ; AVX512VLDQ-NEXT: kshiftrw $8, %k0, %k0
6317 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6318 ; AVX512VLDQ-NEXT: testb $1, %al
6319 ; AVX512VLDQ-NEXT: je LBB24_18
6320 ; AVX512VLDQ-NEXT: ## %bb.17: ## %cond.load22
6321 ; AVX512VLDQ-NEXT: vpinsrb $8, 8(%rdi), %xmm1, %xmm3
6322 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6323 ; AVX512VLDQ-NEXT: LBB24_18: ## %else23
6324 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
6325 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
6326 ; AVX512VLDQ-NEXT: kshiftrw $9, %k0, %k0
6327 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6328 ; AVX512VLDQ-NEXT: testb $1, %al
6329 ; AVX512VLDQ-NEXT: je LBB24_20
6330 ; AVX512VLDQ-NEXT: ## %bb.19: ## %cond.load25
6331 ; AVX512VLDQ-NEXT: vpinsrb $9, 9(%rdi), %xmm1, %xmm2
6332 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6333 ; AVX512VLDQ-NEXT: LBB24_20: ## %else26
6334 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6335 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6336 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm3
6337 ; AVX512VLDQ-NEXT: vpmovd2m %zmm3, %k0
6338 ; AVX512VLDQ-NEXT: kshiftrw $10, %k0, %k0
6339 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6340 ; AVX512VLDQ-NEXT: testb $1, %al
6341 ; AVX512VLDQ-NEXT: je LBB24_22
6342 ; AVX512VLDQ-NEXT: ## %bb.21: ## %cond.load28
6343 ; AVX512VLDQ-NEXT: vpinsrb $10, 10(%rdi), %xmm1, %xmm3
6344 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6345 ; AVX512VLDQ-NEXT: LBB24_22: ## %else29
6346 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
6347 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
6348 ; AVX512VLDQ-NEXT: kshiftrw $11, %k0, %k0
6349 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6350 ; AVX512VLDQ-NEXT: testb $1, %al
6351 ; AVX512VLDQ-NEXT: je LBB24_24
6352 ; AVX512VLDQ-NEXT: ## %bb.23: ## %cond.load31
6353 ; AVX512VLDQ-NEXT: vpinsrb $11, 11(%rdi), %xmm1, %xmm2
6354 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6355 ; AVX512VLDQ-NEXT: LBB24_24: ## %else32
6356 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6357 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6358 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm3
6359 ; AVX512VLDQ-NEXT: vpmovd2m %zmm3, %k0
6360 ; AVX512VLDQ-NEXT: kshiftrw $12, %k0, %k0
6361 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6362 ; AVX512VLDQ-NEXT: testb $1, %al
6363 ; AVX512VLDQ-NEXT: je LBB24_26
6364 ; AVX512VLDQ-NEXT: ## %bb.25: ## %cond.load34
6365 ; AVX512VLDQ-NEXT: vpinsrb $12, 12(%rdi), %xmm1, %xmm3
6366 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6367 ; AVX512VLDQ-NEXT: LBB24_26: ## %else35
6368 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
6369 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
6370 ; AVX512VLDQ-NEXT: kshiftrw $13, %k0, %k0
6371 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6372 ; AVX512VLDQ-NEXT: testb $1, %al
6373 ; AVX512VLDQ-NEXT: je LBB24_28
6374 ; AVX512VLDQ-NEXT: ## %bb.27: ## %cond.load37
6375 ; AVX512VLDQ-NEXT: vpinsrb $13, 13(%rdi), %xmm1, %xmm2
6376 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6377 ; AVX512VLDQ-NEXT: LBB24_28: ## %else38
6378 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6379 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6380 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm3
6381 ; AVX512VLDQ-NEXT: vpmovd2m %zmm3, %k0
6382 ; AVX512VLDQ-NEXT: kshiftrw $14, %k0, %k0
6383 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6384 ; AVX512VLDQ-NEXT: testb $1, %al
6385 ; AVX512VLDQ-NEXT: je LBB24_30
6386 ; AVX512VLDQ-NEXT: ## %bb.29: ## %cond.load40
6387 ; AVX512VLDQ-NEXT: vpinsrb $14, 14(%rdi), %xmm1, %xmm3
6388 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6389 ; AVX512VLDQ-NEXT: LBB24_30: ## %else41
6390 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
6391 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
6392 ; AVX512VLDQ-NEXT: kshiftrw $15, %k0, %k0
6393 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6394 ; AVX512VLDQ-NEXT: testb $1, %al
6395 ; AVX512VLDQ-NEXT: je LBB24_32
6396 ; AVX512VLDQ-NEXT: ## %bb.31: ## %cond.load43
6397 ; AVX512VLDQ-NEXT: vpinsrb $15, 15(%rdi), %xmm1, %xmm2
6398 ; AVX512VLDQ-NEXT: vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6399 ; AVX512VLDQ-NEXT: LBB24_32: ## %else44
6400 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6401 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6402 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm2, %xmm2
6403 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
6404 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
6405 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6406 ; AVX512VLDQ-NEXT: testb $1, %al
6407 ; AVX512VLDQ-NEXT: je LBB24_34
6408 ; AVX512VLDQ-NEXT: ## %bb.33: ## %cond.load46
6409 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
6410 ; AVX512VLDQ-NEXT: vpinsrb $0, 16(%rdi), %xmm2, %xmm2
6411 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6412 ; AVX512VLDQ-NEXT: LBB24_34: ## %else47
6413 ; AVX512VLDQ-NEXT: kshiftrw $1, %k0, %k0
6414 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6415 ; AVX512VLDQ-NEXT: testb $1, %al
6416 ; AVX512VLDQ-NEXT: je LBB24_36
6417 ; AVX512VLDQ-NEXT: ## %bb.35: ## %cond.load49
6418 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
6419 ; AVX512VLDQ-NEXT: vpinsrb $1, 17(%rdi), %xmm2, %xmm2
6420 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6421 ; AVX512VLDQ-NEXT: LBB24_36: ## %else50
6422 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6423 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6424 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm2, %xmm2
6425 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
6426 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
6427 ; AVX512VLDQ-NEXT: kshiftrw $2, %k0, %k1
6428 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
6429 ; AVX512VLDQ-NEXT: testb $1, %al
6430 ; AVX512VLDQ-NEXT: je LBB24_38
6431 ; AVX512VLDQ-NEXT: ## %bb.37: ## %cond.load52
6432 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
6433 ; AVX512VLDQ-NEXT: vpinsrb $2, 18(%rdi), %xmm2, %xmm2
6434 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6435 ; AVX512VLDQ-NEXT: LBB24_38: ## %else53
6436 ; AVX512VLDQ-NEXT: kshiftrw $3, %k0, %k0
6437 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6438 ; AVX512VLDQ-NEXT: testb $1, %al
6439 ; AVX512VLDQ-NEXT: je LBB24_40
6440 ; AVX512VLDQ-NEXT: ## %bb.39: ## %cond.load55
6441 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
6442 ; AVX512VLDQ-NEXT: vpinsrb $3, 19(%rdi), %xmm2, %xmm2
6443 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6444 ; AVX512VLDQ-NEXT: LBB24_40: ## %else56
6445 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6446 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6447 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm2, %xmm2
6448 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
6449 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
6450 ; AVX512VLDQ-NEXT: kshiftrw $4, %k0, %k1
6451 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
6452 ; AVX512VLDQ-NEXT: testb $1, %al
6453 ; AVX512VLDQ-NEXT: je LBB24_42
6454 ; AVX512VLDQ-NEXT: ## %bb.41: ## %cond.load58
6455 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
6456 ; AVX512VLDQ-NEXT: vpinsrb $4, 20(%rdi), %xmm2, %xmm2
6457 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6458 ; AVX512VLDQ-NEXT: LBB24_42: ## %else59
6459 ; AVX512VLDQ-NEXT: kshiftrw $5, %k0, %k0
6460 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6461 ; AVX512VLDQ-NEXT: testb $1, %al
6462 ; AVX512VLDQ-NEXT: je LBB24_44
6463 ; AVX512VLDQ-NEXT: ## %bb.43: ## %cond.load61
6464 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
6465 ; AVX512VLDQ-NEXT: vpinsrb $5, 21(%rdi), %xmm2, %xmm2
6466 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6467 ; AVX512VLDQ-NEXT: LBB24_44: ## %else62
6468 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6469 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6470 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm2, %xmm2
6471 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
6472 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
6473 ; AVX512VLDQ-NEXT: kshiftrw $6, %k0, %k1
6474 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
6475 ; AVX512VLDQ-NEXT: testb $1, %al
6476 ; AVX512VLDQ-NEXT: je LBB24_46
6477 ; AVX512VLDQ-NEXT: ## %bb.45: ## %cond.load64
6478 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
6479 ; AVX512VLDQ-NEXT: vpinsrb $6, 22(%rdi), %xmm2, %xmm2
6480 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6481 ; AVX512VLDQ-NEXT: LBB24_46: ## %else65
6482 ; AVX512VLDQ-NEXT: kshiftrw $7, %k0, %k0
6483 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6484 ; AVX512VLDQ-NEXT: testb $1, %al
6485 ; AVX512VLDQ-NEXT: je LBB24_48
6486 ; AVX512VLDQ-NEXT: ## %bb.47: ## %cond.load67
6487 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
6488 ; AVX512VLDQ-NEXT: vpinsrb $7, 23(%rdi), %xmm2, %xmm2
6489 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6490 ; AVX512VLDQ-NEXT: LBB24_48: ## %else68
6491 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6492 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6493 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm2, %xmm2
6494 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
6495 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
6496 ; AVX512VLDQ-NEXT: kshiftrw $8, %k0, %k1
6497 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
6498 ; AVX512VLDQ-NEXT: testb $1, %al
6499 ; AVX512VLDQ-NEXT: je LBB24_50
6500 ; AVX512VLDQ-NEXT: ## %bb.49: ## %cond.load70
6501 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
6502 ; AVX512VLDQ-NEXT: vpinsrb $8, 24(%rdi), %xmm2, %xmm2
6503 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6504 ; AVX512VLDQ-NEXT: LBB24_50: ## %else71
6505 ; AVX512VLDQ-NEXT: kshiftrw $9, %k0, %k0
6506 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6507 ; AVX512VLDQ-NEXT: testb $1, %al
6508 ; AVX512VLDQ-NEXT: je LBB24_52
6509 ; AVX512VLDQ-NEXT: ## %bb.51: ## %cond.load73
6510 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
6511 ; AVX512VLDQ-NEXT: vpinsrb $9, 25(%rdi), %xmm2, %xmm2
6512 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6513 ; AVX512VLDQ-NEXT: LBB24_52: ## %else74
6514 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6515 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6516 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm2, %xmm2
6517 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
6518 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
6519 ; AVX512VLDQ-NEXT: kshiftrw $10, %k0, %k1
6520 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
6521 ; AVX512VLDQ-NEXT: testb $1, %al
6522 ; AVX512VLDQ-NEXT: je LBB24_54
6523 ; AVX512VLDQ-NEXT: ## %bb.53: ## %cond.load76
6524 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
6525 ; AVX512VLDQ-NEXT: vpinsrb $10, 26(%rdi), %xmm2, %xmm2
6526 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6527 ; AVX512VLDQ-NEXT: LBB24_54: ## %else77
6528 ; AVX512VLDQ-NEXT: kshiftrw $11, %k0, %k0
6529 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6530 ; AVX512VLDQ-NEXT: testb $1, %al
6531 ; AVX512VLDQ-NEXT: je LBB24_56
6532 ; AVX512VLDQ-NEXT: ## %bb.55: ## %cond.load79
6533 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
6534 ; AVX512VLDQ-NEXT: vpinsrb $11, 27(%rdi), %xmm2, %xmm2
6535 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6536 ; AVX512VLDQ-NEXT: LBB24_56: ## %else80
6537 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6538 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm2
6539 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm2, %xmm2
6540 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm2, %zmm2
6541 ; AVX512VLDQ-NEXT: vpmovd2m %zmm2, %k0
6542 ; AVX512VLDQ-NEXT: kshiftrw $12, %k0, %k1
6543 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
6544 ; AVX512VLDQ-NEXT: testb $1, %al
6545 ; AVX512VLDQ-NEXT: je LBB24_58
6546 ; AVX512VLDQ-NEXT: ## %bb.57: ## %cond.load82
6547 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
6548 ; AVX512VLDQ-NEXT: vpinsrb $12, 28(%rdi), %xmm2, %xmm2
6549 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6550 ; AVX512VLDQ-NEXT: LBB24_58: ## %else83
6551 ; AVX512VLDQ-NEXT: kshiftrw $13, %k0, %k0
6552 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6553 ; AVX512VLDQ-NEXT: testb $1, %al
6554 ; AVX512VLDQ-NEXT: je LBB24_60
6555 ; AVX512VLDQ-NEXT: ## %bb.59: ## %cond.load85
6556 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm2
6557 ; AVX512VLDQ-NEXT: vpinsrb $13, 29(%rdi), %xmm2, %xmm2
6558 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1
6559 ; AVX512VLDQ-NEXT: LBB24_60: ## %else86
6560 ; AVX512VLDQ-NEXT: vpxor %xmm2, %xmm2, %xmm2
6561 ; AVX512VLDQ-NEXT: vpcmpgtb %ymm0, %ymm2, %ymm0
6562 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm0, %xmm0
6563 ; AVX512VLDQ-NEXT: vpmovsxbd %xmm0, %zmm0
6564 ; AVX512VLDQ-NEXT: vpmovd2m %zmm0, %k0
6565 ; AVX512VLDQ-NEXT: kshiftrw $14, %k0, %k1
6566 ; AVX512VLDQ-NEXT: kmovw %k1, %eax
6567 ; AVX512VLDQ-NEXT: testb $1, %al
6568 ; AVX512VLDQ-NEXT: je LBB24_62
6569 ; AVX512VLDQ-NEXT: ## %bb.61: ## %cond.load88
6570 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm0
6571 ; AVX512VLDQ-NEXT: vpinsrb $14, 30(%rdi), %xmm0, %xmm0
6572 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm0, %ymm1, %ymm1
6573 ; AVX512VLDQ-NEXT: LBB24_62: ## %else89
6574 ; AVX512VLDQ-NEXT: kshiftrw $15, %k0, %k0
6575 ; AVX512VLDQ-NEXT: kmovw %k0, %eax
6576 ; AVX512VLDQ-NEXT: testb $1, %al
6577 ; AVX512VLDQ-NEXT: je LBB24_64
6578 ; AVX512VLDQ-NEXT: ## %bb.63: ## %cond.load91
6579 ; AVX512VLDQ-NEXT: vextracti128 $1, %ymm1, %xmm0
6580 ; AVX512VLDQ-NEXT: vpinsrb $15, 31(%rdi), %xmm0, %xmm0
6581 ; AVX512VLDQ-NEXT: vinserti128 $1, %xmm0, %ymm1, %ymm1
6582 ; AVX512VLDQ-NEXT: LBB24_64: ## %else92
6583 ; AVX512VLDQ-NEXT: vmovdqa %ymm1, %ymm0
6584 ; AVX512VLDQ-NEXT: retq
6586 ; AVX512VLBW-LABEL: load_v32i8_v32i8:
6587 ; AVX512VLBW: ## %bb.0:
6588 ; AVX512VLBW-NEXT: vpmovb2m %ymm0, %k1
6589 ; AVX512VLBW-NEXT: vpblendmb (%rdi), %ymm1, %ymm0 {%k1}
6590 ; AVX512VLBW-NEXT: retq
6591 %mask = icmp slt <32 x i8> %trigger, zeroinitializer
6592 %res = call <32 x i8> @llvm.masked.load.v32i8.p0v32i8(<32 x i8>* %addr, i32 4, <32 x i1> %mask, <32 x i8> %dst)
6596 ;;; Loads with Constant Masks - these should be optimized to use something other than a variable blend.
6598 ; 128-bit FP vectors are supported with AVX.
6600 define <4 x float> @mload_constmask_v4f32(<4 x float>* %addr, <4 x float> %dst) {
6601 ; SSE2-LABEL: mload_constmask_v4f32:
6603 ; SSE2-NEXT: movss {{.*#+}} xmm1 = mem[0],zero,zero,zero
6604 ; SSE2-NEXT: movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
6605 ; SSE2-NEXT: movss {{.*#+}} xmm0 = xmm1[0],xmm0[1,2,3]
6606 ; SSE2-NEXT: movaps %xmm0, %xmm1
6607 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
6608 ; SSE2-NEXT: movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
6609 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,0],xmm1[2,0]
6610 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,0]
6613 ; SSE42-LABEL: mload_constmask_v4f32:
6615 ; SSE42-NEXT: movss {{.*#+}} xmm1 = mem[0],zero,zero,zero
6616 ; SSE42-NEXT: blendps {{.*#+}} xmm0 = xmm1[0],xmm0[1,2,3]
6617 ; SSE42-NEXT: insertps {{.*#+}} xmm0 = xmm0[0,1],mem[0],xmm0[3]
6618 ; SSE42-NEXT: insertps {{.*#+}} xmm0 = xmm0[0,1,2],mem[0]
6621 ; AVX1OR2-LABEL: mload_constmask_v4f32:
6622 ; AVX1OR2: ## %bb.0:
6623 ; AVX1OR2-NEXT: vblendps {{.*#+}} xmm0 = mem[0],xmm0[1],mem[2,3]
6624 ; AVX1OR2-NEXT: retq
6626 ; AVX512F-LABEL: mload_constmask_v4f32:
6627 ; AVX512F: ## %bb.0:
6628 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 def $zmm0
6629 ; AVX512F-NEXT: movw $13, %ax
6630 ; AVX512F-NEXT: kmovw %eax, %k1
6631 ; AVX512F-NEXT: vmovups (%rdi), %zmm0 {%k1}
6632 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 killed $zmm0
6633 ; AVX512F-NEXT: vzeroupper
6634 ; AVX512F-NEXT: retq
6636 ; AVX512VLDQ-LABEL: mload_constmask_v4f32:
6637 ; AVX512VLDQ: ## %bb.0:
6638 ; AVX512VLDQ-NEXT: movb $13, %al
6639 ; AVX512VLDQ-NEXT: kmovw %eax, %k1
6640 ; AVX512VLDQ-NEXT: vmovups (%rdi), %xmm0 {%k1}
6641 ; AVX512VLDQ-NEXT: retq
6643 ; AVX512VLBW-LABEL: mload_constmask_v4f32:
6644 ; AVX512VLBW: ## %bb.0:
6645 ; AVX512VLBW-NEXT: movb $13, %al
6646 ; AVX512VLBW-NEXT: kmovd %eax, %k1
6647 ; AVX512VLBW-NEXT: vmovups (%rdi), %xmm0 {%k1}
6648 ; AVX512VLBW-NEXT: retq
6649 %res = call <4 x float> @llvm.masked.load.v4f32.p0v4f32(<4 x float>* %addr, i32 4, <4 x i1> <i1 1, i1 0, i1 1, i1 1>, <4 x float> %dst)
6650 ret <4 x float> %res
6653 define <4 x float> @mload_constmask_v4f32_all(<4 x float>* %addr) {
6654 ; SSE-LABEL: mload_constmask_v4f32_all:
6656 ; SSE-NEXT: movups (%rdi), %xmm0
6659 ; AVX1OR2-LABEL: mload_constmask_v4f32_all:
6660 ; AVX1OR2: ## %bb.0:
6661 ; AVX1OR2-NEXT: vmovups (%rdi), %xmm0
6662 ; AVX1OR2-NEXT: retq
6664 ; AVX512F-LABEL: mload_constmask_v4f32_all:
6665 ; AVX512F: ## %bb.0:
6666 ; AVX512F-NEXT: movw $15, %ax
6667 ; AVX512F-NEXT: kmovw %eax, %k1
6668 ; AVX512F-NEXT: vmovups (%rdi), %zmm0 {%k1} {z}
6669 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 killed $zmm0
6670 ; AVX512F-NEXT: vzeroupper
6671 ; AVX512F-NEXT: retq
6673 ; AVX512VL-LABEL: mload_constmask_v4f32_all:
6674 ; AVX512VL: ## %bb.0:
6675 ; AVX512VL-NEXT: kxnorw %k0, %k0, %k1
6676 ; AVX512VL-NEXT: vmovups (%rdi), %xmm0 {%k1} {z}
6677 ; AVX512VL-NEXT: retq
6678 %res = call <4 x float> @llvm.masked.load.v4f32.p0v4f32(<4 x float>* %addr, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>, <4 x float>undef)
6679 ret <4 x float> %res
6682 define <2 x double> @mload_constmask_v2f64(<2 x double>* %addr, <2 x double> %dst) {
6683 ; SSE-LABEL: mload_constmask_v2f64:
6685 ; SSE-NEXT: movhpd {{.*#+}} xmm0 = xmm0[0],mem[0]
6688 ; AVX-LABEL: mload_constmask_v2f64:
6690 ; AVX-NEXT: vmovhpd {{.*#+}} xmm0 = xmm0[0],mem[0]
6692 %res = call <2 x double> @llvm.masked.load.v2f64.p0v2f64(<2 x double>* %addr, i32 4, <2 x i1> <i1 0, i1 1>, <2 x double> %dst)
6693 ret <2 x double> %res
6696 ; 128-bit integer vectors are supported with AVX2.
6698 define <4 x i32> @mload_constmask_v4i32(<4 x i32>* %addr, <4 x i32> %dst) {
6699 ; SSE2-LABEL: mload_constmask_v4i32:
6701 ; SSE2-NEXT: movss {{.*#+}} xmm1 = mem[0],zero,zero,zero
6702 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,0]
6703 ; SSE2-NEXT: movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
6704 ; SSE2-NEXT: movaps %xmm1, %xmm2
6705 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[2,0],xmm0[0,2]
6706 ; SSE2-NEXT: movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
6707 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,0],xmm2[2,0]
6708 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[2,0]
6709 ; SSE2-NEXT: movaps %xmm1, %xmm0
6712 ; SSE42-LABEL: mload_constmask_v4i32:
6714 ; SSE42-NEXT: pinsrd $1, 4(%rdi), %xmm0
6715 ; SSE42-NEXT: pinsrd $2, 8(%rdi), %xmm0
6716 ; SSE42-NEXT: pinsrd $3, 12(%rdi), %xmm0
6719 ; AVX1-LABEL: mload_constmask_v4i32:
6721 ; AVX1-NEXT: vmovaps {{.*#+}} xmm1 = [0,4294967295,4294967295,4294967295]
6722 ; AVX1-NEXT: vmaskmovps (%rdi), %xmm1, %xmm1
6723 ; AVX1-NEXT: vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
6726 ; AVX2-LABEL: mload_constmask_v4i32:
6728 ; AVX2-NEXT: vmovdqa {{.*#+}} xmm1 = [0,4294967295,4294967295,4294967295]
6729 ; AVX2-NEXT: vpmaskmovd (%rdi), %xmm1, %xmm1
6730 ; AVX2-NEXT: vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
6733 ; AVX512F-LABEL: mload_constmask_v4i32:
6734 ; AVX512F: ## %bb.0:
6735 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 def $zmm0
6736 ; AVX512F-NEXT: movw $14, %ax
6737 ; AVX512F-NEXT: kmovw %eax, %k1
6738 ; AVX512F-NEXT: vmovdqu32 (%rdi), %zmm0 {%k1}
6739 ; AVX512F-NEXT: ## kill: def $xmm0 killed $xmm0 killed $zmm0
6740 ; AVX512F-NEXT: vzeroupper
6741 ; AVX512F-NEXT: retq
6743 ; AVX512VLDQ-LABEL: mload_constmask_v4i32:
6744 ; AVX512VLDQ: ## %bb.0:
6745 ; AVX512VLDQ-NEXT: movb $14, %al
6746 ; AVX512VLDQ-NEXT: kmovw %eax, %k1
6747 ; AVX512VLDQ-NEXT: vmovdqu32 (%rdi), %xmm0 {%k1}
6748 ; AVX512VLDQ-NEXT: retq
6750 ; AVX512VLBW-LABEL: mload_constmask_v4i32:
6751 ; AVX512VLBW: ## %bb.0:
6752 ; AVX512VLBW-NEXT: movb $14, %al
6753 ; AVX512VLBW-NEXT: kmovd %eax, %k1
6754 ; AVX512VLBW-NEXT: vmovdqu32 (%rdi), %xmm0 {%k1}
6755 ; AVX512VLBW-NEXT: retq
6756 %res = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* %addr, i32 4, <4 x i1> <i1 0, i1 1, i1 1, i1 1>, <4 x i32> %dst)
6760 define <2 x i64> @mload_constmask_v2i64(<2 x i64>* %addr, <2 x i64> %dst) {
6761 ; SSE2-LABEL: mload_constmask_v2i64:
6763 ; SSE2-NEXT: movsd {{.*#+}} xmm1 = mem[0],zero
6764 ; SSE2-NEXT: movlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0]
6767 ; SSE42-LABEL: mload_constmask_v2i64:
6769 ; SSE42-NEXT: pinsrq $1, 8(%rdi), %xmm0
6772 ; AVX-LABEL: mload_constmask_v2i64:
6774 ; AVX-NEXT: vpinsrq $1, 8(%rdi), %xmm0, %xmm0
6776 %res = call <2 x i64> @llvm.masked.load.v2i64.p0v2i64(<2 x i64>* %addr, i32 4, <2 x i1> <i1 0, i1 1>, <2 x i64> %dst)
6780 ; 256-bit FP vectors are supported with AVX.
6782 define <8 x float> @mload_constmask_v8f32(<8 x float>* %addr, <8 x float> %dst) {
6783 ; SSE2-LABEL: mload_constmask_v8f32:
6785 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
6786 ; SSE2-NEXT: movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
6787 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,0],xmm3[0,0]
6788 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
6789 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[3,0]
6790 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[2,0],xmm3[0,2]
6791 ; SSE2-NEXT: movaps %xmm2, %xmm0
6794 ; SSE42-LABEL: mload_constmask_v8f32:
6796 ; SSE42-NEXT: movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
6797 ; SSE42-NEXT: blendps {{.*#+}} xmm0 = xmm2[0],xmm0[1,2,3]
6798 ; SSE42-NEXT: insertps {{.*#+}} xmm0 = xmm0[0],mem[0],xmm0[2,3]
6799 ; SSE42-NEXT: insertps {{.*#+}} xmm0 = xmm0[0,1],mem[0],xmm0[3]
6802 ; AVX1OR2-LABEL: mload_constmask_v8f32:
6803 ; AVX1OR2: ## %bb.0:
6804 ; AVX1OR2-NEXT: vmovaps {{.*#+}} ymm1 = [4294967295,4294967295,4294967295,0,0,0,0,0]
6805 ; AVX1OR2-NEXT: vmaskmovps (%rdi), %ymm1, %ymm1
6806 ; AVX1OR2-NEXT: vblendps {{.*#+}} ymm0 = ymm1[0,1,2],ymm0[3,4,5,6,7]
6807 ; AVX1OR2-NEXT: retq
6809 ; AVX512F-LABEL: mload_constmask_v8f32:
6810 ; AVX512F: ## %bb.0:
6811 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 def $zmm0
6812 ; AVX512F-NEXT: movw $7, %ax
6813 ; AVX512F-NEXT: kmovw %eax, %k1
6814 ; AVX512F-NEXT: vmovups (%rdi), %zmm0 {%k1}
6815 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 killed $zmm0
6816 ; AVX512F-NEXT: retq
6818 ; AVX512VLDQ-LABEL: mload_constmask_v8f32:
6819 ; AVX512VLDQ: ## %bb.0:
6820 ; AVX512VLDQ-NEXT: movb $7, %al
6821 ; AVX512VLDQ-NEXT: kmovw %eax, %k1
6822 ; AVX512VLDQ-NEXT: vmovups (%rdi), %ymm0 {%k1}
6823 ; AVX512VLDQ-NEXT: retq
6825 ; AVX512VLBW-LABEL: mload_constmask_v8f32:
6826 ; AVX512VLBW: ## %bb.0:
6827 ; AVX512VLBW-NEXT: movb $7, %al
6828 ; AVX512VLBW-NEXT: kmovd %eax, %k1
6829 ; AVX512VLBW-NEXT: vmovups (%rdi), %ymm0 {%k1}
6830 ; AVX512VLBW-NEXT: retq
6831 %res = call <8 x float> @llvm.masked.load.v8f32.p0v8f32(<8 x float>* %addr, i32 4, <8 x i1> <i1 1, i1 1, i1 1, i1 0, i1 0, i1 0, i1 0, i1 0>, <8 x float> %dst)
6832 ret <8 x float> %res
6835 define <8 x float> @mload_constmask_v8f32_zero(<8 x float>* %addr, <8 x float> %dst) {
6836 ; SSE2-LABEL: mload_constmask_v8f32_zero:
6838 ; SSE2-NEXT: movss {{.*#+}} xmm1 = mem[0],zero,zero,zero
6839 ; SSE2-NEXT: movsd {{.*#+}} xmm0 = mem[0],zero
6840 ; SSE2-NEXT: movlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0]
6841 ; SSE2-NEXT: xorps %xmm1, %xmm1
6844 ; SSE42-LABEL: mload_constmask_v8f32_zero:
6846 ; SSE42-NEXT: movsd {{.*#+}} xmm0 = mem[0],zero
6847 ; SSE42-NEXT: insertps {{.*#+}} xmm0 = xmm0[0,1],mem[0],zero
6848 ; SSE42-NEXT: xorps %xmm1, %xmm1
6851 ; AVX1OR2-LABEL: mload_constmask_v8f32_zero:
6852 ; AVX1OR2: ## %bb.0:
6853 ; AVX1OR2-NEXT: vmovaps {{.*#+}} ymm0 = [4294967295,4294967295,4294967295,0,0,0,0,0]
6854 ; AVX1OR2-NEXT: vmaskmovps (%rdi), %ymm0, %ymm0
6855 ; AVX1OR2-NEXT: retq
6857 ; AVX512F-LABEL: mload_constmask_v8f32_zero:
6858 ; AVX512F: ## %bb.0:
6859 ; AVX512F-NEXT: movw $7, %ax
6860 ; AVX512F-NEXT: kmovw %eax, %k1
6861 ; AVX512F-NEXT: vmovups (%rdi), %zmm0 {%k1} {z}
6862 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 killed $zmm0
6863 ; AVX512F-NEXT: retq
6865 ; AVX512VLDQ-LABEL: mload_constmask_v8f32_zero:
6866 ; AVX512VLDQ: ## %bb.0:
6867 ; AVX512VLDQ-NEXT: movb $7, %al
6868 ; AVX512VLDQ-NEXT: kmovw %eax, %k1
6869 ; AVX512VLDQ-NEXT: vmovups (%rdi), %ymm0 {%k1} {z}
6870 ; AVX512VLDQ-NEXT: retq
6872 ; AVX512VLBW-LABEL: mload_constmask_v8f32_zero:
6873 ; AVX512VLBW: ## %bb.0:
6874 ; AVX512VLBW-NEXT: movb $7, %al
6875 ; AVX512VLBW-NEXT: kmovd %eax, %k1
6876 ; AVX512VLBW-NEXT: vmovups (%rdi), %ymm0 {%k1} {z}
6877 ; AVX512VLBW-NEXT: retq
6878 %res = call <8 x float> @llvm.masked.load.v8f32.p0v8f32(<8 x float>* %addr, i32 4, <8 x i1> <i1 1, i1 1, i1 1, i1 0, i1 0, i1 0, i1 0, i1 0>, <8 x float> zeroinitializer)
6879 ret <8 x float> %res
6882 define <4 x double> @mload_constmask_v4f64(<4 x double>* %addr, <4 x double> %dst) {
6883 ; SSE-LABEL: mload_constmask_v4f64:
6885 ; SSE-NEXT: movups (%rdi), %xmm0
6886 ; SSE-NEXT: movlpd {{.*#+}} xmm1 = mem[0],xmm1[1]
6889 ; AVX1OR2-LABEL: mload_constmask_v4f64:
6890 ; AVX1OR2: ## %bb.0:
6891 ; AVX1OR2-NEXT: vmovapd {{.*#+}} ymm1 = [18446744073709551615,18446744073709551615,18446744073709551615,0]
6892 ; AVX1OR2-NEXT: vmaskmovpd (%rdi), %ymm1, %ymm1
6893 ; AVX1OR2-NEXT: vblendpd {{.*#+}} ymm0 = ymm1[0,1,2],ymm0[3]
6894 ; AVX1OR2-NEXT: retq
6896 ; AVX512F-LABEL: mload_constmask_v4f64:
6897 ; AVX512F: ## %bb.0:
6898 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 def $zmm0
6899 ; AVX512F-NEXT: movb $7, %al
6900 ; AVX512F-NEXT: kmovw %eax, %k1
6901 ; AVX512F-NEXT: vmovupd (%rdi), %zmm0 {%k1}
6902 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 killed $zmm0
6903 ; AVX512F-NEXT: retq
6905 ; AVX512VLDQ-LABEL: mload_constmask_v4f64:
6906 ; AVX512VLDQ: ## %bb.0:
6907 ; AVX512VLDQ-NEXT: movb $7, %al
6908 ; AVX512VLDQ-NEXT: kmovw %eax, %k1
6909 ; AVX512VLDQ-NEXT: vmovupd (%rdi), %ymm0 {%k1}
6910 ; AVX512VLDQ-NEXT: retq
6912 ; AVX512VLBW-LABEL: mload_constmask_v4f64:
6913 ; AVX512VLBW: ## %bb.0:
6914 ; AVX512VLBW-NEXT: movb $7, %al
6915 ; AVX512VLBW-NEXT: kmovd %eax, %k1
6916 ; AVX512VLBW-NEXT: vmovupd (%rdi), %ymm0 {%k1}
6917 ; AVX512VLBW-NEXT: retq
6918 %res = call <4 x double> @llvm.masked.load.v4f64.p0v4f64(<4 x double>* %addr, i32 4, <4 x i1> <i1 1, i1 1, i1 1, i1 0>, <4 x double> %dst)
6919 ret <4 x double> %res
6922 ; 256-bit integer vectors are supported with AVX2.
6924 define <8 x i32> @mload_constmask_v8i32(<8 x i32>* %addr, <8 x i32> %dst) {
6925 ; SSE2-LABEL: mload_constmask_v8i32:
6927 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
6928 ; SSE2-NEXT: movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
6929 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,0],xmm3[0,0]
6930 ; SSE2-NEXT: movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
6931 ; SSE2-NEXT: shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[3,0]
6932 ; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[2,0],xmm3[0,2]
6933 ; SSE2-NEXT: movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
6934 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[2,0]
6935 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
6936 ; SSE2-NEXT: movaps %xmm2, %xmm0
6939 ; SSE42-LABEL: mload_constmask_v8i32:
6941 ; SSE42-NEXT: pinsrd $0, (%rdi), %xmm0
6942 ; SSE42-NEXT: pinsrd $1, 4(%rdi), %xmm0
6943 ; SSE42-NEXT: pinsrd $2, 8(%rdi), %xmm0
6944 ; SSE42-NEXT: pinsrd $3, 28(%rdi), %xmm1
6947 ; AVX1OR2-LABEL: mload_constmask_v8i32:
6948 ; AVX1OR2: ## %bb.0:
6949 ; AVX1OR2-NEXT: vblendps {{.*#+}} ymm0 = mem[0,1,2],ymm0[3,4,5,6],mem[7]
6950 ; AVX1OR2-NEXT: retq
6952 ; AVX512F-LABEL: mload_constmask_v8i32:
6953 ; AVX512F: ## %bb.0:
6954 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 def $zmm0
6955 ; AVX512F-NEXT: movw $135, %ax
6956 ; AVX512F-NEXT: kmovw %eax, %k1
6957 ; AVX512F-NEXT: vmovdqu32 (%rdi), %zmm0 {%k1}
6958 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 killed $zmm0
6959 ; AVX512F-NEXT: retq
6961 ; AVX512VLDQ-LABEL: mload_constmask_v8i32:
6962 ; AVX512VLDQ: ## %bb.0:
6963 ; AVX512VLDQ-NEXT: movb $-121, %al
6964 ; AVX512VLDQ-NEXT: kmovw %eax, %k1
6965 ; AVX512VLDQ-NEXT: vmovdqu32 (%rdi), %ymm0 {%k1}
6966 ; AVX512VLDQ-NEXT: retq
6968 ; AVX512VLBW-LABEL: mload_constmask_v8i32:
6969 ; AVX512VLBW: ## %bb.0:
6970 ; AVX512VLBW-NEXT: movb $-121, %al
6971 ; AVX512VLBW-NEXT: kmovd %eax, %k1
6972 ; AVX512VLBW-NEXT: vmovdqu32 (%rdi), %ymm0 {%k1}
6973 ; AVX512VLBW-NEXT: retq
6974 %res = call <8 x i32> @llvm.masked.load.v8i32.p0v8i32(<8 x i32>* %addr, i32 4, <8 x i1> <i1 1, i1 1, i1 1, i1 0, i1 0, i1 0, i1 0, i1 1>, <8 x i32> %dst)
6978 define <4 x i64> @mload_constmask_v4i64(<4 x i64>* %addr, <4 x i64> %dst) {
6979 ; SSE2-LABEL: mload_constmask_v4i64:
6981 ; SSE2-NEXT: movlpd {{.*#+}} xmm0 = mem[0],xmm0[1]
6982 ; SSE2-NEXT: movsd {{.*#+}} xmm2 = mem[0],zero
6983 ; SSE2-NEXT: movlhps {{.*#+}} xmm1 = xmm1[0],xmm2[0]
6986 ; SSE42-LABEL: mload_constmask_v4i64:
6988 ; SSE42-NEXT: pinsrq $0, (%rdi), %xmm0
6989 ; SSE42-NEXT: pinsrq $1, 24(%rdi), %xmm1
6992 ; AVX1OR2-LABEL: mload_constmask_v4i64:
6993 ; AVX1OR2: ## %bb.0:
6994 ; AVX1OR2-NEXT: vblendps {{.*#+}} ymm0 = mem[0,1],ymm0[2,3,4,5],mem[6,7]
6995 ; AVX1OR2-NEXT: retq
6997 ; AVX512F-LABEL: mload_constmask_v4i64:
6998 ; AVX512F: ## %bb.0:
6999 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 def $zmm0
7000 ; AVX512F-NEXT: movb $9, %al
7001 ; AVX512F-NEXT: kmovw %eax, %k1
7002 ; AVX512F-NEXT: vmovdqu64 (%rdi), %zmm0 {%k1}
7003 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 killed $zmm0
7004 ; AVX512F-NEXT: retq
7006 ; AVX512VLDQ-LABEL: mload_constmask_v4i64:
7007 ; AVX512VLDQ: ## %bb.0:
7008 ; AVX512VLDQ-NEXT: movb $9, %al
7009 ; AVX512VLDQ-NEXT: kmovw %eax, %k1
7010 ; AVX512VLDQ-NEXT: vmovdqu64 (%rdi), %ymm0 {%k1}
7011 ; AVX512VLDQ-NEXT: retq
7013 ; AVX512VLBW-LABEL: mload_constmask_v4i64:
7014 ; AVX512VLBW: ## %bb.0:
7015 ; AVX512VLBW-NEXT: movb $9, %al
7016 ; AVX512VLBW-NEXT: kmovd %eax, %k1
7017 ; AVX512VLBW-NEXT: vmovdqu64 (%rdi), %ymm0 {%k1}
7018 ; AVX512VLBW-NEXT: retq
7019 %res = call <4 x i64> @llvm.masked.load.v4i64.p0v4i64(<4 x i64>* %addr, i32 4, <4 x i1> <i1 1, i1 0, i1 0, i1 1>, <4 x i64> %dst)
7023 ; 512-bit FP vectors are supported with AVX512.
7025 define <8 x double> @mload_constmask_v8f64(<8 x double>* %addr, <8 x double> %dst) {
7026 ; SSE-LABEL: mload_constmask_v8f64:
7028 ; SSE-NEXT: movups (%rdi), %xmm0
7029 ; SSE-NEXT: movlpd {{.*#+}} xmm1 = mem[0],xmm1[1]
7030 ; SSE-NEXT: movhpd {{.*#+}} xmm3 = xmm3[0],mem[0]
7033 ; AVX1OR2-LABEL: mload_constmask_v8f64:
7034 ; AVX1OR2: ## %bb.0:
7035 ; AVX1OR2-NEXT: vblendps {{.*#+}} ymm0 = mem[0,1,2,3,4,5],ymm0[6,7]
7036 ; AVX1OR2-NEXT: vblendps {{.*#+}} ymm1 = ymm1[0,1,2,3,4,5],mem[6,7]
7037 ; AVX1OR2-NEXT: retq
7039 ; AVX512F-LABEL: mload_constmask_v8f64:
7040 ; AVX512F: ## %bb.0:
7041 ; AVX512F-NEXT: movb $-121, %al
7042 ; AVX512F-NEXT: kmovw %eax, %k1
7043 ; AVX512F-NEXT: vmovupd (%rdi), %zmm0 {%k1}
7044 ; AVX512F-NEXT: retq
7046 ; AVX512VLDQ-LABEL: mload_constmask_v8f64:
7047 ; AVX512VLDQ: ## %bb.0:
7048 ; AVX512VLDQ-NEXT: movb $-121, %al
7049 ; AVX512VLDQ-NEXT: kmovw %eax, %k1
7050 ; AVX512VLDQ-NEXT: vmovupd (%rdi), %zmm0 {%k1}
7051 ; AVX512VLDQ-NEXT: retq
7053 ; AVX512VLBW-LABEL: mload_constmask_v8f64:
7054 ; AVX512VLBW: ## %bb.0:
7055 ; AVX512VLBW-NEXT: movb $-121, %al
7056 ; AVX512VLBW-NEXT: kmovd %eax, %k1
7057 ; AVX512VLBW-NEXT: vmovupd (%rdi), %zmm0 {%k1}
7058 ; AVX512VLBW-NEXT: retq
7059 %res = call <8 x double> @llvm.masked.load.v8f64.p0v8f64(<8 x double>* %addr, i32 4, <8 x i1> <i1 1, i1 1, i1 1, i1 0, i1 0, i1 0, i1 0, i1 1>, <8 x double> %dst)
7060 ret <8 x double> %res
7063 ; If the pass-through operand is undef, no blend is needed.
7065 define <4 x double> @mload_constmask_v4f64_undef_passthrough(<4 x double>* %addr) {
7066 ; SSE-LABEL: mload_constmask_v4f64_undef_passthrough:
7068 ; SSE-NEXT: movsd {{.*#+}} xmm1 = mem[0],zero
7069 ; SSE-NEXT: movups (%rdi), %xmm0
7072 ; AVX1OR2-LABEL: mload_constmask_v4f64_undef_passthrough:
7073 ; AVX1OR2: ## %bb.0:
7074 ; AVX1OR2-NEXT: vmovapd {{.*#+}} ymm0 = [18446744073709551615,18446744073709551615,18446744073709551615,0]
7075 ; AVX1OR2-NEXT: vmaskmovpd (%rdi), %ymm0, %ymm0
7076 ; AVX1OR2-NEXT: retq
7078 ; AVX512F-LABEL: mload_constmask_v4f64_undef_passthrough:
7079 ; AVX512F: ## %bb.0:
7080 ; AVX512F-NEXT: movb $7, %al
7081 ; AVX512F-NEXT: kmovw %eax, %k1
7082 ; AVX512F-NEXT: vmovupd (%rdi), %zmm0 {%k1} {z}
7083 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 killed $zmm0
7084 ; AVX512F-NEXT: retq
7086 ; AVX512VLDQ-LABEL: mload_constmask_v4f64_undef_passthrough:
7087 ; AVX512VLDQ: ## %bb.0:
7088 ; AVX512VLDQ-NEXT: movb $7, %al
7089 ; AVX512VLDQ-NEXT: kmovw %eax, %k1
7090 ; AVX512VLDQ-NEXT: vmovupd (%rdi), %ymm0 {%k1} {z}
7091 ; AVX512VLDQ-NEXT: retq
7093 ; AVX512VLBW-LABEL: mload_constmask_v4f64_undef_passthrough:
7094 ; AVX512VLBW: ## %bb.0:
7095 ; AVX512VLBW-NEXT: movb $7, %al
7096 ; AVX512VLBW-NEXT: kmovd %eax, %k1
7097 ; AVX512VLBW-NEXT: vmovupd (%rdi), %ymm0 {%k1} {z}
7098 ; AVX512VLBW-NEXT: retq
7099 %res = call <4 x double> @llvm.masked.load.v4f64.p0v4f64(<4 x double>* %addr, i32 4, <4 x i1> <i1 1, i1 1, i1 1, i1 0>, <4 x double> undef)
7100 ret <4 x double> %res
7103 define <4 x i64> @mload_constmask_v4i64_undef_passthrough(<4 x i64>* %addr) {
7104 ; SSE-LABEL: mload_constmask_v4i64_undef_passthrough:
7106 ; SSE-NEXT: movsd {{.*#+}} xmm1 = mem[0],zero
7107 ; SSE-NEXT: movq {{.*#+}} xmm0 = mem[0],zero
7108 ; SSE-NEXT: pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
7111 ; AVX1-LABEL: mload_constmask_v4i64_undef_passthrough:
7113 ; AVX1-NEXT: vmovapd {{.*#+}} ymm0 = [0,18446744073709551615,18446744073709551615,0]
7114 ; AVX1-NEXT: vmaskmovpd (%rdi), %ymm0, %ymm0
7117 ; AVX2-LABEL: mload_constmask_v4i64_undef_passthrough:
7119 ; AVX2-NEXT: vmovdqa {{.*#+}} ymm0 = [0,18446744073709551615,18446744073709551615,0]
7120 ; AVX2-NEXT: vpmaskmovq (%rdi), %ymm0, %ymm0
7123 ; AVX512F-LABEL: mload_constmask_v4i64_undef_passthrough:
7124 ; AVX512F: ## %bb.0:
7125 ; AVX512F-NEXT: movb $6, %al
7126 ; AVX512F-NEXT: kmovw %eax, %k1
7127 ; AVX512F-NEXT: vmovdqu64 (%rdi), %zmm0 {%k1} {z}
7128 ; AVX512F-NEXT: ## kill: def $ymm0 killed $ymm0 killed $zmm0
7129 ; AVX512F-NEXT: retq
7131 ; AVX512VLDQ-LABEL: mload_constmask_v4i64_undef_passthrough:
7132 ; AVX512VLDQ: ## %bb.0:
7133 ; AVX512VLDQ-NEXT: movb $6, %al
7134 ; AVX512VLDQ-NEXT: kmovw %eax, %k1
7135 ; AVX512VLDQ-NEXT: vmovdqu64 (%rdi), %ymm0 {%k1} {z}
7136 ; AVX512VLDQ-NEXT: retq
7138 ; AVX512VLBW-LABEL: mload_constmask_v4i64_undef_passthrough:
7139 ; AVX512VLBW: ## %bb.0:
7140 ; AVX512VLBW-NEXT: movb $6, %al
7141 ; AVX512VLBW-NEXT: kmovd %eax, %k1
7142 ; AVX512VLBW-NEXT: vmovdqu64 (%rdi), %ymm0 {%k1} {z}
7143 ; AVX512VLBW-NEXT: retq
7144 %res = call <4 x i64> @llvm.masked.load.v4i64.p0v4i64(<4 x i64>* %addr, i32 4, <4 x i1> <i1 0, i1 1, i1 1, i1 0>, <4 x i64> undef)
7148 ; When only one element of the mask is set, reduce to a scalar load.
7150 define <4 x i32> @load_one_mask_bit_set1(<4 x i32>* %addr, <4 x i32> %val) {
7151 ; SSE2-LABEL: load_one_mask_bit_set1:
7153 ; SSE2-NEXT: movss {{.*#+}} xmm1 = mem[0],zero,zero,zero
7154 ; SSE2-NEXT: movss {{.*#+}} xmm0 = xmm1[0],xmm0[1,2,3]
7157 ; SSE42-LABEL: load_one_mask_bit_set1:
7159 ; SSE42-NEXT: pinsrd $0, (%rdi), %xmm0
7162 ; AVX-LABEL: load_one_mask_bit_set1:
7164 ; AVX-NEXT: vpinsrd $0, (%rdi), %xmm0, %xmm0
7166 %res = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* %addr, i32 4, <4 x i1> <i1 true, i1 false, i1 false, i1 false>, <4 x i32> %val)
7170 ; Choose a different element to show that the correct address offset is produced.
7172 define <4 x float> @load_one_mask_bit_set2(<4 x float>* %addr, <4 x float> %val) {
7173 ; SSE2-LABEL: load_one_mask_bit_set2:
7175 ; SSE2-NEXT: movss {{.*#+}} xmm1 = mem[0],zero,zero,zero
7176 ; SSE2-NEXT: shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[3,0]
7177 ; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,2]
7180 ; SSE42-LABEL: load_one_mask_bit_set2:
7182 ; SSE42-NEXT: insertps {{.*#+}} xmm0 = xmm0[0,1],mem[0],xmm0[3]
7185 ; AVX-LABEL: load_one_mask_bit_set2:
7187 ; AVX-NEXT: vinsertps {{.*#+}} xmm0 = xmm0[0,1],mem[0],xmm0[3]
7189 %res = call <4 x float> @llvm.masked.load.v4f32.p0v4f32(<4 x float>* %addr, i32 4, <4 x i1> <i1 false, i1 false, i1 true, i1 false>, <4 x float> %val)
7190 ret <4 x float> %res
7193 ; Choose a different scalar type and a high element of a 256-bit vector because AVX doesn't support those evenly.
7195 define <4 x i64> @load_one_mask_bit_set3(<4 x i64>* %addr, <4 x i64> %val) {
7196 ; SSE2-LABEL: load_one_mask_bit_set3:
7198 ; SSE2-NEXT: movlpd {{.*#+}} xmm1 = mem[0],xmm1[1]
7201 ; SSE42-LABEL: load_one_mask_bit_set3:
7203 ; SSE42-NEXT: pinsrq $0, 16(%rdi), %xmm1
7206 ; AVX1-LABEL: load_one_mask_bit_set3:
7208 ; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1
7209 ; AVX1-NEXT: vpinsrq $0, 16(%rdi), %xmm1, %xmm1
7210 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
7213 ; AVX2-LABEL: load_one_mask_bit_set3:
7215 ; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1
7216 ; AVX2-NEXT: vpinsrq $0, 16(%rdi), %xmm1, %xmm1
7217 ; AVX2-NEXT: vinserti128 $1, %xmm1, %ymm0, %ymm0
7220 ; AVX512-LABEL: load_one_mask_bit_set3:
7222 ; AVX512-NEXT: vextracti128 $1, %ymm0, %xmm1
7223 ; AVX512-NEXT: vpinsrq $0, 16(%rdi), %xmm1, %xmm1
7224 ; AVX512-NEXT: vinserti128 $1, %xmm1, %ymm0, %ymm0
7226 %res = call <4 x i64> @llvm.masked.load.v4i64.p0v4i64(<4 x i64>* %addr, i32 4, <4 x i1> <i1 false, i1 false, i1 true, i1 false>, <4 x i64> %val)
7230 ; Choose a different scalar type and a high element of a 256-bit vector because AVX doesn't support those evenly.
7232 define <4 x double> @load_one_mask_bit_set4(<4 x double>* %addr, <4 x double> %val) {
7233 ; SSE-LABEL: load_one_mask_bit_set4:
7235 ; SSE-NEXT: movhpd {{.*#+}} xmm1 = xmm1[0],mem[0]
7238 ; AVX-LABEL: load_one_mask_bit_set4:
7240 ; AVX-NEXT: vextractf128 $1, %ymm0, %xmm1
7241 ; AVX-NEXT: vmovhpd {{.*#+}} xmm1 = xmm1[0],mem[0]
7242 ; AVX-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
7244 %res = call <4 x double> @llvm.masked.load.v4f64.p0v4f64(<4 x double>* %addr, i32 4, <4 x i1> <i1 false, i1 false, i1 false, i1 true>, <4 x double> %val)
7245 ret <4 x double> %res
7248 ; Try a 512-bit vector to make sure AVX doesn't die and AVX512 works as expected.
7250 define <8 x double> @load_one_mask_bit_set5(<8 x double>* %addr, <8 x double> %val) {
7251 ; SSE-LABEL: load_one_mask_bit_set5:
7253 ; SSE-NEXT: movhpd {{.*#+}} xmm3 = xmm3[0],mem[0]
7256 ; AVX1OR2-LABEL: load_one_mask_bit_set5:
7257 ; AVX1OR2: ## %bb.0:
7258 ; AVX1OR2-NEXT: vextractf128 $1, %ymm1, %xmm2
7259 ; AVX1OR2-NEXT: vmovhpd {{.*#+}} xmm2 = xmm2[0],mem[0]
7260 ; AVX1OR2-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
7261 ; AVX1OR2-NEXT: retq
7263 ; AVX512-LABEL: load_one_mask_bit_set5:
7265 ; AVX512-NEXT: vextractf32x4 $3, %zmm0, %xmm1
7266 ; AVX512-NEXT: vmovhpd {{.*#+}} xmm1 = xmm1[0],mem[0]
7267 ; AVX512-NEXT: vinsertf32x4 $3, %xmm1, %zmm0, %zmm0
7269 %res = call <8 x double> @llvm.masked.load.v8f64.p0v8f64(<8 x double>* %addr, i32 4, <8 x i1> <i1 false, i1 false, i1 false, i1 false, i1 false, i1 false, i1 false, i1 true>, <8 x double> %val)
7270 ret <8 x double> %res
7273 define i32 @pr38986(i1 %c, i32* %p) {
7274 ; SSE-LABEL: pr38986:
7276 ; SSE-NEXT: testb $1, %dil
7277 ; SSE-NEXT: ## implicit-def: $eax
7278 ; SSE-NEXT: je LBB43_2
7279 ; SSE-NEXT: ## %bb.1: ## %cond.load
7280 ; SSE-NEXT: movl (%rsi), %eax
7281 ; SSE-NEXT: LBB43_2: ## %else
7284 ; AVX-LABEL: pr38986:
7286 ; AVX-NEXT: testb $1, %dil
7287 ; AVX-NEXT: ## implicit-def: $eax
7288 ; AVX-NEXT: je LBB43_2
7289 ; AVX-NEXT: ## %bb.1: ## %cond.load
7290 ; AVX-NEXT: movl (%rsi), %eax
7291 ; AVX-NEXT: LBB43_2: ## %else
7293 %vc = insertelement <1 x i1> undef, i1 %c, i32 0
7294 %vp = bitcast i32* %p to <1 x i32>*
7295 %L = call <1 x i32> @llvm.masked.load.v1i32.p0v1i32 (<1 x i32>* %vp, i32 4, <1 x i1> %vc, <1 x i32> undef)
7296 %ret = bitcast <1 x i32> %L to i32
7300 define <2 x double> @zero_mask(<2 x double>* %addr, <2 x double> %dst) {
7301 ; SSE-LABEL: zero_mask:
7305 ; AVX-LABEL: zero_mask:
7308 %res = call <2 x double> @llvm.masked.load.v2f64.p0v2f64(<2 x double>* %addr, i32 4, <2 x i1> zeroinitializer, <2 x double> %dst)
7309 ret <2 x double> %res
7312 declare <8 x double> @llvm.masked.load.v8f64.p0v8f64(<8 x double>*, i32, <8 x i1>, <8 x double>)
7313 declare <4 x double> @llvm.masked.load.v4f64.p0v4f64(<4 x double>*, i32, <4 x i1>, <4 x double>)
7314 declare <2 x double> @llvm.masked.load.v2f64.p0v2f64(<2 x double>*, i32, <2 x i1>, <2 x double>)
7315 declare <1 x double> @llvm.masked.load.v1f64.p0v1f64(<1 x double>*, i32, <1 x i1>, <1 x double>)
7317 declare <16 x float> @llvm.masked.load.v16f32.p0v16f32(<16 x float>*, i32, <16 x i1>, <16 x float>)
7318 declare <8 x float> @llvm.masked.load.v8f32.p0v8f32(<8 x float>*, i32, <8 x i1>, <8 x float>)
7319 declare <4 x float> @llvm.masked.load.v4f32.p0v4f32(<4 x float>*, i32, <4 x i1>, <4 x float>)
7320 declare <2 x float> @llvm.masked.load.v2f32.p0v2f32(<2 x float>*, i32, <2 x i1>, <2 x float>)
7322 declare <8 x i64> @llvm.masked.load.v8i64.p0v8i64(<8 x i64>*, i32, <8 x i1>, <8 x i64>)
7323 declare <4 x i64> @llvm.masked.load.v4i64.p0v4i64(<4 x i64>*, i32, <4 x i1>, <4 x i64>)
7324 declare <2 x i64> @llvm.masked.load.v2i64.p0v2i64(<2 x i64>*, i32, <2 x i1>, <2 x i64>)
7325 declare <1 x i64> @llvm.masked.load.v1i64.p0v1i64(<1 x i64>*, i32, <1 x i1>, <1 x i64>)
7327 declare <16 x i32> @llvm.masked.load.v16i32.p0v16i32(<16 x i32>*, i32, <16 x i1>, <16 x i32>)
7328 declare <8 x i32> @llvm.masked.load.v8i32.p0v8i32(<8 x i32>*, i32, <8 x i1>, <8 x i32>)
7329 declare <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>*, i32, <4 x i1>, <4 x i32>)
7330 declare <2 x i32> @llvm.masked.load.v2i32.p0v2i32(<2 x i32>*, i32, <2 x i1>, <2 x i32>)
7331 declare <1 x i32> @llvm.masked.load.v1i32.p0v1i32(<1 x i32>*, i32, <1 x i1>, <1 x i32>)
7333 declare <32 x i16> @llvm.masked.load.v32i16.p0v32i16(<32 x i16>*, i32, <32 x i1>, <32 x i16>)
7334 declare <16 x i16> @llvm.masked.load.v16i16.p0v16i16(<16 x i16>*, i32, <16 x i1>, <16 x i16>)
7335 declare <8 x i16> @llvm.masked.load.v8i16.p0v8i16(<8 x i16>*, i32, <8 x i1>, <8 x i16>)
7336 declare <4 x i16> @llvm.masked.load.v4i16.p0v4i16(<4 x i16>*, i32, <4 x i1>, <4 x i16>)
7338 declare <64 x i8> @llvm.masked.load.v64i8.p0v64i8(<64 x i8>*, i32, <64 x i1>, <64 x i8>)
7339 declare <32 x i8> @llvm.masked.load.v32i8.p0v32i8(<32 x i8>*, i32, <32 x i1>, <32 x i8>)
7340 declare <16 x i8> @llvm.masked.load.v16i8.p0v16i8(<16 x i8>*, i32, <16 x i1>, <16 x i8>)
7341 declare <8 x i8> @llvm.masked.load.v8i8.p0v8i8(<8 x i8>*, i32, <8 x i1>, <8 x i8>)