; SSE41-NEXT: pcmpgtd %xmm3, %xmm4
; SSE41-NEXT: pshufd {{.*#+}} xmm5 = xmm4[0,0,2,2]
; SSE41-NEXT: pcmpeqd %xmm3, %xmm0
-; SSE41-NEXT: pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
-; SSE41-NEXT: pand %xmm5, %xmm3
-; SSE41-NEXT: pshufd {{.*#+}} xmm0 = xmm4[1,1,3,3]
-; SSE41-NEXT: por %xmm3, %xmm0
-; SSE41-NEXT: blendvpd %xmm1, %xmm2
-; SSE41-NEXT: movapd %xmm2, %xmm0
+; SSE41-NEXT: pshufd {{.*#+}} xmm0 = xmm0[1,1,3,3]
+; SSE41-NEXT: pand %xmm5, %xmm0
+; SSE41-NEXT: pshufd {{.*#+}} xmm3 = xmm4[1,1,3,3]
+; SSE41-NEXT: por %xmm0, %xmm3
+; SSE41-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE41-NEXT: pxor %xmm3, %xmm0
+; SSE41-NEXT: blendvpd %xmm2, %xmm1
+; SSE41-NEXT: movapd %xmm1, %xmm0
; SSE41-NEXT: retq
;
; SSE42-LABEL: max_ge_v2i64:
; SSE42: # BB#0:
; SSE42-NEXT: movdqa %xmm0, %xmm2
-; SSE42-NEXT: movdqa %xmm1, %xmm0
-; SSE42-NEXT: pcmpgtq %xmm2, %xmm0
-; SSE42-NEXT: blendvpd %xmm1, %xmm2
-; SSE42-NEXT: movapd %xmm2, %xmm0
+; SSE42-NEXT: movdqa %xmm1, %xmm3
+; SSE42-NEXT: pcmpgtq %xmm2, %xmm3
+; SSE42-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE42-NEXT: pxor %xmm3, %xmm0
+; SSE42-NEXT: blendvpd %xmm2, %xmm1
+; SSE42-NEXT: movapd %xmm1, %xmm0
; SSE42-NEXT: retq
;
; AVX-LABEL: max_ge_v2i64:
; AVX: # BB#0:
; AVX-NEXT: vpcmpgtq %xmm0, %xmm1, %xmm2
-; AVX-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
+; AVX-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
; AVX-NEXT: retq
%1 = icmp sge <2 x i64> %a, %b
%2 = select <2 x i1> %1, <2 x i64> %a, <2 x i64> %b
;
; SSE41-LABEL: max_ge_v4i64:
; SSE41: # BB#0:
-; SSE41-NEXT: movdqa %xmm0, %xmm4
+; SSE41-NEXT: movdqa %xmm0, %xmm8
; SSE41-NEXT: movdqa {{.*#+}} xmm0 = [2147483648,0,2147483648,0]
; SSE41-NEXT: movdqa %xmm1, %xmm5
; SSE41-NEXT: pxor %xmm0, %xmm5
; SSE41-NEXT: pxor %xmm0, %xmm6
; SSE41-NEXT: movdqa %xmm6, %xmm7
; SSE41-NEXT: pcmpgtd %xmm5, %xmm7
-; SSE41-NEXT: pshufd {{.*#+}} xmm8 = xmm7[0,0,2,2]
+; SSE41-NEXT: pshufd {{.*#+}} xmm4 = xmm7[0,0,2,2]
; SSE41-NEXT: pcmpeqd %xmm5, %xmm6
; SSE41-NEXT: pshufd {{.*#+}} xmm6 = xmm6[1,1,3,3]
-; SSE41-NEXT: pand %xmm8, %xmm6
+; SSE41-NEXT: pand %xmm4, %xmm6
; SSE41-NEXT: pshufd {{.*#+}} xmm5 = xmm7[1,1,3,3]
; SSE41-NEXT: por %xmm6, %xmm5
-; SSE41-NEXT: movdqa %xmm4, %xmm6
+; SSE41-NEXT: pcmpeqd %xmm9, %xmm9
+; SSE41-NEXT: pxor %xmm9, %xmm5
+; SSE41-NEXT: movdqa %xmm8, %xmm6
; SSE41-NEXT: pxor %xmm0, %xmm6
; SSE41-NEXT: pxor %xmm2, %xmm0
; SSE41-NEXT: movdqa %xmm0, %xmm7
; SSE41-NEXT: pcmpgtd %xmm6, %xmm7
-; SSE41-NEXT: pshufd {{.*#+}} xmm8 = xmm7[0,0,2,2]
+; SSE41-NEXT: pshufd {{.*#+}} xmm4 = xmm7[0,0,2,2]
; SSE41-NEXT: pcmpeqd %xmm6, %xmm0
; SSE41-NEXT: pshufd {{.*#+}} xmm6 = xmm0[1,1,3,3]
-; SSE41-NEXT: pand %xmm8, %xmm6
+; SSE41-NEXT: pand %xmm4, %xmm6
; SSE41-NEXT: pshufd {{.*#+}} xmm0 = xmm7[1,1,3,3]
; SSE41-NEXT: por %xmm6, %xmm0
-; SSE41-NEXT: blendvpd %xmm2, %xmm4
+; SSE41-NEXT: pxor %xmm9, %xmm0
+; SSE41-NEXT: blendvpd %xmm8, %xmm2
; SSE41-NEXT: movdqa %xmm5, %xmm0
-; SSE41-NEXT: blendvpd %xmm3, %xmm1
-; SSE41-NEXT: movapd %xmm4, %xmm0
+; SSE41-NEXT: blendvpd %xmm1, %xmm3
+; SSE41-NEXT: movapd %xmm2, %xmm0
+; SSE41-NEXT: movapd %xmm3, %xmm1
; SSE41-NEXT: retq
;
; SSE42-LABEL: max_ge_v4i64:
; SSE42-NEXT: movdqa %xmm0, %xmm4
; SSE42-NEXT: movdqa %xmm3, %xmm5
; SSE42-NEXT: pcmpgtq %xmm1, %xmm5
-; SSE42-NEXT: movdqa %xmm2, %xmm0
-; SSE42-NEXT: pcmpgtq %xmm4, %xmm0
-; SSE42-NEXT: blendvpd %xmm2, %xmm4
+; SSE42-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE42-NEXT: pxor %xmm0, %xmm5
+; SSE42-NEXT: movdqa %xmm2, %xmm6
+; SSE42-NEXT: pcmpgtq %xmm4, %xmm6
+; SSE42-NEXT: pxor %xmm6, %xmm0
+; SSE42-NEXT: blendvpd %xmm4, %xmm2
; SSE42-NEXT: movdqa %xmm5, %xmm0
-; SSE42-NEXT: blendvpd %xmm3, %xmm1
-; SSE42-NEXT: movapd %xmm4, %xmm0
+; SSE42-NEXT: blendvpd %xmm1, %xmm3
+; SSE42-NEXT: movapd %xmm2, %xmm0
+; SSE42-NEXT: movapd %xmm3, %xmm1
; SSE42-NEXT: retq
;
; AVX1-LABEL: max_ge_v4i64:
; AVX2-LABEL: max_ge_v4i64:
; AVX2: # BB#0:
; AVX2-NEXT: vpcmpgtq %ymm0, %ymm1, %ymm2
-; AVX2-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX2-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
; AVX2-NEXT: retq
;
; AVX512-LABEL: max_ge_v4i64:
; AVX512: # BB#0:
; AVX512-NEXT: vpcmpgtq %ymm0, %ymm1, %ymm2
-; AVX512-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
+; AVX512-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX512-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX512-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
; AVX512-NEXT: retq
%1 = icmp sge <4 x i64> %a, %b
%2 = select <4 x i1> %1, <4 x i64> %a, <4 x i64> %b
; SSE41-NEXT: pcmpgtd %xmm3, %xmm4
; SSE41-NEXT: pshufd {{.*#+}} xmm5 = xmm4[0,0,2,2]
; SSE41-NEXT: pcmpeqd %xmm3, %xmm0
-; SSE41-NEXT: pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
-; SSE41-NEXT: pand %xmm5, %xmm3
-; SSE41-NEXT: pshufd {{.*#+}} xmm0 = xmm4[1,1,3,3]
-; SSE41-NEXT: por %xmm3, %xmm0
-; SSE41-NEXT: blendvpd %xmm1, %xmm2
-; SSE41-NEXT: movapd %xmm2, %xmm0
+; SSE41-NEXT: pshufd {{.*#+}} xmm0 = xmm0[1,1,3,3]
+; SSE41-NEXT: pand %xmm5, %xmm0
+; SSE41-NEXT: pshufd {{.*#+}} xmm3 = xmm4[1,1,3,3]
+; SSE41-NEXT: por %xmm0, %xmm3
+; SSE41-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE41-NEXT: pxor %xmm3, %xmm0
+; SSE41-NEXT: blendvpd %xmm2, %xmm1
+; SSE41-NEXT: movapd %xmm1, %xmm0
; SSE41-NEXT: retq
;
; SSE42-LABEL: min_le_v2i64:
; SSE42: # BB#0:
; SSE42-NEXT: movdqa %xmm0, %xmm2
; SSE42-NEXT: pcmpgtq %xmm1, %xmm0
-; SSE42-NEXT: blendvpd %xmm1, %xmm2
-; SSE42-NEXT: movapd %xmm2, %xmm0
+; SSE42-NEXT: pcmpeqd %xmm3, %xmm3
+; SSE42-NEXT: pxor %xmm3, %xmm0
+; SSE42-NEXT: blendvpd %xmm2, %xmm1
+; SSE42-NEXT: movapd %xmm1, %xmm0
; SSE42-NEXT: retq
;
; AVX-LABEL: min_le_v2i64:
; AVX: # BB#0:
; AVX-NEXT: vpcmpgtq %xmm1, %xmm0, %xmm2
-; AVX-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
+; AVX-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
; AVX-NEXT: retq
%1 = icmp sle <2 x i64> %a, %b
%2 = select <2 x i1> %1, <2 x i64> %a, <2 x i64> %b
;
; SSE41-LABEL: min_le_v4i64:
; SSE41: # BB#0:
-; SSE41-NEXT: movdqa %xmm0, %xmm4
+; SSE41-NEXT: movdqa %xmm0, %xmm8
; SSE41-NEXT: movdqa {{.*#+}} xmm0 = [2147483648,0,2147483648,0]
; SSE41-NEXT: movdqa %xmm3, %xmm5
; SSE41-NEXT: pxor %xmm0, %xmm5
; SSE41-NEXT: pxor %xmm0, %xmm6
; SSE41-NEXT: movdqa %xmm6, %xmm7
; SSE41-NEXT: pcmpgtd %xmm5, %xmm7
-; SSE41-NEXT: pshufd {{.*#+}} xmm8 = xmm7[0,0,2,2]
+; SSE41-NEXT: pshufd {{.*#+}} xmm4 = xmm7[0,0,2,2]
; SSE41-NEXT: pcmpeqd %xmm5, %xmm6
; SSE41-NEXT: pshufd {{.*#+}} xmm6 = xmm6[1,1,3,3]
-; SSE41-NEXT: pand %xmm8, %xmm6
+; SSE41-NEXT: pand %xmm4, %xmm6
; SSE41-NEXT: pshufd {{.*#+}} xmm5 = xmm7[1,1,3,3]
; SSE41-NEXT: por %xmm6, %xmm5
+; SSE41-NEXT: pcmpeqd %xmm9, %xmm9
+; SSE41-NEXT: pxor %xmm9, %xmm5
; SSE41-NEXT: movdqa %xmm2, %xmm6
; SSE41-NEXT: pxor %xmm0, %xmm6
-; SSE41-NEXT: pxor %xmm4, %xmm0
+; SSE41-NEXT: pxor %xmm8, %xmm0
; SSE41-NEXT: movdqa %xmm0, %xmm7
; SSE41-NEXT: pcmpgtd %xmm6, %xmm7
-; SSE41-NEXT: pshufd {{.*#+}} xmm8 = xmm7[0,0,2,2]
+; SSE41-NEXT: pshufd {{.*#+}} xmm4 = xmm7[0,0,2,2]
; SSE41-NEXT: pcmpeqd %xmm6, %xmm0
; SSE41-NEXT: pshufd {{.*#+}} xmm6 = xmm0[1,1,3,3]
-; SSE41-NEXT: pand %xmm8, %xmm6
+; SSE41-NEXT: pand %xmm4, %xmm6
; SSE41-NEXT: pshufd {{.*#+}} xmm0 = xmm7[1,1,3,3]
; SSE41-NEXT: por %xmm6, %xmm0
-; SSE41-NEXT: blendvpd %xmm2, %xmm4
+; SSE41-NEXT: pxor %xmm9, %xmm0
+; SSE41-NEXT: blendvpd %xmm8, %xmm2
; SSE41-NEXT: movdqa %xmm5, %xmm0
-; SSE41-NEXT: blendvpd %xmm3, %xmm1
-; SSE41-NEXT: movapd %xmm4, %xmm0
+; SSE41-NEXT: blendvpd %xmm1, %xmm3
+; SSE41-NEXT: movapd %xmm2, %xmm0
+; SSE41-NEXT: movapd %xmm3, %xmm1
; SSE41-NEXT: retq
;
; SSE42-LABEL: min_le_v4i64:
; SSE42-NEXT: movdqa %xmm0, %xmm4
; SSE42-NEXT: movdqa %xmm1, %xmm5
; SSE42-NEXT: pcmpgtq %xmm3, %xmm5
+; SSE42-NEXT: pcmpeqd %xmm6, %xmm6
+; SSE42-NEXT: pxor %xmm6, %xmm5
; SSE42-NEXT: pcmpgtq %xmm2, %xmm0
-; SSE42-NEXT: blendvpd %xmm2, %xmm4
+; SSE42-NEXT: pxor %xmm6, %xmm0
+; SSE42-NEXT: blendvpd %xmm4, %xmm2
; SSE42-NEXT: movdqa %xmm5, %xmm0
-; SSE42-NEXT: blendvpd %xmm3, %xmm1
-; SSE42-NEXT: movapd %xmm4, %xmm0
+; SSE42-NEXT: blendvpd %xmm1, %xmm3
+; SSE42-NEXT: movapd %xmm2, %xmm0
+; SSE42-NEXT: movapd %xmm3, %xmm1
; SSE42-NEXT: retq
;
; AVX1-LABEL: min_le_v4i64:
; AVX2-LABEL: min_le_v4i64:
; AVX2: # BB#0:
; AVX2-NEXT: vpcmpgtq %ymm1, %ymm0, %ymm2
-; AVX2-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX2-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
; AVX2-NEXT: retq
;
; AVX512-LABEL: min_le_v4i64:
; AVX512: # BB#0:
; AVX512-NEXT: vpcmpgtq %ymm1, %ymm0, %ymm2
-; AVX512-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
+; AVX512-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX512-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX512-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
; AVX512-NEXT: retq
%1 = icmp sle <4 x i64> %a, %b
%2 = select <4 x i1> %1, <4 x i64> %a, <4 x i64> %b
; SSE41-NEXT: pcmpgtd %xmm3, %xmm4
; SSE41-NEXT: pshufd {{.*#+}} xmm5 = xmm4[0,0,2,2]
; SSE41-NEXT: pcmpeqd %xmm3, %xmm0
-; SSE41-NEXT: pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
-; SSE41-NEXT: pand %xmm5, %xmm3
-; SSE41-NEXT: pshufd {{.*#+}} xmm0 = xmm4[1,1,3,3]
-; SSE41-NEXT: por %xmm3, %xmm0
-; SSE41-NEXT: blendvpd %xmm1, %xmm2
-; SSE41-NEXT: movapd %xmm2, %xmm0
+; SSE41-NEXT: pshufd {{.*#+}} xmm0 = xmm0[1,1,3,3]
+; SSE41-NEXT: pand %xmm5, %xmm0
+; SSE41-NEXT: pshufd {{.*#+}} xmm3 = xmm4[1,1,3,3]
+; SSE41-NEXT: por %xmm0, %xmm3
+; SSE41-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE41-NEXT: pxor %xmm3, %xmm0
+; SSE41-NEXT: blendvpd %xmm2, %xmm1
+; SSE41-NEXT: movapd %xmm1, %xmm0
; SSE41-NEXT: retq
;
; SSE42-LABEL: max_ge_v2i64:
; SSE42: # BB#0:
; SSE42-NEXT: movdqa %xmm0, %xmm2
-; SSE42-NEXT: movdqa {{.*#+}} xmm0 = [9223372036854775808,9223372036854775808]
-; SSE42-NEXT: movdqa %xmm2, %xmm3
-; SSE42-NEXT: pxor %xmm0, %xmm3
-; SSE42-NEXT: pxor %xmm1, %xmm0
-; SSE42-NEXT: pcmpgtq %xmm3, %xmm0
-; SSE42-NEXT: blendvpd %xmm1, %xmm2
-; SSE42-NEXT: movapd %xmm2, %xmm0
+; SSE42-NEXT: movdqa {{.*#+}} xmm3 = [9223372036854775808,9223372036854775808]
+; SSE42-NEXT: pxor %xmm3, %xmm0
+; SSE42-NEXT: pxor %xmm1, %xmm3
+; SSE42-NEXT: pcmpgtq %xmm0, %xmm3
+; SSE42-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE42-NEXT: pxor %xmm3, %xmm0
+; SSE42-NEXT: blendvpd %xmm2, %xmm1
+; SSE42-NEXT: movapd %xmm1, %xmm0
; SSE42-NEXT: retq
;
; AVX-LABEL: max_ge_v2i64:
; AVX-NEXT: vpxor %xmm2, %xmm0, %xmm3
; AVX-NEXT: vpxor %xmm2, %xmm1, %xmm2
; AVX-NEXT: vpcmpgtq %xmm3, %xmm2, %xmm2
-; AVX-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
+; AVX-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
; AVX-NEXT: retq
%1 = icmp uge <2 x i64> %a, %b
%2 = select <2 x i1> %1, <2 x i64> %a, <2 x i64> %b
;
; SSE41-LABEL: max_ge_v4i64:
; SSE41: # BB#0:
-; SSE41-NEXT: movdqa %xmm0, %xmm4
+; SSE41-NEXT: movdqa %xmm0, %xmm8
; SSE41-NEXT: movdqa {{.*#+}} xmm0 = [2147483648,2147483648,2147483648,2147483648]
; SSE41-NEXT: movdqa %xmm1, %xmm5
; SSE41-NEXT: pxor %xmm0, %xmm5
; SSE41-NEXT: pxor %xmm0, %xmm6
; SSE41-NEXT: movdqa %xmm6, %xmm7
; SSE41-NEXT: pcmpgtd %xmm5, %xmm7
-; SSE41-NEXT: pshufd {{.*#+}} xmm8 = xmm7[0,0,2,2]
+; SSE41-NEXT: pshufd {{.*#+}} xmm4 = xmm7[0,0,2,2]
; SSE41-NEXT: pcmpeqd %xmm5, %xmm6
; SSE41-NEXT: pshufd {{.*#+}} xmm6 = xmm6[1,1,3,3]
-; SSE41-NEXT: pand %xmm8, %xmm6
+; SSE41-NEXT: pand %xmm4, %xmm6
; SSE41-NEXT: pshufd {{.*#+}} xmm5 = xmm7[1,1,3,3]
; SSE41-NEXT: por %xmm6, %xmm5
-; SSE41-NEXT: movdqa %xmm4, %xmm6
+; SSE41-NEXT: pcmpeqd %xmm9, %xmm9
+; SSE41-NEXT: pxor %xmm9, %xmm5
+; SSE41-NEXT: movdqa %xmm8, %xmm6
; SSE41-NEXT: pxor %xmm0, %xmm6
; SSE41-NEXT: pxor %xmm2, %xmm0
; SSE41-NEXT: movdqa %xmm0, %xmm7
; SSE41-NEXT: pcmpgtd %xmm6, %xmm7
-; SSE41-NEXT: pshufd {{.*#+}} xmm8 = xmm7[0,0,2,2]
+; SSE41-NEXT: pshufd {{.*#+}} xmm4 = xmm7[0,0,2,2]
; SSE41-NEXT: pcmpeqd %xmm6, %xmm0
; SSE41-NEXT: pshufd {{.*#+}} xmm6 = xmm0[1,1,3,3]
-; SSE41-NEXT: pand %xmm8, %xmm6
+; SSE41-NEXT: pand %xmm4, %xmm6
; SSE41-NEXT: pshufd {{.*#+}} xmm0 = xmm7[1,1,3,3]
; SSE41-NEXT: por %xmm6, %xmm0
-; SSE41-NEXT: blendvpd %xmm2, %xmm4
+; SSE41-NEXT: pxor %xmm9, %xmm0
+; SSE41-NEXT: blendvpd %xmm8, %xmm2
; SSE41-NEXT: movdqa %xmm5, %xmm0
-; SSE41-NEXT: blendvpd %xmm3, %xmm1
-; SSE41-NEXT: movapd %xmm4, %xmm0
+; SSE41-NEXT: blendvpd %xmm1, %xmm3
+; SSE41-NEXT: movapd %xmm2, %xmm0
+; SSE41-NEXT: movapd %xmm3, %xmm1
; SSE41-NEXT: retq
;
; SSE42-LABEL: max_ge_v4i64:
; SSE42-NEXT: movdqa %xmm3, %xmm5
; SSE42-NEXT: pxor %xmm0, %xmm5
; SSE42-NEXT: pcmpgtq %xmm6, %xmm5
-; SSE42-NEXT: movdqa %xmm4, %xmm6
-; SSE42-NEXT: pxor %xmm0, %xmm6
+; SSE42-NEXT: pcmpeqd %xmm6, %xmm6
+; SSE42-NEXT: pxor %xmm6, %xmm5
+; SSE42-NEXT: movdqa %xmm4, %xmm7
+; SSE42-NEXT: pxor %xmm0, %xmm7
; SSE42-NEXT: pxor %xmm2, %xmm0
-; SSE42-NEXT: pcmpgtq %xmm6, %xmm0
-; SSE42-NEXT: blendvpd %xmm2, %xmm4
+; SSE42-NEXT: pcmpgtq %xmm7, %xmm0
+; SSE42-NEXT: pxor %xmm6, %xmm0
+; SSE42-NEXT: blendvpd %xmm4, %xmm2
; SSE42-NEXT: movdqa %xmm5, %xmm0
-; SSE42-NEXT: blendvpd %xmm3, %xmm1
-; SSE42-NEXT: movapd %xmm4, %xmm0
+; SSE42-NEXT: blendvpd %xmm1, %xmm3
+; SSE42-NEXT: movapd %xmm2, %xmm0
+; SSE42-NEXT: movapd %xmm3, %xmm1
; SSE42-NEXT: retq
;
; AVX1-LABEL: max_ge_v4i64:
; AVX2-NEXT: vpxor %ymm2, %ymm0, %ymm3
; AVX2-NEXT: vpxor %ymm2, %ymm1, %ymm2
; AVX2-NEXT: vpcmpgtq %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX2-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
; AVX2-NEXT: retq
;
; AVX512-LABEL: max_ge_v4i64:
; AVX512-NEXT: vpxor %ymm2, %ymm0, %ymm3
; AVX512-NEXT: vpxor %ymm2, %ymm1, %ymm2
; AVX512-NEXT: vpcmpgtq %ymm3, %ymm2, %ymm2
-; AVX512-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
+; AVX512-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX512-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX512-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
; AVX512-NEXT: retq
%1 = icmp uge <4 x i64> %a, %b
%2 = select <4 x i1> %1, <4 x i64> %a, <4 x i64> %b
; SSE41-NEXT: pcmpgtd %xmm3, %xmm4
; SSE41-NEXT: pshufd {{.*#+}} xmm5 = xmm4[0,0,2,2]
; SSE41-NEXT: pcmpeqd %xmm3, %xmm0
-; SSE41-NEXT: pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
-; SSE41-NEXT: pand %xmm5, %xmm3
-; SSE41-NEXT: pshufd {{.*#+}} xmm0 = xmm4[1,1,3,3]
-; SSE41-NEXT: por %xmm3, %xmm0
-; SSE41-NEXT: blendvpd %xmm1, %xmm2
-; SSE41-NEXT: movapd %xmm2, %xmm0
+; SSE41-NEXT: pshufd {{.*#+}} xmm0 = xmm0[1,1,3,3]
+; SSE41-NEXT: pand %xmm5, %xmm0
+; SSE41-NEXT: pshufd {{.*#+}} xmm3 = xmm4[1,1,3,3]
+; SSE41-NEXT: por %xmm0, %xmm3
+; SSE41-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE41-NEXT: pxor %xmm3, %xmm0
+; SSE41-NEXT: blendvpd %xmm2, %xmm1
+; SSE41-NEXT: movapd %xmm1, %xmm0
; SSE41-NEXT: retq
;
; SSE42-LABEL: min_le_v2i64:
; SSE42: # BB#0:
; SSE42-NEXT: movdqa %xmm0, %xmm2
-; SSE42-NEXT: movdqa {{.*#+}} xmm0 = [9223372036854775808,9223372036854775808]
-; SSE42-NEXT: movdqa %xmm1, %xmm3
-; SSE42-NEXT: pxor %xmm0, %xmm3
-; SSE42-NEXT: pxor %xmm2, %xmm0
-; SSE42-NEXT: pcmpgtq %xmm3, %xmm0
-; SSE42-NEXT: blendvpd %xmm1, %xmm2
-; SSE42-NEXT: movapd %xmm2, %xmm0
+; SSE42-NEXT: movdqa {{.*#+}} xmm3 = [9223372036854775808,9223372036854775808]
+; SSE42-NEXT: movdqa %xmm1, %xmm0
+; SSE42-NEXT: pxor %xmm3, %xmm0
+; SSE42-NEXT: pxor %xmm2, %xmm3
+; SSE42-NEXT: pcmpgtq %xmm0, %xmm3
+; SSE42-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE42-NEXT: pxor %xmm3, %xmm0
+; SSE42-NEXT: blendvpd %xmm2, %xmm1
+; SSE42-NEXT: movapd %xmm1, %xmm0
; SSE42-NEXT: retq
;
; AVX-LABEL: min_le_v2i64:
; AVX-NEXT: vpxor %xmm2, %xmm1, %xmm3
; AVX-NEXT: vpxor %xmm2, %xmm0, %xmm2
; AVX-NEXT: vpcmpgtq %xmm3, %xmm2, %xmm2
-; AVX-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
+; AVX-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
; AVX-NEXT: retq
%1 = icmp ule <2 x i64> %a, %b
%2 = select <2 x i1> %1, <2 x i64> %a, <2 x i64> %b
;
; SSE41-LABEL: min_le_v4i64:
; SSE41: # BB#0:
-; SSE41-NEXT: movdqa %xmm0, %xmm4
+; SSE41-NEXT: movdqa %xmm0, %xmm8
; SSE41-NEXT: movdqa {{.*#+}} xmm0 = [2147483648,2147483648,2147483648,2147483648]
; SSE41-NEXT: movdqa %xmm3, %xmm5
; SSE41-NEXT: pxor %xmm0, %xmm5
; SSE41-NEXT: pxor %xmm0, %xmm6
; SSE41-NEXT: movdqa %xmm6, %xmm7
; SSE41-NEXT: pcmpgtd %xmm5, %xmm7
-; SSE41-NEXT: pshufd {{.*#+}} xmm8 = xmm7[0,0,2,2]
+; SSE41-NEXT: pshufd {{.*#+}} xmm4 = xmm7[0,0,2,2]
; SSE41-NEXT: pcmpeqd %xmm5, %xmm6
; SSE41-NEXT: pshufd {{.*#+}} xmm6 = xmm6[1,1,3,3]
-; SSE41-NEXT: pand %xmm8, %xmm6
+; SSE41-NEXT: pand %xmm4, %xmm6
; SSE41-NEXT: pshufd {{.*#+}} xmm5 = xmm7[1,1,3,3]
; SSE41-NEXT: por %xmm6, %xmm5
+; SSE41-NEXT: pcmpeqd %xmm9, %xmm9
+; SSE41-NEXT: pxor %xmm9, %xmm5
; SSE41-NEXT: movdqa %xmm2, %xmm6
; SSE41-NEXT: pxor %xmm0, %xmm6
-; SSE41-NEXT: pxor %xmm4, %xmm0
+; SSE41-NEXT: pxor %xmm8, %xmm0
; SSE41-NEXT: movdqa %xmm0, %xmm7
; SSE41-NEXT: pcmpgtd %xmm6, %xmm7
-; SSE41-NEXT: pshufd {{.*#+}} xmm8 = xmm7[0,0,2,2]
+; SSE41-NEXT: pshufd {{.*#+}} xmm4 = xmm7[0,0,2,2]
; SSE41-NEXT: pcmpeqd %xmm6, %xmm0
; SSE41-NEXT: pshufd {{.*#+}} xmm6 = xmm0[1,1,3,3]
-; SSE41-NEXT: pand %xmm8, %xmm6
+; SSE41-NEXT: pand %xmm4, %xmm6
; SSE41-NEXT: pshufd {{.*#+}} xmm0 = xmm7[1,1,3,3]
; SSE41-NEXT: por %xmm6, %xmm0
-; SSE41-NEXT: blendvpd %xmm2, %xmm4
+; SSE41-NEXT: pxor %xmm9, %xmm0
+; SSE41-NEXT: blendvpd %xmm8, %xmm2
; SSE41-NEXT: movdqa %xmm5, %xmm0
-; SSE41-NEXT: blendvpd %xmm3, %xmm1
-; SSE41-NEXT: movapd %xmm4, %xmm0
+; SSE41-NEXT: blendvpd %xmm1, %xmm3
+; SSE41-NEXT: movapd %xmm2, %xmm0
+; SSE41-NEXT: movapd %xmm3, %xmm1
; SSE41-NEXT: retq
;
; SSE42-LABEL: min_le_v4i64:
; SSE42-NEXT: movdqa %xmm1, %xmm5
; SSE42-NEXT: pxor %xmm0, %xmm5
; SSE42-NEXT: pcmpgtq %xmm6, %xmm5
-; SSE42-NEXT: movdqa %xmm2, %xmm6
-; SSE42-NEXT: pxor %xmm0, %xmm6
+; SSE42-NEXT: pcmpeqd %xmm6, %xmm6
+; SSE42-NEXT: pxor %xmm6, %xmm5
+; SSE42-NEXT: movdqa %xmm2, %xmm7
+; SSE42-NEXT: pxor %xmm0, %xmm7
; SSE42-NEXT: pxor %xmm4, %xmm0
-; SSE42-NEXT: pcmpgtq %xmm6, %xmm0
-; SSE42-NEXT: blendvpd %xmm2, %xmm4
+; SSE42-NEXT: pcmpgtq %xmm7, %xmm0
+; SSE42-NEXT: pxor %xmm6, %xmm0
+; SSE42-NEXT: blendvpd %xmm4, %xmm2
; SSE42-NEXT: movdqa %xmm5, %xmm0
-; SSE42-NEXT: blendvpd %xmm3, %xmm1
-; SSE42-NEXT: movapd %xmm4, %xmm0
+; SSE42-NEXT: blendvpd %xmm1, %xmm3
+; SSE42-NEXT: movapd %xmm2, %xmm0
+; SSE42-NEXT: movapd %xmm3, %xmm1
; SSE42-NEXT: retq
;
; AVX1-LABEL: min_le_v4i64:
; AVX2-NEXT: vpxor %ymm2, %ymm1, %ymm3
; AVX2-NEXT: vpxor %ymm2, %ymm0, %ymm2
; AVX2-NEXT: vpcmpgtq %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX2-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
; AVX2-NEXT: retq
;
; AVX512-LABEL: min_le_v4i64:
; AVX512-NEXT: vpxor %ymm2, %ymm1, %ymm3
; AVX512-NEXT: vpxor %ymm2, %ymm0, %ymm2
; AVX512-NEXT: vpcmpgtq %ymm3, %ymm2, %ymm2
-; AVX512-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
+; AVX512-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX512-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX512-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
; AVX512-NEXT: retq
%1 = icmp ule <4 x i64> %a, %b
%2 = select <4 x i1> %1, <4 x i64> %a, <4 x i64> %b
; SSE4-NEXT: movdqa %xmm0, %xmm8
; SSE4-NEXT: movdqa %xmm3, %xmm9
; SSE4-NEXT: pcmpgtq %xmm7, %xmm9
+; SSE4-NEXT: pcmpeqd %xmm12, %xmm12
+; SSE4-NEXT: pxor %xmm12, %xmm9
; SSE4-NEXT: movdqa %xmm2, %xmm10
; SSE4-NEXT: pcmpgtq %xmm6, %xmm10
+; SSE4-NEXT: pxor %xmm12, %xmm10
; SSE4-NEXT: movdqa %xmm1, %xmm11
; SSE4-NEXT: pcmpgtq %xmm5, %xmm11
+; SSE4-NEXT: pxor %xmm12, %xmm11
; SSE4-NEXT: pcmpgtq %xmm4, %xmm0
-; SSE4-NEXT: blendvpd %xmm4, %xmm8
+; SSE4-NEXT: pxor %xmm12, %xmm0
+; SSE4-NEXT: blendvpd %xmm8, %xmm4
; SSE4-NEXT: movdqa %xmm11, %xmm0
-; SSE4-NEXT: blendvpd %xmm5, %xmm1
+; SSE4-NEXT: blendvpd %xmm1, %xmm5
; SSE4-NEXT: movdqa %xmm10, %xmm0
-; SSE4-NEXT: blendvpd %xmm6, %xmm2
+; SSE4-NEXT: blendvpd %xmm2, %xmm6
; SSE4-NEXT: movdqa %xmm9, %xmm0
-; SSE4-NEXT: blendvpd %xmm7, %xmm3
-; SSE4-NEXT: movapd %xmm8, %xmm0
+; SSE4-NEXT: blendvpd %xmm3, %xmm7
+; SSE4-NEXT: movapd %xmm4, %xmm0
+; SSE4-NEXT: movapd %xmm5, %xmm1
+; SSE4-NEXT: movapd %xmm6, %xmm2
+; SSE4-NEXT: movapd %xmm7, %xmm3
; SSE4-NEXT: retq
;
; AVX1-LABEL: test122:
; AVX2-LABEL: test122:
; AVX2: # BB#0: # %entry
; AVX2-NEXT: vpcmpgtq %ymm3, %ymm1, %ymm4
-; AVX2-NEXT: vpcmpgtq %ymm2, %ymm0, %ymm5
-; AVX2-NEXT: vblendvpd %ymm5, %ymm2, %ymm0, %ymm0
-; AVX2-NEXT: vblendvpd %ymm4, %ymm3, %ymm1, %ymm1
+; AVX2-NEXT: vpcmpeqd %ymm5, %ymm5, %ymm5
+; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
+; AVX2-NEXT: vpcmpgtq %ymm2, %ymm0, %ymm6
+; AVX2-NEXT: vpxor %ymm5, %ymm6, %ymm5
+; AVX2-NEXT: vblendvpd %ymm5, %ymm0, %ymm2, %ymm0
+; AVX2-NEXT: vblendvpd %ymm4, %ymm1, %ymm3, %ymm1
; AVX2-NEXT: retq
;
; AVX512F-LABEL: test122:
; SSE4-NEXT: movdqa %xmm0, %xmm8
; SSE4-NEXT: movdqa %xmm7, %xmm9
; SSE4-NEXT: pcmpgtq %xmm3, %xmm9
+; SSE4-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE4-NEXT: pxor %xmm0, %xmm9
; SSE4-NEXT: movdqa %xmm6, %xmm10
; SSE4-NEXT: pcmpgtq %xmm2, %xmm10
+; SSE4-NEXT: pxor %xmm0, %xmm10
; SSE4-NEXT: movdqa %xmm5, %xmm11
; SSE4-NEXT: pcmpgtq %xmm1, %xmm11
-; SSE4-NEXT: movdqa %xmm4, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm8, %xmm0
-; SSE4-NEXT: blendvpd %xmm4, %xmm8
+; SSE4-NEXT: pxor %xmm0, %xmm11
+; SSE4-NEXT: movdqa %xmm4, %xmm12
+; SSE4-NEXT: pcmpgtq %xmm8, %xmm12
+; SSE4-NEXT: pxor %xmm12, %xmm0
+; SSE4-NEXT: blendvpd %xmm8, %xmm4
; SSE4-NEXT: movdqa %xmm11, %xmm0
-; SSE4-NEXT: blendvpd %xmm5, %xmm1
+; SSE4-NEXT: blendvpd %xmm1, %xmm5
; SSE4-NEXT: movdqa %xmm10, %xmm0
-; SSE4-NEXT: blendvpd %xmm6, %xmm2
+; SSE4-NEXT: blendvpd %xmm2, %xmm6
; SSE4-NEXT: movdqa %xmm9, %xmm0
-; SSE4-NEXT: blendvpd %xmm7, %xmm3
-; SSE4-NEXT: movapd %xmm8, %xmm0
+; SSE4-NEXT: blendvpd %xmm3, %xmm7
+; SSE4-NEXT: movapd %xmm4, %xmm0
+; SSE4-NEXT: movapd %xmm5, %xmm1
+; SSE4-NEXT: movapd %xmm6, %xmm2
+; SSE4-NEXT: movapd %xmm7, %xmm3
; SSE4-NEXT: retq
;
; AVX1-LABEL: test124:
; AVX2-LABEL: test124:
; AVX2: # BB#0: # %entry
; AVX2-NEXT: vpcmpgtq %ymm1, %ymm3, %ymm4
-; AVX2-NEXT: vpcmpgtq %ymm0, %ymm2, %ymm5
-; AVX2-NEXT: vblendvpd %ymm5, %ymm2, %ymm0, %ymm0
-; AVX2-NEXT: vblendvpd %ymm4, %ymm3, %ymm1, %ymm1
+; AVX2-NEXT: vpcmpeqd %ymm5, %ymm5, %ymm5
+; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
+; AVX2-NEXT: vpcmpgtq %ymm0, %ymm2, %ymm6
+; AVX2-NEXT: vpxor %ymm5, %ymm6, %ymm5
+; AVX2-NEXT: vblendvpd %ymm5, %ymm0, %ymm2, %ymm0
+; AVX2-NEXT: vblendvpd %ymm4, %ymm1, %ymm3, %ymm1
; AVX2-NEXT: retq
;
; AVX512F-LABEL: test124:
;
; SSE4-LABEL: test126:
; SSE4: # BB#0: # %entry
-; SSE4-NEXT: movdqa %xmm0, %xmm8
+; SSE4-NEXT: movdqa %xmm0, %xmm9
; SSE4-NEXT: movdqa {{.*#+}} xmm0 = [9223372036854775808,9223372036854775808]
; SSE4-NEXT: movdqa %xmm7, %xmm10
; SSE4-NEXT: pxor %xmm0, %xmm10
-; SSE4-NEXT: movdqa %xmm3, %xmm9
-; SSE4-NEXT: pxor %xmm0, %xmm9
-; SSE4-NEXT: pcmpgtq %xmm10, %xmm9
+; SSE4-NEXT: movdqa %xmm3, %xmm8
+; SSE4-NEXT: pxor %xmm0, %xmm8
+; SSE4-NEXT: pcmpgtq %xmm10, %xmm8
+; SSE4-NEXT: pcmpeqd %xmm12, %xmm12
+; SSE4-NEXT: pxor %xmm12, %xmm8
; SSE4-NEXT: movdqa %xmm6, %xmm11
; SSE4-NEXT: pxor %xmm0, %xmm11
; SSE4-NEXT: movdqa %xmm2, %xmm10
; SSE4-NEXT: pxor %xmm0, %xmm10
; SSE4-NEXT: pcmpgtq %xmm11, %xmm10
-; SSE4-NEXT: movdqa %xmm5, %xmm12
-; SSE4-NEXT: pxor %xmm0, %xmm12
+; SSE4-NEXT: pxor %xmm12, %xmm10
+; SSE4-NEXT: movdqa %xmm5, %xmm13
+; SSE4-NEXT: pxor %xmm0, %xmm13
; SSE4-NEXT: movdqa %xmm1, %xmm11
; SSE4-NEXT: pxor %xmm0, %xmm11
-; SSE4-NEXT: pcmpgtq %xmm12, %xmm11
-; SSE4-NEXT: movdqa %xmm4, %xmm12
-; SSE4-NEXT: pxor %xmm0, %xmm12
-; SSE4-NEXT: pxor %xmm8, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm12, %xmm0
-; SSE4-NEXT: blendvpd %xmm4, %xmm8
+; SSE4-NEXT: pcmpgtq %xmm13, %xmm11
+; SSE4-NEXT: pxor %xmm12, %xmm11
+; SSE4-NEXT: movdqa %xmm4, %xmm13
+; SSE4-NEXT: pxor %xmm0, %xmm13
+; SSE4-NEXT: pxor %xmm9, %xmm0
+; SSE4-NEXT: pcmpgtq %xmm13, %xmm0
+; SSE4-NEXT: pxor %xmm12, %xmm0
+; SSE4-NEXT: blendvpd %xmm9, %xmm4
; SSE4-NEXT: movdqa %xmm11, %xmm0
-; SSE4-NEXT: blendvpd %xmm5, %xmm1
+; SSE4-NEXT: blendvpd %xmm1, %xmm5
; SSE4-NEXT: movdqa %xmm10, %xmm0
-; SSE4-NEXT: blendvpd %xmm6, %xmm2
-; SSE4-NEXT: movdqa %xmm9, %xmm0
-; SSE4-NEXT: blendvpd %xmm7, %xmm3
-; SSE4-NEXT: movapd %xmm8, %xmm0
+; SSE4-NEXT: blendvpd %xmm2, %xmm6
+; SSE4-NEXT: movdqa %xmm8, %xmm0
+; SSE4-NEXT: blendvpd %xmm3, %xmm7
+; SSE4-NEXT: movapd %xmm4, %xmm0
+; SSE4-NEXT: movapd %xmm5, %xmm1
+; SSE4-NEXT: movapd %xmm6, %xmm2
+; SSE4-NEXT: movapd %xmm7, %xmm3
; SSE4-NEXT: retq
;
; AVX1-LABEL: test126:
; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm5
; AVX2-NEXT: vpxor %ymm4, %ymm1, %ymm6
; AVX2-NEXT: vpcmpgtq %ymm5, %ymm6, %ymm5
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm6
+; AVX2-NEXT: vpcmpeqd %ymm6, %ymm6, %ymm6
+; AVX2-NEXT: vpxor %ymm6, %ymm5, %ymm5
+; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm7
; AVX2-NEXT: vpxor %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpcmpgtq %ymm6, %ymm4, %ymm4
-; AVX2-NEXT: vblendvpd %ymm4, %ymm2, %ymm0, %ymm0
-; AVX2-NEXT: vblendvpd %ymm5, %ymm3, %ymm1, %ymm1
+; AVX2-NEXT: vpcmpgtq %ymm7, %ymm4, %ymm4
+; AVX2-NEXT: vpxor %ymm6, %ymm4, %ymm4
+; AVX2-NEXT: vblendvpd %ymm4, %ymm0, %ymm2, %ymm0
+; AVX2-NEXT: vblendvpd %ymm5, %ymm1, %ymm3, %ymm1
; AVX2-NEXT: retq
;
; AVX512F-LABEL: test126:
;
; SSE4-LABEL: test128:
; SSE4: # BB#0: # %entry
-; SSE4-NEXT: movdqa %xmm0, %xmm8
+; SSE4-NEXT: movdqa %xmm0, %xmm9
; SSE4-NEXT: movdqa {{.*#+}} xmm0 = [9223372036854775808,9223372036854775808]
; SSE4-NEXT: movdqa %xmm3, %xmm10
; SSE4-NEXT: pxor %xmm0, %xmm10
-; SSE4-NEXT: movdqa %xmm7, %xmm9
-; SSE4-NEXT: pxor %xmm0, %xmm9
-; SSE4-NEXT: pcmpgtq %xmm10, %xmm9
+; SSE4-NEXT: movdqa %xmm7, %xmm8
+; SSE4-NEXT: pxor %xmm0, %xmm8
+; SSE4-NEXT: pcmpgtq %xmm10, %xmm8
+; SSE4-NEXT: pcmpeqd %xmm12, %xmm12
+; SSE4-NEXT: pxor %xmm12, %xmm8
; SSE4-NEXT: movdqa %xmm2, %xmm11
; SSE4-NEXT: pxor %xmm0, %xmm11
; SSE4-NEXT: movdqa %xmm6, %xmm10
; SSE4-NEXT: pxor %xmm0, %xmm10
; SSE4-NEXT: pcmpgtq %xmm11, %xmm10
-; SSE4-NEXT: movdqa %xmm1, %xmm12
-; SSE4-NEXT: pxor %xmm0, %xmm12
+; SSE4-NEXT: pxor %xmm12, %xmm10
+; SSE4-NEXT: movdqa %xmm1, %xmm13
+; SSE4-NEXT: pxor %xmm0, %xmm13
; SSE4-NEXT: movdqa %xmm5, %xmm11
; SSE4-NEXT: pxor %xmm0, %xmm11
-; SSE4-NEXT: pcmpgtq %xmm12, %xmm11
-; SSE4-NEXT: movdqa %xmm8, %xmm12
-; SSE4-NEXT: pxor %xmm0, %xmm12
+; SSE4-NEXT: pcmpgtq %xmm13, %xmm11
+; SSE4-NEXT: pxor %xmm12, %xmm11
+; SSE4-NEXT: movdqa %xmm9, %xmm13
+; SSE4-NEXT: pxor %xmm0, %xmm13
; SSE4-NEXT: pxor %xmm4, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm12, %xmm0
-; SSE4-NEXT: blendvpd %xmm4, %xmm8
+; SSE4-NEXT: pcmpgtq %xmm13, %xmm0
+; SSE4-NEXT: pxor %xmm12, %xmm0
+; SSE4-NEXT: blendvpd %xmm9, %xmm4
; SSE4-NEXT: movdqa %xmm11, %xmm0
-; SSE4-NEXT: blendvpd %xmm5, %xmm1
+; SSE4-NEXT: blendvpd %xmm1, %xmm5
; SSE4-NEXT: movdqa %xmm10, %xmm0
-; SSE4-NEXT: blendvpd %xmm6, %xmm2
-; SSE4-NEXT: movdqa %xmm9, %xmm0
-; SSE4-NEXT: blendvpd %xmm7, %xmm3
-; SSE4-NEXT: movapd %xmm8, %xmm0
+; SSE4-NEXT: blendvpd %xmm2, %xmm6
+; SSE4-NEXT: movdqa %xmm8, %xmm0
+; SSE4-NEXT: blendvpd %xmm3, %xmm7
+; SSE4-NEXT: movapd %xmm4, %xmm0
+; SSE4-NEXT: movapd %xmm5, %xmm1
+; SSE4-NEXT: movapd %xmm6, %xmm2
+; SSE4-NEXT: movapd %xmm7, %xmm3
; SSE4-NEXT: retq
;
; AVX1-LABEL: test128:
; AVX2-NEXT: vpxor %ymm4, %ymm1, %ymm5
; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm6
; AVX2-NEXT: vpcmpgtq %ymm5, %ymm6, %ymm5
-; AVX2-NEXT: vpxor %ymm4, %ymm0, %ymm6
+; AVX2-NEXT: vpcmpeqd %ymm6, %ymm6, %ymm6
+; AVX2-NEXT: vpxor %ymm6, %ymm5, %ymm5
+; AVX2-NEXT: vpxor %ymm4, %ymm0, %ymm7
; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm4
-; AVX2-NEXT: vpcmpgtq %ymm6, %ymm4, %ymm4
-; AVX2-NEXT: vblendvpd %ymm4, %ymm2, %ymm0, %ymm0
-; AVX2-NEXT: vblendvpd %ymm5, %ymm3, %ymm1, %ymm1
+; AVX2-NEXT: vpcmpgtq %ymm7, %ymm4, %ymm4
+; AVX2-NEXT: vpxor %ymm6, %ymm4, %ymm4
+; AVX2-NEXT: vblendvpd %ymm4, %ymm0, %ymm2, %ymm0
+; AVX2-NEXT: vblendvpd %ymm5, %ymm1, %ymm3, %ymm1
; AVX2-NEXT: retq
;
; AVX512F-LABEL: test128:
; SSE4-NEXT: movdqa %xmm0, %xmm8
; SSE4-NEXT: movdqa %xmm3, %xmm9
; SSE4-NEXT: pcmpgtq %xmm7, %xmm9
+; SSE4-NEXT: pcmpeqd %xmm12, %xmm12
+; SSE4-NEXT: pxor %xmm12, %xmm9
; SSE4-NEXT: movdqa %xmm2, %xmm10
; SSE4-NEXT: pcmpgtq %xmm6, %xmm10
+; SSE4-NEXT: pxor %xmm12, %xmm10
; SSE4-NEXT: movdqa %xmm1, %xmm11
; SSE4-NEXT: pcmpgtq %xmm5, %xmm11
+; SSE4-NEXT: pxor %xmm12, %xmm11
; SSE4-NEXT: pcmpgtq %xmm4, %xmm0
-; SSE4-NEXT: blendvpd %xmm8, %xmm4
+; SSE4-NEXT: pxor %xmm12, %xmm0
+; SSE4-NEXT: blendvpd %xmm4, %xmm8
; SSE4-NEXT: movdqa %xmm11, %xmm0
-; SSE4-NEXT: blendvpd %xmm1, %xmm5
+; SSE4-NEXT: blendvpd %xmm5, %xmm1
; SSE4-NEXT: movdqa %xmm10, %xmm0
-; SSE4-NEXT: blendvpd %xmm2, %xmm6
+; SSE4-NEXT: blendvpd %xmm6, %xmm2
; SSE4-NEXT: movdqa %xmm9, %xmm0
-; SSE4-NEXT: blendvpd %xmm3, %xmm7
-; SSE4-NEXT: movapd %xmm4, %xmm0
-; SSE4-NEXT: movapd %xmm5, %xmm1
-; SSE4-NEXT: movapd %xmm6, %xmm2
-; SSE4-NEXT: movapd %xmm7, %xmm3
+; SSE4-NEXT: blendvpd %xmm7, %xmm3
+; SSE4-NEXT: movapd %xmm8, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test154:
; AVX2-LABEL: test154:
; AVX2: # BB#0: # %entry
; AVX2-NEXT: vpcmpgtq %ymm3, %ymm1, %ymm4
-; AVX2-NEXT: vpcmpgtq %ymm2, %ymm0, %ymm5
-; AVX2-NEXT: vblendvpd %ymm5, %ymm0, %ymm2, %ymm0
-; AVX2-NEXT: vblendvpd %ymm4, %ymm1, %ymm3, %ymm1
+; AVX2-NEXT: vpcmpeqd %ymm5, %ymm5, %ymm5
+; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
+; AVX2-NEXT: vpcmpgtq %ymm2, %ymm0, %ymm6
+; AVX2-NEXT: vpxor %ymm5, %ymm6, %ymm5
+; AVX2-NEXT: vblendvpd %ymm5, %ymm2, %ymm0, %ymm0
+; AVX2-NEXT: vblendvpd %ymm4, %ymm3, %ymm1, %ymm1
; AVX2-NEXT: retq
;
; AVX512F-LABEL: test154:
; SSE4-NEXT: movdqa %xmm0, %xmm8
; SSE4-NEXT: movdqa %xmm7, %xmm9
; SSE4-NEXT: pcmpgtq %xmm3, %xmm9
+; SSE4-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE4-NEXT: pxor %xmm0, %xmm9
; SSE4-NEXT: movdqa %xmm6, %xmm10
; SSE4-NEXT: pcmpgtq %xmm2, %xmm10
+; SSE4-NEXT: pxor %xmm0, %xmm10
; SSE4-NEXT: movdqa %xmm5, %xmm11
; SSE4-NEXT: pcmpgtq %xmm1, %xmm11
-; SSE4-NEXT: movdqa %xmm4, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm8, %xmm0
-; SSE4-NEXT: blendvpd %xmm8, %xmm4
+; SSE4-NEXT: pxor %xmm0, %xmm11
+; SSE4-NEXT: movdqa %xmm4, %xmm12
+; SSE4-NEXT: pcmpgtq %xmm8, %xmm12
+; SSE4-NEXT: pxor %xmm12, %xmm0
+; SSE4-NEXT: blendvpd %xmm4, %xmm8
; SSE4-NEXT: movdqa %xmm11, %xmm0
-; SSE4-NEXT: blendvpd %xmm1, %xmm5
+; SSE4-NEXT: blendvpd %xmm5, %xmm1
; SSE4-NEXT: movdqa %xmm10, %xmm0
-; SSE4-NEXT: blendvpd %xmm2, %xmm6
+; SSE4-NEXT: blendvpd %xmm6, %xmm2
; SSE4-NEXT: movdqa %xmm9, %xmm0
-; SSE4-NEXT: blendvpd %xmm3, %xmm7
-; SSE4-NEXT: movapd %xmm4, %xmm0
-; SSE4-NEXT: movapd %xmm5, %xmm1
-; SSE4-NEXT: movapd %xmm6, %xmm2
-; SSE4-NEXT: movapd %xmm7, %xmm3
+; SSE4-NEXT: blendvpd %xmm7, %xmm3
+; SSE4-NEXT: movapd %xmm8, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test156:
; AVX2-LABEL: test156:
; AVX2: # BB#0: # %entry
; AVX2-NEXT: vpcmpgtq %ymm1, %ymm3, %ymm4
-; AVX2-NEXT: vpcmpgtq %ymm0, %ymm2, %ymm5
-; AVX2-NEXT: vblendvpd %ymm5, %ymm0, %ymm2, %ymm0
-; AVX2-NEXT: vblendvpd %ymm4, %ymm1, %ymm3, %ymm1
+; AVX2-NEXT: vpcmpeqd %ymm5, %ymm5, %ymm5
+; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
+; AVX2-NEXT: vpcmpgtq %ymm0, %ymm2, %ymm6
+; AVX2-NEXT: vpxor %ymm5, %ymm6, %ymm5
+; AVX2-NEXT: vblendvpd %ymm5, %ymm2, %ymm0, %ymm0
+; AVX2-NEXT: vblendvpd %ymm4, %ymm3, %ymm1, %ymm1
; AVX2-NEXT: retq
;
; AVX512F-LABEL: test156:
; SSE4-NEXT: movdqa %xmm3, %xmm9
; SSE4-NEXT: pxor %xmm0, %xmm9
; SSE4-NEXT: pcmpgtq %xmm10, %xmm9
+; SSE4-NEXT: pcmpeqd %xmm12, %xmm12
+; SSE4-NEXT: pxor %xmm12, %xmm9
; SSE4-NEXT: movdqa %xmm6, %xmm11
; SSE4-NEXT: pxor %xmm0, %xmm11
; SSE4-NEXT: movdqa %xmm2, %xmm10
; SSE4-NEXT: pxor %xmm0, %xmm10
; SSE4-NEXT: pcmpgtq %xmm11, %xmm10
-; SSE4-NEXT: movdqa %xmm5, %xmm12
-; SSE4-NEXT: pxor %xmm0, %xmm12
+; SSE4-NEXT: pxor %xmm12, %xmm10
+; SSE4-NEXT: movdqa %xmm5, %xmm13
+; SSE4-NEXT: pxor %xmm0, %xmm13
; SSE4-NEXT: movdqa %xmm1, %xmm11
; SSE4-NEXT: pxor %xmm0, %xmm11
-; SSE4-NEXT: pcmpgtq %xmm12, %xmm11
-; SSE4-NEXT: movdqa %xmm4, %xmm12
-; SSE4-NEXT: pxor %xmm0, %xmm12
+; SSE4-NEXT: pcmpgtq %xmm13, %xmm11
+; SSE4-NEXT: pxor %xmm12, %xmm11
+; SSE4-NEXT: movdqa %xmm4, %xmm13
+; SSE4-NEXT: pxor %xmm0, %xmm13
; SSE4-NEXT: pxor %xmm8, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm12, %xmm0
-; SSE4-NEXT: blendvpd %xmm8, %xmm4
+; SSE4-NEXT: pcmpgtq %xmm13, %xmm0
+; SSE4-NEXT: pxor %xmm12, %xmm0
+; SSE4-NEXT: blendvpd %xmm4, %xmm8
; SSE4-NEXT: movdqa %xmm11, %xmm0
-; SSE4-NEXT: blendvpd %xmm1, %xmm5
+; SSE4-NEXT: blendvpd %xmm5, %xmm1
; SSE4-NEXT: movdqa %xmm10, %xmm0
-; SSE4-NEXT: blendvpd %xmm2, %xmm6
+; SSE4-NEXT: blendvpd %xmm6, %xmm2
; SSE4-NEXT: movdqa %xmm9, %xmm0
-; SSE4-NEXT: blendvpd %xmm3, %xmm7
-; SSE4-NEXT: movapd %xmm4, %xmm0
-; SSE4-NEXT: movapd %xmm5, %xmm1
-; SSE4-NEXT: movapd %xmm6, %xmm2
-; SSE4-NEXT: movapd %xmm7, %xmm3
+; SSE4-NEXT: blendvpd %xmm7, %xmm3
+; SSE4-NEXT: movapd %xmm8, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test158:
; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm5
; AVX2-NEXT: vpxor %ymm4, %ymm1, %ymm6
; AVX2-NEXT: vpcmpgtq %ymm5, %ymm6, %ymm5
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm6
+; AVX2-NEXT: vpcmpeqd %ymm6, %ymm6, %ymm6
+; AVX2-NEXT: vpxor %ymm6, %ymm5, %ymm5
+; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm7
; AVX2-NEXT: vpxor %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpcmpgtq %ymm6, %ymm4, %ymm4
-; AVX2-NEXT: vblendvpd %ymm4, %ymm0, %ymm2, %ymm0
-; AVX2-NEXT: vblendvpd %ymm5, %ymm1, %ymm3, %ymm1
+; AVX2-NEXT: vpcmpgtq %ymm7, %ymm4, %ymm4
+; AVX2-NEXT: vpxor %ymm6, %ymm4, %ymm4
+; AVX2-NEXT: vblendvpd %ymm4, %ymm2, %ymm0, %ymm0
+; AVX2-NEXT: vblendvpd %ymm5, %ymm3, %ymm1, %ymm1
; AVX2-NEXT: retq
;
; AVX512F-LABEL: test158:
; SSE4-NEXT: movdqa %xmm7, %xmm9
; SSE4-NEXT: pxor %xmm0, %xmm9
; SSE4-NEXT: pcmpgtq %xmm10, %xmm9
+; SSE4-NEXT: pcmpeqd %xmm12, %xmm12
+; SSE4-NEXT: pxor %xmm12, %xmm9
; SSE4-NEXT: movdqa %xmm2, %xmm11
; SSE4-NEXT: pxor %xmm0, %xmm11
; SSE4-NEXT: movdqa %xmm6, %xmm10
; SSE4-NEXT: pxor %xmm0, %xmm10
; SSE4-NEXT: pcmpgtq %xmm11, %xmm10
-; SSE4-NEXT: movdqa %xmm1, %xmm12
-; SSE4-NEXT: pxor %xmm0, %xmm12
+; SSE4-NEXT: pxor %xmm12, %xmm10
+; SSE4-NEXT: movdqa %xmm1, %xmm13
+; SSE4-NEXT: pxor %xmm0, %xmm13
; SSE4-NEXT: movdqa %xmm5, %xmm11
; SSE4-NEXT: pxor %xmm0, %xmm11
-; SSE4-NEXT: pcmpgtq %xmm12, %xmm11
-; SSE4-NEXT: movdqa %xmm8, %xmm12
-; SSE4-NEXT: pxor %xmm0, %xmm12
+; SSE4-NEXT: pcmpgtq %xmm13, %xmm11
+; SSE4-NEXT: pxor %xmm12, %xmm11
+; SSE4-NEXT: movdqa %xmm8, %xmm13
+; SSE4-NEXT: pxor %xmm0, %xmm13
; SSE4-NEXT: pxor %xmm4, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm12, %xmm0
-; SSE4-NEXT: blendvpd %xmm8, %xmm4
+; SSE4-NEXT: pcmpgtq %xmm13, %xmm0
+; SSE4-NEXT: pxor %xmm12, %xmm0
+; SSE4-NEXT: blendvpd %xmm4, %xmm8
; SSE4-NEXT: movdqa %xmm11, %xmm0
-; SSE4-NEXT: blendvpd %xmm1, %xmm5
+; SSE4-NEXT: blendvpd %xmm5, %xmm1
; SSE4-NEXT: movdqa %xmm10, %xmm0
-; SSE4-NEXT: blendvpd %xmm2, %xmm6
+; SSE4-NEXT: blendvpd %xmm6, %xmm2
; SSE4-NEXT: movdqa %xmm9, %xmm0
-; SSE4-NEXT: blendvpd %xmm3, %xmm7
-; SSE4-NEXT: movapd %xmm4, %xmm0
-; SSE4-NEXT: movapd %xmm5, %xmm1
-; SSE4-NEXT: movapd %xmm6, %xmm2
-; SSE4-NEXT: movapd %xmm7, %xmm3
+; SSE4-NEXT: blendvpd %xmm7, %xmm3
+; SSE4-NEXT: movapd %xmm8, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test160:
; AVX2-NEXT: vpxor %ymm4, %ymm1, %ymm5
; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm6
; AVX2-NEXT: vpcmpgtq %ymm5, %ymm6, %ymm5
-; AVX2-NEXT: vpxor %ymm4, %ymm0, %ymm6
+; AVX2-NEXT: vpcmpeqd %ymm6, %ymm6, %ymm6
+; AVX2-NEXT: vpxor %ymm6, %ymm5, %ymm5
+; AVX2-NEXT: vpxor %ymm4, %ymm0, %ymm7
; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm4
-; AVX2-NEXT: vpcmpgtq %ymm6, %ymm4, %ymm4
-; AVX2-NEXT: vblendvpd %ymm4, %ymm0, %ymm2, %ymm0
-; AVX2-NEXT: vblendvpd %ymm5, %ymm1, %ymm3, %ymm1
+; AVX2-NEXT: vpcmpgtq %ymm7, %ymm4, %ymm4
+; AVX2-NEXT: vpxor %ymm6, %ymm4, %ymm4
+; AVX2-NEXT: vblendvpd %ymm4, %ymm2, %ymm0, %ymm0
+; AVX2-NEXT: vblendvpd %ymm5, %ymm3, %ymm1, %ymm1
; AVX2-NEXT: retq
;
; AVX512F-LABEL: test160:
; SSE4-NEXT: movdqa %xmm0, %xmm4
; SSE4-NEXT: movdqa %xmm1, %xmm5
; SSE4-NEXT: pcmpgtq %xmm3, %xmm5
+; SSE4-NEXT: pcmpeqd %xmm6, %xmm6
+; SSE4-NEXT: pxor %xmm6, %xmm5
; SSE4-NEXT: pcmpgtq %xmm2, %xmm0
-; SSE4-NEXT: blendvpd %xmm2, %xmm4
+; SSE4-NEXT: pxor %xmm6, %xmm0
+; SSE4-NEXT: blendvpd %xmm4, %xmm2
; SSE4-NEXT: movdqa %xmm5, %xmm0
-; SSE4-NEXT: blendvpd %xmm3, %xmm1
-; SSE4-NEXT: movapd %xmm4, %xmm0
+; SSE4-NEXT: blendvpd %xmm1, %xmm3
+; SSE4-NEXT: movapd %xmm2, %xmm0
+; SSE4-NEXT: movapd %xmm3, %xmm1
; SSE4-NEXT: retq
;
; AVX1-LABEL: test162:
; AVX2-LABEL: test162:
; AVX2: # BB#0: # %entry
; AVX2-NEXT: vpcmpgtq %ymm1, %ymm0, %ymm2
-; AVX2-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX2-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test162:
; SSE4-NEXT: movdqa %xmm0, %xmm4
; SSE4-NEXT: movdqa %xmm3, %xmm5
; SSE4-NEXT: pcmpgtq %xmm1, %xmm5
-; SSE4-NEXT: movdqa %xmm2, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm4, %xmm0
-; SSE4-NEXT: blendvpd %xmm2, %xmm4
+; SSE4-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE4-NEXT: pxor %xmm0, %xmm5
+; SSE4-NEXT: movdqa %xmm2, %xmm6
+; SSE4-NEXT: pcmpgtq %xmm4, %xmm6
+; SSE4-NEXT: pxor %xmm6, %xmm0
+; SSE4-NEXT: blendvpd %xmm4, %xmm2
; SSE4-NEXT: movdqa %xmm5, %xmm0
-; SSE4-NEXT: blendvpd %xmm3, %xmm1
-; SSE4-NEXT: movapd %xmm4, %xmm0
+; SSE4-NEXT: blendvpd %xmm1, %xmm3
+; SSE4-NEXT: movapd %xmm2, %xmm0
+; SSE4-NEXT: movapd %xmm3, %xmm1
; SSE4-NEXT: retq
;
; AVX1-LABEL: test164:
; AVX2-LABEL: test164:
; AVX2: # BB#0: # %entry
; AVX2-NEXT: vpcmpgtq %ymm0, %ymm1, %ymm2
-; AVX2-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX2-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test164:
; SSE4-NEXT: movdqa %xmm1, %xmm5
; SSE4-NEXT: pxor %xmm0, %xmm5
; SSE4-NEXT: pcmpgtq %xmm6, %xmm5
-; SSE4-NEXT: movdqa %xmm2, %xmm6
-; SSE4-NEXT: pxor %xmm0, %xmm6
+; SSE4-NEXT: pcmpeqd %xmm6, %xmm6
+; SSE4-NEXT: pxor %xmm6, %xmm5
+; SSE4-NEXT: movdqa %xmm2, %xmm7
+; SSE4-NEXT: pxor %xmm0, %xmm7
; SSE4-NEXT: pxor %xmm4, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm6, %xmm0
-; SSE4-NEXT: blendvpd %xmm2, %xmm4
+; SSE4-NEXT: pcmpgtq %xmm7, %xmm0
+; SSE4-NEXT: pxor %xmm6, %xmm0
+; SSE4-NEXT: blendvpd %xmm4, %xmm2
; SSE4-NEXT: movdqa %xmm5, %xmm0
-; SSE4-NEXT: blendvpd %xmm3, %xmm1
-; SSE4-NEXT: movapd %xmm4, %xmm0
+; SSE4-NEXT: blendvpd %xmm1, %xmm3
+; SSE4-NEXT: movapd %xmm2, %xmm0
+; SSE4-NEXT: movapd %xmm3, %xmm1
; SSE4-NEXT: retq
;
; AVX1-LABEL: test166:
; AVX2-NEXT: vpxor %ymm2, %ymm1, %ymm3
; AVX2-NEXT: vpxor %ymm2, %ymm0, %ymm2
; AVX2-NEXT: vpcmpgtq %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX2-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test166:
; SSE4-NEXT: movdqa %xmm3, %xmm5
; SSE4-NEXT: pxor %xmm0, %xmm5
; SSE4-NEXT: pcmpgtq %xmm6, %xmm5
-; SSE4-NEXT: movdqa %xmm4, %xmm6
-; SSE4-NEXT: pxor %xmm0, %xmm6
+; SSE4-NEXT: pcmpeqd %xmm6, %xmm6
+; SSE4-NEXT: pxor %xmm6, %xmm5
+; SSE4-NEXT: movdqa %xmm4, %xmm7
+; SSE4-NEXT: pxor %xmm0, %xmm7
; SSE4-NEXT: pxor %xmm2, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm6, %xmm0
-; SSE4-NEXT: blendvpd %xmm2, %xmm4
+; SSE4-NEXT: pcmpgtq %xmm7, %xmm0
+; SSE4-NEXT: pxor %xmm6, %xmm0
+; SSE4-NEXT: blendvpd %xmm4, %xmm2
; SSE4-NEXT: movdqa %xmm5, %xmm0
-; SSE4-NEXT: blendvpd %xmm3, %xmm1
-; SSE4-NEXT: movapd %xmm4, %xmm0
+; SSE4-NEXT: blendvpd %xmm1, %xmm3
+; SSE4-NEXT: movapd %xmm2, %xmm0
+; SSE4-NEXT: movapd %xmm3, %xmm1
; SSE4-NEXT: retq
;
; AVX1-LABEL: test168:
; AVX2-NEXT: vpxor %ymm2, %ymm0, %ymm3
; AVX2-NEXT: vpxor %ymm2, %ymm1, %ymm2
; AVX2-NEXT: vpcmpgtq %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX2-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test168:
; SSE4-NEXT: movdqa %xmm0, %xmm4
; SSE4-NEXT: movdqa %xmm1, %xmm5
; SSE4-NEXT: pcmpgtq %xmm3, %xmm5
+; SSE4-NEXT: pcmpeqd %xmm6, %xmm6
+; SSE4-NEXT: pxor %xmm6, %xmm5
; SSE4-NEXT: pcmpgtq %xmm2, %xmm0
-; SSE4-NEXT: blendvpd %xmm4, %xmm2
+; SSE4-NEXT: pxor %xmm6, %xmm0
+; SSE4-NEXT: blendvpd %xmm2, %xmm4
; SSE4-NEXT: movdqa %xmm5, %xmm0
-; SSE4-NEXT: blendvpd %xmm1, %xmm3
-; SSE4-NEXT: movapd %xmm2, %xmm0
-; SSE4-NEXT: movapd %xmm3, %xmm1
+; SSE4-NEXT: blendvpd %xmm3, %xmm1
+; SSE4-NEXT: movapd %xmm4, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test170:
; AVX2-LABEL: test170:
; AVX2: # BB#0: # %entry
; AVX2-NEXT: vpcmpgtq %ymm1, %ymm0, %ymm2
-; AVX2-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX2-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test170:
; SSE4-NEXT: movdqa %xmm0, %xmm4
; SSE4-NEXT: movdqa %xmm3, %xmm5
; SSE4-NEXT: pcmpgtq %xmm1, %xmm5
-; SSE4-NEXT: movdqa %xmm2, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm4, %xmm0
-; SSE4-NEXT: blendvpd %xmm4, %xmm2
+; SSE4-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE4-NEXT: pxor %xmm0, %xmm5
+; SSE4-NEXT: movdqa %xmm2, %xmm6
+; SSE4-NEXT: pcmpgtq %xmm4, %xmm6
+; SSE4-NEXT: pxor %xmm6, %xmm0
+; SSE4-NEXT: blendvpd %xmm2, %xmm4
; SSE4-NEXT: movdqa %xmm5, %xmm0
-; SSE4-NEXT: blendvpd %xmm1, %xmm3
-; SSE4-NEXT: movapd %xmm2, %xmm0
-; SSE4-NEXT: movapd %xmm3, %xmm1
+; SSE4-NEXT: blendvpd %xmm3, %xmm1
+; SSE4-NEXT: movapd %xmm4, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test172:
; AVX2-LABEL: test172:
; AVX2: # BB#0: # %entry
; AVX2-NEXT: vpcmpgtq %ymm0, %ymm1, %ymm2
-; AVX2-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX2-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test172:
; SSE4-NEXT: movdqa %xmm1, %xmm5
; SSE4-NEXT: pxor %xmm0, %xmm5
; SSE4-NEXT: pcmpgtq %xmm6, %xmm5
-; SSE4-NEXT: movdqa %xmm2, %xmm6
-; SSE4-NEXT: pxor %xmm0, %xmm6
+; SSE4-NEXT: pcmpeqd %xmm6, %xmm6
+; SSE4-NEXT: pxor %xmm6, %xmm5
+; SSE4-NEXT: movdqa %xmm2, %xmm7
+; SSE4-NEXT: pxor %xmm0, %xmm7
; SSE4-NEXT: pxor %xmm4, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm6, %xmm0
-; SSE4-NEXT: blendvpd %xmm4, %xmm2
+; SSE4-NEXT: pcmpgtq %xmm7, %xmm0
+; SSE4-NEXT: pxor %xmm6, %xmm0
+; SSE4-NEXT: blendvpd %xmm2, %xmm4
; SSE4-NEXT: movdqa %xmm5, %xmm0
-; SSE4-NEXT: blendvpd %xmm1, %xmm3
-; SSE4-NEXT: movapd %xmm2, %xmm0
-; SSE4-NEXT: movapd %xmm3, %xmm1
+; SSE4-NEXT: blendvpd %xmm3, %xmm1
+; SSE4-NEXT: movapd %xmm4, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test174:
; AVX2-NEXT: vpxor %ymm2, %ymm1, %ymm3
; AVX2-NEXT: vpxor %ymm2, %ymm0, %ymm2
; AVX2-NEXT: vpcmpgtq %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX2-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test174:
; SSE4-NEXT: movdqa %xmm3, %xmm5
; SSE4-NEXT: pxor %xmm0, %xmm5
; SSE4-NEXT: pcmpgtq %xmm6, %xmm5
-; SSE4-NEXT: movdqa %xmm4, %xmm6
-; SSE4-NEXT: pxor %xmm0, %xmm6
+; SSE4-NEXT: pcmpeqd %xmm6, %xmm6
+; SSE4-NEXT: pxor %xmm6, %xmm5
+; SSE4-NEXT: movdqa %xmm4, %xmm7
+; SSE4-NEXT: pxor %xmm0, %xmm7
; SSE4-NEXT: pxor %xmm2, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm6, %xmm0
-; SSE4-NEXT: blendvpd %xmm4, %xmm2
+; SSE4-NEXT: pcmpgtq %xmm7, %xmm0
+; SSE4-NEXT: pxor %xmm6, %xmm0
+; SSE4-NEXT: blendvpd %xmm2, %xmm4
; SSE4-NEXT: movdqa %xmm5, %xmm0
-; SSE4-NEXT: blendvpd %xmm1, %xmm3
-; SSE4-NEXT: movapd %xmm2, %xmm0
-; SSE4-NEXT: movapd %xmm3, %xmm1
+; SSE4-NEXT: blendvpd %xmm3, %xmm1
+; SSE4-NEXT: movapd %xmm4, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test176:
; AVX2-NEXT: vpxor %ymm2, %ymm0, %ymm3
; AVX2-NEXT: vpxor %ymm2, %ymm1, %ymm2
; AVX2-NEXT: vpcmpgtq %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
+; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX2-NEXT: vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test176:
; SSE4: # BB#0: # %entry
; SSE4-NEXT: movdqa %xmm0, %xmm2
; SSE4-NEXT: pcmpgtq %xmm1, %xmm0
-; SSE4-NEXT: blendvpd %xmm1, %xmm2
-; SSE4-NEXT: movapd %xmm2, %xmm0
+; SSE4-NEXT: pcmpeqd %xmm3, %xmm3
+; SSE4-NEXT: pxor %xmm3, %xmm0
+; SSE4-NEXT: blendvpd %xmm2, %xmm1
+; SSE4-NEXT: movapd %xmm1, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test178:
; AVX1: # BB#0: # %entry
; AVX1-NEXT: vpcmpgtq %xmm1, %xmm0, %xmm2
-; AVX1-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX1-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: test178:
; AVX2: # BB#0: # %entry
; AVX2-NEXT: vpcmpgtq %xmm1, %xmm0, %xmm2
-; AVX2-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
+; AVX2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX2-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX2-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test178:
; SSE4-LABEL: test180:
; SSE4: # BB#0: # %entry
; SSE4-NEXT: movdqa %xmm0, %xmm2
-; SSE4-NEXT: movdqa %xmm1, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm2, %xmm0
-; SSE4-NEXT: blendvpd %xmm1, %xmm2
-; SSE4-NEXT: movapd %xmm2, %xmm0
+; SSE4-NEXT: movdqa %xmm1, %xmm3
+; SSE4-NEXT: pcmpgtq %xmm2, %xmm3
+; SSE4-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE4-NEXT: pxor %xmm3, %xmm0
+; SSE4-NEXT: blendvpd %xmm2, %xmm1
+; SSE4-NEXT: movapd %xmm1, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test180:
; AVX1: # BB#0: # %entry
; AVX1-NEXT: vpcmpgtq %xmm0, %xmm1, %xmm2
-; AVX1-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX1-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: test180:
; AVX2: # BB#0: # %entry
; AVX2-NEXT: vpcmpgtq %xmm0, %xmm1, %xmm2
-; AVX2-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
+; AVX2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX2-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX2-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test180:
; SSE4-LABEL: test182:
; SSE4: # BB#0: # %entry
; SSE4-NEXT: movdqa %xmm0, %xmm2
-; SSE4-NEXT: movdqa {{.*#+}} xmm0 = [9223372036854775808,9223372036854775808]
-; SSE4-NEXT: movdqa %xmm1, %xmm3
-; SSE4-NEXT: pxor %xmm0, %xmm3
-; SSE4-NEXT: pxor %xmm2, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm3, %xmm0
-; SSE4-NEXT: blendvpd %xmm1, %xmm2
-; SSE4-NEXT: movapd %xmm2, %xmm0
+; SSE4-NEXT: movdqa {{.*#+}} xmm3 = [9223372036854775808,9223372036854775808]
+; SSE4-NEXT: movdqa %xmm1, %xmm0
+; SSE4-NEXT: pxor %xmm3, %xmm0
+; SSE4-NEXT: pxor %xmm2, %xmm3
+; SSE4-NEXT: pcmpgtq %xmm0, %xmm3
+; SSE4-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE4-NEXT: pxor %xmm3, %xmm0
+; SSE4-NEXT: blendvpd %xmm2, %xmm1
+; SSE4-NEXT: movapd %xmm1, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test182:
; AVX1-NEXT: vpxor %xmm2, %xmm1, %xmm3
; AVX1-NEXT: vpxor %xmm2, %xmm0, %xmm2
; AVX1-NEXT: vpcmpgtq %xmm3, %xmm2, %xmm2
-; AVX1-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX1-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: test182:
; AVX2-NEXT: vpxor %xmm2, %xmm1, %xmm3
; AVX2-NEXT: vpxor %xmm2, %xmm0, %xmm2
; AVX2-NEXT: vpcmpgtq %xmm3, %xmm2, %xmm2
-; AVX2-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
+; AVX2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX2-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX2-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test182:
; SSE4-LABEL: test184:
; SSE4: # BB#0: # %entry
; SSE4-NEXT: movdqa %xmm0, %xmm2
-; SSE4-NEXT: movdqa {{.*#+}} xmm0 = [9223372036854775808,9223372036854775808]
-; SSE4-NEXT: movdqa %xmm2, %xmm3
-; SSE4-NEXT: pxor %xmm0, %xmm3
-; SSE4-NEXT: pxor %xmm1, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm3, %xmm0
-; SSE4-NEXT: blendvpd %xmm1, %xmm2
-; SSE4-NEXT: movapd %xmm2, %xmm0
+; SSE4-NEXT: movdqa {{.*#+}} xmm3 = [9223372036854775808,9223372036854775808]
+; SSE4-NEXT: pxor %xmm3, %xmm0
+; SSE4-NEXT: pxor %xmm1, %xmm3
+; SSE4-NEXT: pcmpgtq %xmm0, %xmm3
+; SSE4-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE4-NEXT: pxor %xmm3, %xmm0
+; SSE4-NEXT: blendvpd %xmm2, %xmm1
+; SSE4-NEXT: movapd %xmm1, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test184:
; AVX1-NEXT: vpxor %xmm2, %xmm0, %xmm3
; AVX1-NEXT: vpxor %xmm2, %xmm1, %xmm2
; AVX1-NEXT: vpcmpgtq %xmm3, %xmm2, %xmm2
-; AVX1-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX1-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: test184:
; AVX2-NEXT: vpxor %xmm2, %xmm0, %xmm3
; AVX2-NEXT: vpxor %xmm2, %xmm1, %xmm2
; AVX2-NEXT: vpcmpgtq %xmm3, %xmm2, %xmm2
-; AVX2-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
+; AVX2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX2-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX2-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test184:
; SSE4: # BB#0: # %entry
; SSE4-NEXT: movdqa %xmm0, %xmm2
; SSE4-NEXT: pcmpgtq %xmm1, %xmm0
-; SSE4-NEXT: blendvpd %xmm2, %xmm1
-; SSE4-NEXT: movapd %xmm1, %xmm0
+; SSE4-NEXT: pcmpeqd %xmm3, %xmm3
+; SSE4-NEXT: pxor %xmm3, %xmm0
+; SSE4-NEXT: blendvpd %xmm1, %xmm2
+; SSE4-NEXT: movapd %xmm2, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test186:
; AVX1: # BB#0: # %entry
; AVX1-NEXT: vpcmpgtq %xmm1, %xmm0, %xmm2
-; AVX1-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX1-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: test186:
; AVX2: # BB#0: # %entry
; AVX2-NEXT: vpcmpgtq %xmm1, %xmm0, %xmm2
-; AVX2-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
+; AVX2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX2-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX2-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test186:
; SSE4-LABEL: test188:
; SSE4: # BB#0: # %entry
; SSE4-NEXT: movdqa %xmm0, %xmm2
-; SSE4-NEXT: movdqa %xmm1, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm2, %xmm0
-; SSE4-NEXT: blendvpd %xmm2, %xmm1
-; SSE4-NEXT: movapd %xmm1, %xmm0
+; SSE4-NEXT: movdqa %xmm1, %xmm3
+; SSE4-NEXT: pcmpgtq %xmm2, %xmm3
+; SSE4-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE4-NEXT: pxor %xmm3, %xmm0
+; SSE4-NEXT: blendvpd %xmm1, %xmm2
+; SSE4-NEXT: movapd %xmm2, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test188:
; AVX1: # BB#0: # %entry
; AVX1-NEXT: vpcmpgtq %xmm0, %xmm1, %xmm2
-; AVX1-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX1-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: test188:
; AVX2: # BB#0: # %entry
; AVX2-NEXT: vpcmpgtq %xmm0, %xmm1, %xmm2
-; AVX2-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
+; AVX2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX2-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX2-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test188:
; SSE4-LABEL: test190:
; SSE4: # BB#0: # %entry
; SSE4-NEXT: movdqa %xmm0, %xmm2
-; SSE4-NEXT: movdqa {{.*#+}} xmm0 = [9223372036854775808,9223372036854775808]
-; SSE4-NEXT: movdqa %xmm1, %xmm3
-; SSE4-NEXT: pxor %xmm0, %xmm3
-; SSE4-NEXT: pxor %xmm2, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm3, %xmm0
-; SSE4-NEXT: blendvpd %xmm2, %xmm1
-; SSE4-NEXT: movapd %xmm1, %xmm0
+; SSE4-NEXT: movdqa {{.*#+}} xmm3 = [9223372036854775808,9223372036854775808]
+; SSE4-NEXT: movdqa %xmm1, %xmm0
+; SSE4-NEXT: pxor %xmm3, %xmm0
+; SSE4-NEXT: pxor %xmm2, %xmm3
+; SSE4-NEXT: pcmpgtq %xmm0, %xmm3
+; SSE4-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE4-NEXT: pxor %xmm3, %xmm0
+; SSE4-NEXT: blendvpd %xmm1, %xmm2
+; SSE4-NEXT: movapd %xmm2, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test190:
; AVX1-NEXT: vpxor %xmm2, %xmm1, %xmm3
; AVX1-NEXT: vpxor %xmm2, %xmm0, %xmm2
; AVX1-NEXT: vpcmpgtq %xmm3, %xmm2, %xmm2
-; AVX1-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX1-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: test190:
; AVX2-NEXT: vpxor %xmm2, %xmm1, %xmm3
; AVX2-NEXT: vpxor %xmm2, %xmm0, %xmm2
; AVX2-NEXT: vpcmpgtq %xmm3, %xmm2, %xmm2
-; AVX2-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
+; AVX2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX2-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX2-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test190:
; SSE4-LABEL: test192:
; SSE4: # BB#0: # %entry
; SSE4-NEXT: movdqa %xmm0, %xmm2
-; SSE4-NEXT: movdqa {{.*#+}} xmm0 = [9223372036854775808,9223372036854775808]
-; SSE4-NEXT: movdqa %xmm2, %xmm3
-; SSE4-NEXT: pxor %xmm0, %xmm3
-; SSE4-NEXT: pxor %xmm1, %xmm0
-; SSE4-NEXT: pcmpgtq %xmm3, %xmm0
-; SSE4-NEXT: blendvpd %xmm2, %xmm1
-; SSE4-NEXT: movapd %xmm1, %xmm0
+; SSE4-NEXT: movdqa {{.*#+}} xmm3 = [9223372036854775808,9223372036854775808]
+; SSE4-NEXT: pxor %xmm3, %xmm0
+; SSE4-NEXT: pxor %xmm1, %xmm3
+; SSE4-NEXT: pcmpgtq %xmm0, %xmm3
+; SSE4-NEXT: pcmpeqd %xmm0, %xmm0
+; SSE4-NEXT: pxor %xmm3, %xmm0
+; SSE4-NEXT: blendvpd %xmm1, %xmm2
+; SSE4-NEXT: movapd %xmm2, %xmm0
; SSE4-NEXT: retq
;
; AVX1-LABEL: test192:
; AVX1-NEXT: vpxor %xmm2, %xmm0, %xmm3
; AVX1-NEXT: vpxor %xmm2, %xmm1, %xmm2
; AVX1-NEXT: vpcmpgtq %xmm3, %xmm2, %xmm2
-; AVX1-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX1-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: test192:
; AVX2-NEXT: vpxor %xmm2, %xmm0, %xmm3
; AVX2-NEXT: vpxor %xmm2, %xmm1, %xmm2
; AVX2-NEXT: vpcmpgtq %xmm3, %xmm2, %xmm2
-; AVX2-NEXT: vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
+; AVX2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
+; AVX2-NEXT: vpxor %xmm3, %xmm2, %xmm2
+; AVX2-NEXT: vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
; AVX2-NEXT: retq
;
; AVX512BW-LABEL: test192: