test/CodeGen/X86/vector-reduce-smax-widen.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -x86-experimental-vector-widening-legalization -mtriple=x86_64-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE2
   3 ; RUN: llc < %s -x86-experimental-vector-widening-legalization -mtriple=x86_64-unknown-unknown -mattr=+sse4.1 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE41
   4 ; RUN: llc < %s -x86-experimental-vector-widening-legalization -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1
   5 ; RUN: llc < %s -x86-experimental-vector-widening-legalization -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2
   6 ; RUN: llc < %s -x86-experimental-vector-widening-legalization -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512bw | FileCheck %s --check-prefix=ALL --check-prefix=AVX512 --check-prefix=AVX512BW
   7 ; RUN: llc < %s -x86-experimental-vector-widening-legalization -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512bw,+avx512vl | FileCheck %s --check-prefix=ALL --check-prefix=AVX512 --check-prefix=AVX512VL
   8
   9 ;
  10 ; vXi64
  11 ;
  12
  13 define i64 @test_v2i64(<2 x i64> %a0) {
  14 ; SSE2-LABEL: test_v2i64:
  15 ; SSE2:       # %bb.0:
  16 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
  17 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [2147483648,2147483648]
  18 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
  19 ; SSE2-NEXT:    pxor %xmm2, %xmm3
  20 ; SSE2-NEXT:    pxor %xmm1, %xmm2
  21 ; SSE2-NEXT:    movdqa %xmm3, %xmm4
  22 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm4
  23 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[0,0,2,2]
  24 ; SSE2-NEXT:    pcmpeqd %xmm3, %xmm2
  25 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
  26 ; SSE2-NEXT:    pand %xmm5, %xmm2
  27 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[1,1,3,3]
  28 ; SSE2-NEXT:    por %xmm2, %xmm3
  29 ; SSE2-NEXT:    pand %xmm3, %xmm0
  30 ; SSE2-NEXT:    pandn %xmm1, %xmm3
  31 ; SSE2-NEXT:    por %xmm0, %xmm3
  32 ; SSE2-NEXT:    movq %xmm3, %rax
  33 ; SSE2-NEXT:    retq
  34 ;
  35 ; SSE41-LABEL: test_v2i64:
  36 ; SSE41:       # %bb.0:
  37 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
  38 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
  39 ; SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [2147483648,2147483648]
  40 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
  41 ; SSE41-NEXT:    pxor %xmm3, %xmm4
  42 ; SSE41-NEXT:    pxor %xmm2, %xmm3
  43 ; SSE41-NEXT:    movdqa %xmm4, %xmm0
  44 ; SSE41-NEXT:    pcmpgtd %xmm3, %xmm0
  45 ; SSE41-NEXT:    pshufd {{.*#+}} xmm5 = xmm0[0,0,2,2]
  46 ; SSE41-NEXT:    pcmpeqd %xmm4, %xmm3
  47 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
  48 ; SSE41-NEXT:    pand %xmm5, %xmm3
  49 ; SSE41-NEXT:    por %xmm3, %xmm0
  50 ; SSE41-NEXT:    blendvpd %xmm0, %xmm1, %xmm2
  51 ; SSE41-NEXT:    movq %xmm2, %rax
  52 ; SSE41-NEXT:    retq
  53 ;
  54 ; AVX-LABEL: test_v2i64:
  55 ; AVX:       # %bb.0:
  56 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
  57 ; AVX-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm2
  58 ; AVX-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
  59 ; AVX-NEXT:    vmovq %xmm0, %rax
  60 ; AVX-NEXT:    retq
  61 ;
  62 ; AVX512BW-LABEL: test_v2i64:
  63 ; AVX512BW:       # %bb.0:
  64 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
  65 ; AVX512BW-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
  66 ; AVX512BW-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm0
  67 ; AVX512BW-NEXT:    vmovq %xmm0, %rax
  68 ; AVX512BW-NEXT:    vzeroupper
  69 ; AVX512BW-NEXT:    retq
  70 ;
  71 ; AVX512VL-LABEL: test_v2i64:
  72 ; AVX512VL:       # %bb.0:
  73 ; AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
  74 ; AVX512VL-NEXT:    vpmaxsq %xmm1, %xmm0, %xmm0
  75 ; AVX512VL-NEXT:    vmovq %xmm0, %rax
  76 ; AVX512VL-NEXT:    retq
  77   %1 = call i64 @llvm.experimental.vector.reduce.smax.i64.v2i64(<2 x i64> %a0)
  78   ret i64 %1
  79 }
  80
  81 define i64 @test_v4i64(<4 x i64> %a0) {
  82 ; SSE2-LABEL: test_v4i64:
  83 ; SSE2:       # %bb.0:
  84 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [2147483648,2147483648]
  85 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
  86 ; SSE2-NEXT:    pxor %xmm2, %xmm3
  87 ; SSE2-NEXT:    movdqa %xmm0, %xmm4
  88 ; SSE2-NEXT:    pxor %xmm2, %xmm4
  89 ; SSE2-NEXT:    movdqa %xmm4, %xmm5
  90 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm5
  91 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm5[0,0,2,2]
  92 ; SSE2-NEXT:    pcmpeqd %xmm3, %xmm4
  93 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[1,1,3,3]
  94 ; SSE2-NEXT:    pand %xmm6, %xmm3
  95 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm5[1,1,3,3]
  96 ; SSE2-NEXT:    por %xmm3, %xmm4
  97 ; SSE2-NEXT:    pand %xmm4, %xmm0
  98 ; SSE2-NEXT:    pandn %xmm1, %xmm4
  99 ; SSE2-NEXT:    por %xmm0, %xmm4
 100 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm4[2,3,0,1]
 101 ; SSE2-NEXT:    movdqa %xmm4, %xmm1
 102 ; SSE2-NEXT:    pxor %xmm2, %xmm1
 103 ; SSE2-NEXT:    pxor %xmm0, %xmm2
 104 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
 105 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm3
 106 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm3[0,0,2,2]
 107 ; SSE2-NEXT:    pcmpeqd %xmm1, %xmm2
 108 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,1,3,3]
 109 ; SSE2-NEXT:    pand %xmm5, %xmm1
 110 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,1,3,3]
 111 ; SSE2-NEXT:    por %xmm1, %xmm2
 112 ; SSE2-NEXT:    pand %xmm2, %xmm4
 113 ; SSE2-NEXT:    pandn %xmm0, %xmm2
 114 ; SSE2-NEXT:    por %xmm4, %xmm2
 115 ; SSE2-NEXT:    movq %xmm2, %rax
 116 ; SSE2-NEXT:    retq
 117 ;
 118 ; SSE41-LABEL: test_v4i64:
 119 ; SSE41:       # %bb.0:
 120 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 121 ; SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [2147483648,2147483648]
 122 ; SSE41-NEXT:    movdqa %xmm1, %xmm4
 123 ; SSE41-NEXT:    pxor %xmm3, %xmm4
 124 ; SSE41-NEXT:    movdqa %xmm0, %xmm5
 125 ; SSE41-NEXT:    pxor %xmm3, %xmm5
 126 ; SSE41-NEXT:    movdqa %xmm5, %xmm0
 127 ; SSE41-NEXT:    pcmpgtd %xmm4, %xmm0
 128 ; SSE41-NEXT:    pshufd {{.*#+}} xmm6 = xmm0[0,0,2,2]
 129 ; SSE41-NEXT:    pcmpeqd %xmm4, %xmm5
 130 ; SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm5[1,1,3,3]
 131 ; SSE41-NEXT:    pand %xmm6, %xmm4
 132 ; SSE41-NEXT:    por %xmm4, %xmm0
 133 ; SSE41-NEXT:    blendvpd %xmm0, %xmm2, %xmm1
 134 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[2,3,0,1]
 135 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 136 ; SSE41-NEXT:    pxor %xmm3, %xmm0
 137 ; SSE41-NEXT:    pxor %xmm2, %xmm3
 138 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
 139 ; SSE41-NEXT:    pcmpgtd %xmm3, %xmm4
 140 ; SSE41-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[0,0,2,2]
 141 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm3
 142 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm3[1,1,3,3]
 143 ; SSE41-NEXT:    pand %xmm5, %xmm0
 144 ; SSE41-NEXT:    por %xmm4, %xmm0
 145 ; SSE41-NEXT:    blendvpd %xmm0, %xmm1, %xmm2
 146 ; SSE41-NEXT:    movq %xmm2, %rax
 147 ; SSE41-NEXT:    retq
 148 ;
 149 ; AVX1-LABEL: test_v4i64:
 150 ; AVX1:       # %bb.0:
 151 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 152 ; AVX1-NEXT:    vpcmpgtq %xmm0, %xmm1, %xmm2
 153 ; AVX1-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm3
 154 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm3, %ymm2
 155 ; AVX1-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 156 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[2,3,0,1]
 157 ; AVX1-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm2
 158 ; AVX1-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 159 ; AVX1-NEXT:    vmovq %xmm0, %rax
 160 ; AVX1-NEXT:    vzeroupper
 161 ; AVX1-NEXT:    retq
 162 ;
 163 ; AVX2-LABEL: test_v4i64:
 164 ; AVX2:       # %bb.0:
 165 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 166 ; AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm2
 167 ; AVX2-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 168 ; AVX2-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[2,3,0,1]
 169 ; AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm2
 170 ; AVX2-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 171 ; AVX2-NEXT:    vmovq %xmm0, %rax
 172 ; AVX2-NEXT:    vzeroupper
 173 ; AVX2-NEXT:    retq
 174 ;
 175 ; AVX512BW-LABEL: test_v4i64:
 176 ; AVX512BW:       # %bb.0:
 177 ; AVX512BW-NEXT:    # kill: def $ymm0 killed $ymm0 def $zmm0
 178 ; AVX512BW-NEXT:    vextracti128 $1, %ymm0, %xmm1
 179 ; AVX512BW-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm0
 180 ; AVX512BW-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 181 ; AVX512BW-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm0
 182 ; AVX512BW-NEXT:    vmovq %xmm0, %rax
 183 ; AVX512BW-NEXT:    vzeroupper
 184 ; AVX512BW-NEXT:    retq
 185 ;
 186 ; AVX512VL-LABEL: test_v4i64:
 187 ; AVX512VL:       # %bb.0:
 188 ; AVX512VL-NEXT:    vextracti128 $1, %ymm0, %xmm1
 189 ; AVX512VL-NEXT:    vpmaxsq %xmm1, %xmm0, %xmm0
 190 ; AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 191 ; AVX512VL-NEXT:    vpmaxsq %xmm1, %xmm0, %xmm0
 192 ; AVX512VL-NEXT:    vmovq %xmm0, %rax
 193 ; AVX512VL-NEXT:    vzeroupper
 194 ; AVX512VL-NEXT:    retq
 195   %1 = call i64 @llvm.experimental.vector.reduce.smax.i64.v4i64(<4 x i64> %a0)
 196   ret i64 %1
 197 }
 198
 199 define i64 @test_v8i64(<8 x i64> %a0) {
 200 ; SSE2-LABEL: test_v8i64:
 201 ; SSE2:       # %bb.0:
 202 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [2147483648,2147483648]
 203 ; SSE2-NEXT:    movdqa %xmm2, %xmm5
 204 ; SSE2-NEXT:    pxor %xmm4, %xmm5
 205 ; SSE2-NEXT:    movdqa %xmm0, %xmm6
 206 ; SSE2-NEXT:    pxor %xmm4, %xmm6
 207 ; SSE2-NEXT:    movdqa %xmm6, %xmm7
 208 ; SSE2-NEXT:    pcmpgtd %xmm5, %xmm7
 209 ; SSE2-NEXT:    pshufd {{.*#+}} xmm8 = xmm7[0,0,2,2]
 210 ; SSE2-NEXT:    pcmpeqd %xmm5, %xmm6
 211 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[1,1,3,3]
 212 ; SSE2-NEXT:    pand %xmm8, %xmm6
 213 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm7[1,1,3,3]
 214 ; SSE2-NEXT:    por %xmm6, %xmm5
 215 ; SSE2-NEXT:    pand %xmm5, %xmm0
 216 ; SSE2-NEXT:    pandn %xmm2, %xmm5
 217 ; SSE2-NEXT:    por %xmm0, %xmm5
 218 ; SSE2-NEXT:    movdqa %xmm3, %xmm0
 219 ; SSE2-NEXT:    pxor %xmm4, %xmm0
 220 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
 221 ; SSE2-NEXT:    pxor %xmm4, %xmm2
 222 ; SSE2-NEXT:    movdqa %xmm2, %xmm6
 223 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm6
 224 ; SSE2-NEXT:    pshufd {{.*#+}} xmm7 = xmm6[0,0,2,2]
 225 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm2
 226 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[1,1,3,3]
 227 ; SSE2-NEXT:    pand %xmm7, %xmm0
 228 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm6[1,1,3,3]
 229 ; SSE2-NEXT:    por %xmm0, %xmm2
 230 ; SSE2-NEXT:    pand %xmm2, %xmm1
 231 ; SSE2-NEXT:    pandn %xmm3, %xmm2
 232 ; SSE2-NEXT:    por %xmm1, %xmm2
 233 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
 234 ; SSE2-NEXT:    pxor %xmm4, %xmm0
 235 ; SSE2-NEXT:    movdqa %xmm5, %xmm1
 236 ; SSE2-NEXT:    pxor %xmm4, %xmm1
 237 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
 238 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm3
 239 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm3[0,0,2,2]
 240 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm1
 241 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
 242 ; SSE2-NEXT:    pand %xmm6, %xmm0
 243 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,1,3,3]
 244 ; SSE2-NEXT:    por %xmm0, %xmm1
 245 ; SSE2-NEXT:    pand %xmm1, %xmm5
 246 ; SSE2-NEXT:    pandn %xmm2, %xmm1
 247 ; SSE2-NEXT:    por %xmm5, %xmm1
 248 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
 249 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
 250 ; SSE2-NEXT:    pxor %xmm4, %xmm2
 251 ; SSE2-NEXT:    pxor %xmm0, %xmm4
 252 ; SSE2-NEXT:    movdqa %xmm2, %xmm3
 253 ; SSE2-NEXT:    pcmpgtd %xmm4, %xmm3
 254 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm3[0,0,2,2]
 255 ; SSE2-NEXT:    pcmpeqd %xmm2, %xmm4
 256 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,1,3,3]
 257 ; SSE2-NEXT:    pand %xmm5, %xmm2
 258 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
 259 ; SSE2-NEXT:    por %xmm2, %xmm3
 260 ; SSE2-NEXT:    pand %xmm3, %xmm1
 261 ; SSE2-NEXT:    pandn %xmm0, %xmm3
 262 ; SSE2-NEXT:    por %xmm1, %xmm3
 263 ; SSE2-NEXT:    movq %xmm3, %rax
 264 ; SSE2-NEXT:    retq
 265 ;
 266 ; SSE41-LABEL: test_v8i64:
 267 ; SSE41:       # %bb.0:
 268 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
 269 ; SSE41-NEXT:    movdqa {{.*#+}} xmm5 = [2147483648,2147483648]
 270 ; SSE41-NEXT:    movdqa %xmm2, %xmm6
 271 ; SSE41-NEXT:    pxor %xmm5, %xmm6
 272 ; SSE41-NEXT:    movdqa %xmm0, %xmm7
 273 ; SSE41-NEXT:    pxor %xmm5, %xmm7
 274 ; SSE41-NEXT:    movdqa %xmm7, %xmm0
 275 ; SSE41-NEXT:    pcmpgtd %xmm6, %xmm0
 276 ; SSE41-NEXT:    pshufd {{.*#+}} xmm8 = xmm0[0,0,2,2]
 277 ; SSE41-NEXT:    pcmpeqd %xmm6, %xmm7
 278 ; SSE41-NEXT:    pshufd {{.*#+}} xmm6 = xmm7[1,1,3,3]
 279 ; SSE41-NEXT:    pand %xmm8, %xmm6
 280 ; SSE41-NEXT:    por %xmm6, %xmm0
 281 ; SSE41-NEXT:    blendvpd %xmm0, %xmm4, %xmm2
 282 ; SSE41-NEXT:    movdqa %xmm3, %xmm0
 283 ; SSE41-NEXT:    pxor %xmm5, %xmm0
 284 ; SSE41-NEXT:    movdqa %xmm1, %xmm4
 285 ; SSE41-NEXT:    pxor %xmm5, %xmm4
 286 ; SSE41-NEXT:    movdqa %xmm4, %xmm6
 287 ; SSE41-NEXT:    pcmpgtd %xmm0, %xmm6
 288 ; SSE41-NEXT:    pshufd {{.*#+}} xmm7 = xmm6[0,0,2,2]
 289 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm4
 290 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm4[1,1,3,3]
 291 ; SSE41-NEXT:    pand %xmm7, %xmm0
 292 ; SSE41-NEXT:    por %xmm6, %xmm0
 293 ; SSE41-NEXT:    blendvpd %xmm0, %xmm1, %xmm3
 294 ; SSE41-NEXT:    movapd %xmm3, %xmm0
 295 ; SSE41-NEXT:    xorpd %xmm5, %xmm0
 296 ; SSE41-NEXT:    movapd %xmm2, %xmm1
 297 ; SSE41-NEXT:    xorpd %xmm5, %xmm1
 298 ; SSE41-NEXT:    movapd %xmm1, %xmm4
 299 ; SSE41-NEXT:    pcmpgtd %xmm0, %xmm4
 300 ; SSE41-NEXT:    pshufd {{.*#+}} xmm6 = xmm4[0,0,2,2]
 301 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm1
 302 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
 303 ; SSE41-NEXT:    pand %xmm6, %xmm0
 304 ; SSE41-NEXT:    por %xmm4, %xmm0
 305 ; SSE41-NEXT:    blendvpd %xmm0, %xmm2, %xmm3
 306 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[2,3,0,1]
 307 ; SSE41-NEXT:    movdqa %xmm3, %xmm0
 308 ; SSE41-NEXT:    pxor %xmm5, %xmm0
 309 ; SSE41-NEXT:    pxor %xmm1, %xmm5
 310 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 311 ; SSE41-NEXT:    pcmpgtd %xmm5, %xmm2
 312 ; SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm2[0,0,2,2]
 313 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm5
 314 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm5[1,1,3,3]
 315 ; SSE41-NEXT:    pand %xmm4, %xmm0
 316 ; SSE41-NEXT:    por %xmm2, %xmm0
 317 ; SSE41-NEXT:    blendvpd %xmm0, %xmm3, %xmm1
 318 ; SSE41-NEXT:    movq %xmm1, %rax
 319 ; SSE41-NEXT:    retq
 320 ;
 321 ; AVX1-LABEL: test_v8i64:
 322 ; AVX1:       # %bb.0:
 323 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 324 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 325 ; AVX1-NEXT:    vpcmpgtq %xmm2, %xmm3, %xmm2
 326 ; AVX1-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm3
 327 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm3, %ymm2
 328 ; AVX1-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 329 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 330 ; AVX1-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm2
 331 ; AVX1-NEXT:    vpcmpgtq %xmm0, %xmm1, %xmm3
 332 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm2, %ymm2
 333 ; AVX1-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 334 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[2,3,0,1]
 335 ; AVX1-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm2
 336 ; AVX1-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 337 ; AVX1-NEXT:    vmovq %xmm0, %rax
 338 ; AVX1-NEXT:    vzeroupper
 339 ; AVX1-NEXT:    retq
 340 ;
 341 ; AVX2-LABEL: test_v8i64:
 342 ; AVX2:       # %bb.0:
 343 ; AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm2
 344 ; AVX2-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 345 ; AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm1
 346 ; AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm2
 347 ; AVX2-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 348 ; AVX2-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[2,3,0,1]
 349 ; AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm2
 350 ; AVX2-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 351 ; AVX2-NEXT:    vmovq %xmm0, %rax
 352 ; AVX2-NEXT:    vzeroupper
 353 ; AVX2-NEXT:    retq
 354 ;
 355 ; AVX512BW-LABEL: test_v8i64:
 356 ; AVX512BW:       # %bb.0:
 357 ; AVX512BW-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
 358 ; AVX512BW-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm0
 359 ; AVX512BW-NEXT:    vextracti128 $1, %ymm0, %xmm1
 360 ; AVX512BW-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm0
 361 ; AVX512BW-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 362 ; AVX512BW-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm0
 363 ; AVX512BW-NEXT:    vmovq %xmm0, %rax
 364 ; AVX512BW-NEXT:    vzeroupper
 365 ; AVX512BW-NEXT:    retq
 366 ;
 367 ; AVX512VL-LABEL: test_v8i64:
 368 ; AVX512VL:       # %bb.0:
 369 ; AVX512VL-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
 370 ; AVX512VL-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm0
 371 ; AVX512VL-NEXT:    vextracti128 $1, %ymm0, %xmm1
 372 ; AVX512VL-NEXT:    vpmaxsq %xmm1, %xmm0, %xmm0
 373 ; AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 374 ; AVX512VL-NEXT:    vpmaxsq %xmm1, %xmm0, %xmm0
 375 ; AVX512VL-NEXT:    vmovq %xmm0, %rax
 376 ; AVX512VL-NEXT:    vzeroupper
 377 ; AVX512VL-NEXT:    retq
 378   %1 = call i64 @llvm.experimental.vector.reduce.smax.i64.v8i64(<8 x i64> %a0)
 379   ret i64 %1
 380 }
 381
 382 define i64 @test_v16i64(<16 x i64> %a0) {
 383 ; SSE2-LABEL: test_v16i64:
 384 ; SSE2:       # %bb.0:
 385 ; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [2147483648,2147483648]
 386 ; SSE2-NEXT:    movdqa %xmm5, %xmm9
 387 ; SSE2-NEXT:    pxor %xmm8, %xmm9
 388 ; SSE2-NEXT:    movdqa %xmm1, %xmm10
 389 ; SSE2-NEXT:    pxor %xmm8, %xmm10
 390 ; SSE2-NEXT:    movdqa %xmm10, %xmm11
 391 ; SSE2-NEXT:    pcmpgtd %xmm9, %xmm11
 392 ; SSE2-NEXT:    pshufd {{.*#+}} xmm12 = xmm11[0,0,2,2]
 393 ; SSE2-NEXT:    pcmpeqd %xmm9, %xmm10
 394 ; SSE2-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
 395 ; SSE2-NEXT:    pand %xmm12, %xmm10
 396 ; SSE2-NEXT:    pshufd {{.*#+}} xmm9 = xmm11[1,1,3,3]
 397 ; SSE2-NEXT:    por %xmm10, %xmm9
 398 ; SSE2-NEXT:    pand %xmm9, %xmm1
 399 ; SSE2-NEXT:    pandn %xmm5, %xmm9
 400 ; SSE2-NEXT:    por %xmm1, %xmm9
 401 ; SSE2-NEXT:    movdqa %xmm7, %xmm1
 402 ; SSE2-NEXT:    pxor %xmm8, %xmm1
 403 ; SSE2-NEXT:    movdqa %xmm3, %xmm5
 404 ; SSE2-NEXT:    pxor %xmm8, %xmm5
 405 ; SSE2-NEXT:    movdqa %xmm5, %xmm10
 406 ; SSE2-NEXT:    pcmpgtd %xmm1, %xmm10
 407 ; SSE2-NEXT:    pshufd {{.*#+}} xmm11 = xmm10[0,0,2,2]
 408 ; SSE2-NEXT:    pcmpeqd %xmm1, %xmm5
 409 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[1,1,3,3]
 410 ; SSE2-NEXT:    pand %xmm11, %xmm5
 411 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm10[1,1,3,3]
 412 ; SSE2-NEXT:    por %xmm5, %xmm1
 413 ; SSE2-NEXT:    pand %xmm1, %xmm3
 414 ; SSE2-NEXT:    pandn %xmm7, %xmm1
 415 ; SSE2-NEXT:    por %xmm3, %xmm1
 416 ; SSE2-NEXT:    movdqa %xmm4, %xmm3
 417 ; SSE2-NEXT:    pxor %xmm8, %xmm3
 418 ; SSE2-NEXT:    movdqa %xmm0, %xmm5
 419 ; SSE2-NEXT:    pxor %xmm8, %xmm5
 420 ; SSE2-NEXT:    movdqa %xmm5, %xmm7
 421 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm7
 422 ; SSE2-NEXT:    pshufd {{.*#+}} xmm10 = xmm7[0,0,2,2]
 423 ; SSE2-NEXT:    pcmpeqd %xmm3, %xmm5
 424 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[1,1,3,3]
 425 ; SSE2-NEXT:    pand %xmm10, %xmm5
 426 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm7[1,1,3,3]
 427 ; SSE2-NEXT:    por %xmm5, %xmm3
 428 ; SSE2-NEXT:    pand %xmm3, %xmm0
 429 ; SSE2-NEXT:    pandn %xmm4, %xmm3
 430 ; SSE2-NEXT:    por %xmm0, %xmm3
 431 ; SSE2-NEXT:    movdqa %xmm6, %xmm0
 432 ; SSE2-NEXT:    pxor %xmm8, %xmm0
 433 ; SSE2-NEXT:    movdqa %xmm2, %xmm4
 434 ; SSE2-NEXT:    pxor %xmm8, %xmm4
 435 ; SSE2-NEXT:    movdqa %xmm4, %xmm5
 436 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm5
 437 ; SSE2-NEXT:    pshufd {{.*#+}} xmm7 = xmm5[0,0,2,2]
 438 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm4
 439 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm4[1,1,3,3]
 440 ; SSE2-NEXT:    pand %xmm7, %xmm0
 441 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm5[1,1,3,3]
 442 ; SSE2-NEXT:    por %xmm0, %xmm4
 443 ; SSE2-NEXT:    pand %xmm4, %xmm2
 444 ; SSE2-NEXT:    pandn %xmm6, %xmm4
 445 ; SSE2-NEXT:    por %xmm2, %xmm4
 446 ; SSE2-NEXT:    movdqa %xmm4, %xmm0
 447 ; SSE2-NEXT:    pxor %xmm8, %xmm0
 448 ; SSE2-NEXT:    movdqa %xmm3, %xmm2
 449 ; SSE2-NEXT:    pxor %xmm8, %xmm2
 450 ; SSE2-NEXT:    movdqa %xmm2, %xmm5
 451 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm5
 452 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm5[0,0,2,2]
 453 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm2
 454 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 455 ; SSE2-NEXT:    pand %xmm6, %xmm2
 456 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm5[1,1,3,3]
 457 ; SSE2-NEXT:    por %xmm2, %xmm0
 458 ; SSE2-NEXT:    pand %xmm0, %xmm3
 459 ; SSE2-NEXT:    pandn %xmm4, %xmm0
 460 ; SSE2-NEXT:    por %xmm3, %xmm0
 461 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
 462 ; SSE2-NEXT:    pxor %xmm8, %xmm2
 463 ; SSE2-NEXT:    movdqa %xmm9, %xmm3
 464 ; SSE2-NEXT:    pxor %xmm8, %xmm3
 465 ; SSE2-NEXT:    movdqa %xmm3, %xmm4
 466 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm4
 467 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[0,0,2,2]
 468 ; SSE2-NEXT:    pcmpeqd %xmm2, %xmm3
 469 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,1,3,3]
 470 ; SSE2-NEXT:    pand %xmm5, %xmm2
 471 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[1,1,3,3]
 472 ; SSE2-NEXT:    por %xmm2, %xmm3
 473 ; SSE2-NEXT:    pand %xmm3, %xmm9
 474 ; SSE2-NEXT:    pandn %xmm1, %xmm3
 475 ; SSE2-NEXT:    por %xmm9, %xmm3
 476 ; SSE2-NEXT:    movdqa %xmm3, %xmm1
 477 ; SSE2-NEXT:    pxor %xmm8, %xmm1
 478 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 479 ; SSE2-NEXT:    pxor %xmm8, %xmm2
 480 ; SSE2-NEXT:    movdqa %xmm2, %xmm4
 481 ; SSE2-NEXT:    pcmpgtd %xmm1, %xmm4
 482 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[0,0,2,2]
 483 ; SSE2-NEXT:    pcmpeqd %xmm1, %xmm2
 484 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,1,3,3]
 485 ; SSE2-NEXT:    pand %xmm5, %xmm1
 486 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,1,3,3]
 487 ; SSE2-NEXT:    por %xmm1, %xmm2
 488 ; SSE2-NEXT:    pand %xmm2, %xmm0
 489 ; SSE2-NEXT:    pandn %xmm3, %xmm2
 490 ; SSE2-NEXT:    por %xmm0, %xmm2
 491 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[2,3,0,1]
 492 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
 493 ; SSE2-NEXT:    pxor %xmm8, %xmm1
 494 ; SSE2-NEXT:    pxor %xmm0, %xmm8
 495 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
 496 ; SSE2-NEXT:    pcmpgtd %xmm8, %xmm3
 497 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[0,0,2,2]
 498 ; SSE2-NEXT:    pcmpeqd %xmm1, %xmm8
 499 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm8[1,1,3,3]
 500 ; SSE2-NEXT:    pand %xmm4, %xmm1
 501 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
 502 ; SSE2-NEXT:    por %xmm1, %xmm3
 503 ; SSE2-NEXT:    pand %xmm3, %xmm2
 504 ; SSE2-NEXT:    pandn %xmm0, %xmm3
 505 ; SSE2-NEXT:    por %xmm2, %xmm3
 506 ; SSE2-NEXT:    movq %xmm3, %rax
 507 ; SSE2-NEXT:    retq
 508 ;
 509 ; SSE41-LABEL: test_v16i64:
 510 ; SSE41:       # %bb.0:
 511 ; SSE41-NEXT:    movdqa %xmm0, %xmm8
 512 ; SSE41-NEXT:    movdqa {{.*#+}} xmm9 = [2147483648,2147483648]
 513 ; SSE41-NEXT:    movdqa %xmm5, %xmm10
 514 ; SSE41-NEXT:    pxor %xmm9, %xmm10
 515 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 516 ; SSE41-NEXT:    pxor %xmm9, %xmm0
 517 ; SSE41-NEXT:    movdqa %xmm0, %xmm11
 518 ; SSE41-NEXT:    pcmpgtd %xmm10, %xmm11
 519 ; SSE41-NEXT:    pshufd {{.*#+}} xmm12 = xmm11[0,0,2,2]
 520 ; SSE41-NEXT:    pcmpeqd %xmm10, %xmm0
 521 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[1,1,3,3]
 522 ; SSE41-NEXT:    pand %xmm12, %xmm0
 523 ; SSE41-NEXT:    por %xmm11, %xmm0
 524 ; SSE41-NEXT:    blendvpd %xmm0, %xmm1, %xmm5
 525 ; SSE41-NEXT:    movdqa %xmm7, %xmm0
 526 ; SSE41-NEXT:    pxor %xmm9, %xmm0
 527 ; SSE41-NEXT:    movdqa %xmm3, %xmm1
 528 ; SSE41-NEXT:    pxor %xmm9, %xmm1
 529 ; SSE41-NEXT:    movdqa %xmm1, %xmm10
 530 ; SSE41-NEXT:    pcmpgtd %xmm0, %xmm10
 531 ; SSE41-NEXT:    pshufd {{.*#+}} xmm11 = xmm10[0,0,2,2]
 532 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm1
 533 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
 534 ; SSE41-NEXT:    pand %xmm11, %xmm0
 535 ; SSE41-NEXT:    por %xmm10, %xmm0
 536 ; SSE41-NEXT:    blendvpd %xmm0, %xmm3, %xmm7
 537 ; SSE41-NEXT:    movdqa %xmm4, %xmm1
 538 ; SSE41-NEXT:    pxor %xmm9, %xmm1
 539 ; SSE41-NEXT:    movdqa %xmm8, %xmm3
 540 ; SSE41-NEXT:    pxor %xmm9, %xmm3
 541 ; SSE41-NEXT:    movdqa %xmm3, %xmm0
 542 ; SSE41-NEXT:    pcmpgtd %xmm1, %xmm0
 543 ; SSE41-NEXT:    pshufd {{.*#+}} xmm10 = xmm0[0,0,2,2]
 544 ; SSE41-NEXT:    pcmpeqd %xmm1, %xmm3
 545 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,1,3,3]
 546 ; SSE41-NEXT:    pand %xmm10, %xmm1
 547 ; SSE41-NEXT:    por %xmm1, %xmm0
 548 ; SSE41-NEXT:    blendvpd %xmm0, %xmm8, %xmm4
 549 ; SSE41-NEXT:    movdqa %xmm6, %xmm0
 550 ; SSE41-NEXT:    pxor %xmm9, %xmm0
 551 ; SSE41-NEXT:    movdqa %xmm2, %xmm1
 552 ; SSE41-NEXT:    pxor %xmm9, %xmm1
 553 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
 554 ; SSE41-NEXT:    pcmpgtd %xmm0, %xmm3
 555 ; SSE41-NEXT:    pshufd {{.*#+}} xmm8 = xmm3[0,0,2,2]
 556 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm1
 557 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
 558 ; SSE41-NEXT:    pand %xmm8, %xmm0
 559 ; SSE41-NEXT:    por %xmm3, %xmm0
 560 ; SSE41-NEXT:    blendvpd %xmm0, %xmm2, %xmm6
 561 ; SSE41-NEXT:    movapd %xmm6, %xmm0
 562 ; SSE41-NEXT:    xorpd %xmm9, %xmm0
 563 ; SSE41-NEXT:    movapd %xmm4, %xmm1
 564 ; SSE41-NEXT:    xorpd %xmm9, %xmm1
 565 ; SSE41-NEXT:    movapd %xmm1, %xmm2
 566 ; SSE41-NEXT:    pcmpgtd %xmm0, %xmm2
 567 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[0,0,2,2]
 568 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm1
 569 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
 570 ; SSE41-NEXT:    pand %xmm3, %xmm0
 571 ; SSE41-NEXT:    por %xmm2, %xmm0
 572 ; SSE41-NEXT:    blendvpd %xmm0, %xmm4, %xmm6
 573 ; SSE41-NEXT:    movapd %xmm7, %xmm0
 574 ; SSE41-NEXT:    xorpd %xmm9, %xmm0
 575 ; SSE41-NEXT:    movapd %xmm5, %xmm1
 576 ; SSE41-NEXT:    xorpd %xmm9, %xmm1
 577 ; SSE41-NEXT:    movapd %xmm1, %xmm2
 578 ; SSE41-NEXT:    pcmpgtd %xmm0, %xmm2
 579 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[0,0,2,2]
 580 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm1
 581 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
 582 ; SSE41-NEXT:    pand %xmm3, %xmm0
 583 ; SSE41-NEXT:    por %xmm2, %xmm0
 584 ; SSE41-NEXT:    blendvpd %xmm0, %xmm5, %xmm7
 585 ; SSE41-NEXT:    movapd %xmm7, %xmm0
 586 ; SSE41-NEXT:    xorpd %xmm9, %xmm0
 587 ; SSE41-NEXT:    movapd %xmm6, %xmm1
 588 ; SSE41-NEXT:    xorpd %xmm9, %xmm1
 589 ; SSE41-NEXT:    movapd %xmm1, %xmm2
 590 ; SSE41-NEXT:    pcmpgtd %xmm0, %xmm2
 591 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[0,0,2,2]
 592 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm1
 593 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
 594 ; SSE41-NEXT:    pand %xmm3, %xmm0
 595 ; SSE41-NEXT:    por %xmm2, %xmm0
 596 ; SSE41-NEXT:    blendvpd %xmm0, %xmm6, %xmm7
 597 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm7[2,3,0,1]
 598 ; SSE41-NEXT:    movdqa %xmm7, %xmm0
 599 ; SSE41-NEXT:    pxor %xmm9, %xmm0
 600 ; SSE41-NEXT:    pxor %xmm1, %xmm9
 601 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 602 ; SSE41-NEXT:    pcmpgtd %xmm9, %xmm2
 603 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[0,0,2,2]
 604 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm9
 605 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm9[1,1,3,3]
 606 ; SSE41-NEXT:    pand %xmm3, %xmm0
 607 ; SSE41-NEXT:    por %xmm2, %xmm0
 608 ; SSE41-NEXT:    blendvpd %xmm0, %xmm7, %xmm1
 609 ; SSE41-NEXT:    movq %xmm1, %rax
 610 ; SSE41-NEXT:    retq
 611 ;
 612 ; AVX1-LABEL: test_v16i64:
 613 ; AVX1:       # %bb.0:
 614 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm4
 615 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm5
 616 ; AVX1-NEXT:    vpcmpgtq %xmm4, %xmm5, %xmm4
 617 ; AVX1-NEXT:    vpcmpgtq %xmm2, %xmm0, %xmm5
 618 ; AVX1-NEXT:    vinsertf128 $1, %xmm4, %ymm5, %ymm4
 619 ; AVX1-NEXT:    vblendvpd %ymm4, %ymm0, %ymm2, %ymm0
 620 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm2
 621 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm4
 622 ; AVX1-NEXT:    vpcmpgtq %xmm2, %xmm4, %xmm2
 623 ; AVX1-NEXT:    vpcmpgtq %xmm3, %xmm1, %xmm4
 624 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm4, %ymm2
 625 ; AVX1-NEXT:    vblendvpd %ymm2, %ymm1, %ymm3, %ymm1
 626 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 627 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 628 ; AVX1-NEXT:    vpcmpgtq %xmm2, %xmm3, %xmm2
 629 ; AVX1-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm3
 630 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm3, %ymm2
 631 ; AVX1-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 632 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 633 ; AVX1-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm2
 634 ; AVX1-NEXT:    vpcmpgtq %xmm0, %xmm1, %xmm3
 635 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm2, %ymm2
 636 ; AVX1-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 637 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[2,3,0,1]
 638 ; AVX1-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm2
 639 ; AVX1-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 640 ; AVX1-NEXT:    vmovq %xmm0, %rax
 641 ; AVX1-NEXT:    vzeroupper
 642 ; AVX1-NEXT:    retq
 643 ;
 644 ; AVX2-LABEL: test_v16i64:
 645 ; AVX2:       # %bb.0:
 646 ; AVX2-NEXT:    vpcmpgtq %ymm3, %ymm1, %ymm4
 647 ; AVX2-NEXT:    vblendvpd %ymm4, %ymm1, %ymm3, %ymm1
 648 ; AVX2-NEXT:    vpcmpgtq %ymm2, %ymm0, %ymm3
 649 ; AVX2-NEXT:    vblendvpd %ymm3, %ymm0, %ymm2, %ymm0
 650 ; AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm2
 651 ; AVX2-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 652 ; AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm1
 653 ; AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm2
 654 ; AVX2-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 655 ; AVX2-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[2,3,0,1]
 656 ; AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm2
 657 ; AVX2-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 658 ; AVX2-NEXT:    vmovq %xmm0, %rax
 659 ; AVX2-NEXT:    vzeroupper
 660 ; AVX2-NEXT:    retq
 661 ;
 662 ; AVX512BW-LABEL: test_v16i64:
 663 ; AVX512BW:       # %bb.0:
 664 ; AVX512BW-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm0
 665 ; AVX512BW-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
 666 ; AVX512BW-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm0
 667 ; AVX512BW-NEXT:    vextracti128 $1, %ymm0, %xmm1
 668 ; AVX512BW-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm0
 669 ; AVX512BW-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 670 ; AVX512BW-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm0
 671 ; AVX512BW-NEXT:    vmovq %xmm0, %rax
 672 ; AVX512BW-NEXT:    vzeroupper
 673 ; AVX512BW-NEXT:    retq
 674 ;
 675 ; AVX512VL-LABEL: test_v16i64:
 676 ; AVX512VL:       # %bb.0:
 677 ; AVX512VL-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm0
 678 ; AVX512VL-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
 679 ; AVX512VL-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm0
 680 ; AVX512VL-NEXT:    vextracti128 $1, %ymm0, %xmm1
 681 ; AVX512VL-NEXT:    vpmaxsq %xmm1, %xmm0, %xmm0
 682 ; AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 683 ; AVX512VL-NEXT:    vpmaxsq %xmm1, %xmm0, %xmm0
 684 ; AVX512VL-NEXT:    vmovq %xmm0, %rax
 685 ; AVX512VL-NEXT:    vzeroupper
 686 ; AVX512VL-NEXT:    retq
 687   %1 = call i64 @llvm.experimental.vector.reduce.smax.i64.v16i64(<16 x i64> %a0)
 688   ret i64 %1
 689 }
 690
 691 ;
 692 ; vXi32
 693 ;
 694
 695 define i32 @test_v2i32(<2 x i32> %a0) {
 696 ; SSE2-LABEL: test_v2i32:
 697 ; SSE2:       # %bb.0:
 698 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 699 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 700 ; SSE2-NEXT:    pcmpgtd %xmm1, %xmm2
 701 ; SSE2-NEXT:    pand %xmm2, %xmm0
 702 ; SSE2-NEXT:    pandn %xmm1, %xmm2
 703 ; SSE2-NEXT:    por %xmm0, %xmm2
 704 ; SSE2-NEXT:    movd %xmm2, %eax
 705 ; SSE2-NEXT:    retq
 706 ;
 707 ; SSE41-LABEL: test_v2i32:
 708 ; SSE41:       # %bb.0:
 709 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 710 ; SSE41-NEXT:    pmaxsd %xmm0, %xmm1
 711 ; SSE41-NEXT:    movd %xmm1, %eax
 712 ; SSE41-NEXT:    retq
 713 ;
 714 ; AVX-LABEL: test_v2i32:
 715 ; AVX:       # %bb.0:
 716 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 717 ; AVX-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 718 ; AVX-NEXT:    vmovd %xmm0, %eax
 719 ; AVX-NEXT:    retq
 720 ;
 721 ; AVX512-LABEL: test_v2i32:
 722 ; AVX512:       # %bb.0:
 723 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 724 ; AVX512-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 725 ; AVX512-NEXT:    vmovd %xmm0, %eax
 726 ; AVX512-NEXT:    retq
 727   %1 = call i32 @llvm.experimental.vector.reduce.smax.i32.v2i32(<2 x i32> %a0)
 728   ret i32 %1
 729 }
 730
 731 define i32 @test_v4i32(<4 x i32> %a0) {
 732 ; SSE2-LABEL: test_v4i32:
 733 ; SSE2:       # %bb.0:
 734 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 735 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 736 ; SSE2-NEXT:    pcmpgtd %xmm1, %xmm2
 737 ; SSE2-NEXT:    pand %xmm2, %xmm0
 738 ; SSE2-NEXT:    pandn %xmm1, %xmm2
 739 ; SSE2-NEXT:    por %xmm0, %xmm2
 740 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[1,1,2,3]
 741 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
 742 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm1
 743 ; SSE2-NEXT:    pand %xmm1, %xmm2
 744 ; SSE2-NEXT:    pandn %xmm0, %xmm1
 745 ; SSE2-NEXT:    por %xmm2, %xmm1
 746 ; SSE2-NEXT:    movd %xmm1, %eax
 747 ; SSE2-NEXT:    retq
 748 ;
 749 ; SSE41-LABEL: test_v4i32:
 750 ; SSE41:       # %bb.0:
 751 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 752 ; SSE41-NEXT:    pmaxsd %xmm0, %xmm1
 753 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
 754 ; SSE41-NEXT:    pmaxsd %xmm1, %xmm0
 755 ; SSE41-NEXT:    movd %xmm0, %eax
 756 ; SSE41-NEXT:    retq
 757 ;
 758 ; AVX-LABEL: test_v4i32:
 759 ; AVX:       # %bb.0:
 760 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 761 ; AVX-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 762 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 763 ; AVX-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 764 ; AVX-NEXT:    vmovd %xmm0, %eax
 765 ; AVX-NEXT:    retq
 766 ;
 767 ; AVX512-LABEL: test_v4i32:
 768 ; AVX512:       # %bb.0:
 769 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 770 ; AVX512-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 771 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 772 ; AVX512-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 773 ; AVX512-NEXT:    vmovd %xmm0, %eax
 774 ; AVX512-NEXT:    retq
 775   %1 = call i32 @llvm.experimental.vector.reduce.smax.i32.v4i32(<4 x i32> %a0)
 776   ret i32 %1
 777 }
 778
 779 define i32 @test_v8i32(<8 x i32> %a0) {
 780 ; SSE2-LABEL: test_v8i32:
 781 ; SSE2:       # %bb.0:
 782 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 783 ; SSE2-NEXT:    pcmpgtd %xmm1, %xmm2
 784 ; SSE2-NEXT:    pand %xmm2, %xmm0
 785 ; SSE2-NEXT:    pandn %xmm1, %xmm2
 786 ; SSE2-NEXT:    por %xmm0, %xmm2
 787 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[2,3,0,1]
 788 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
 789 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm1
 790 ; SSE2-NEXT:    pand %xmm1, %xmm2
 791 ; SSE2-NEXT:    pandn %xmm0, %xmm1
 792 ; SSE2-NEXT:    por %xmm2, %xmm1
 793 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
 794 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
 795 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm2
 796 ; SSE2-NEXT:    pand %xmm2, %xmm1
 797 ; SSE2-NEXT:    pandn %xmm0, %xmm2
 798 ; SSE2-NEXT:    por %xmm1, %xmm2
 799 ; SSE2-NEXT:    movd %xmm2, %eax
 800 ; SSE2-NEXT:    retq
 801 ;
 802 ; SSE41-LABEL: test_v8i32:
 803 ; SSE41:       # %bb.0:
 804 ; SSE41-NEXT:    pmaxsd %xmm1, %xmm0
 805 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 806 ; SSE41-NEXT:    pmaxsd %xmm0, %xmm1
 807 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
 808 ; SSE41-NEXT:    pmaxsd %xmm1, %xmm0
 809 ; SSE41-NEXT:    movd %xmm0, %eax
 810 ; SSE41-NEXT:    retq
 811 ;
 812 ; AVX1-LABEL: test_v8i32:
 813 ; AVX1:       # %bb.0:
 814 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 815 ; AVX1-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 816 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 817 ; AVX1-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 818 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 819 ; AVX1-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 820 ; AVX1-NEXT:    vmovd %xmm0, %eax
 821 ; AVX1-NEXT:    vzeroupper
 822 ; AVX1-NEXT:    retq
 823 ;
 824 ; AVX2-LABEL: test_v8i32:
 825 ; AVX2:       # %bb.0:
 826 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 827 ; AVX2-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 828 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 829 ; AVX2-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 830 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 831 ; AVX2-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 832 ; AVX2-NEXT:    vmovd %xmm0, %eax
 833 ; AVX2-NEXT:    vzeroupper
 834 ; AVX2-NEXT:    retq
 835 ;
 836 ; AVX512-LABEL: test_v8i32:
 837 ; AVX512:       # %bb.0:
 838 ; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm1
 839 ; AVX512-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 840 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 841 ; AVX512-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 842 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 843 ; AVX512-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 844 ; AVX512-NEXT:    vmovd %xmm0, %eax
 845 ; AVX512-NEXT:    vzeroupper
 846 ; AVX512-NEXT:    retq
 847   %1 = call i32 @llvm.experimental.vector.reduce.smax.i32.v8i32(<8 x i32> %a0)
 848   ret i32 %1
 849 }
 850
 851 define i32 @test_v16i32(<16 x i32> %a0) {
 852 ; SSE2-LABEL: test_v16i32:
 853 ; SSE2:       # %bb.0:
 854 ; SSE2-NEXT:    movdqa %xmm1, %xmm4
 855 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm4
 856 ; SSE2-NEXT:    pand %xmm4, %xmm1
 857 ; SSE2-NEXT:    pandn %xmm3, %xmm4
 858 ; SSE2-NEXT:    por %xmm1, %xmm4
 859 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 860 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm1
 861 ; SSE2-NEXT:    pand %xmm1, %xmm0
 862 ; SSE2-NEXT:    pandn %xmm2, %xmm1
 863 ; SSE2-NEXT:    por %xmm0, %xmm1
 864 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
 865 ; SSE2-NEXT:    pcmpgtd %xmm4, %xmm0
 866 ; SSE2-NEXT:    pand %xmm0, %xmm1
 867 ; SSE2-NEXT:    pandn %xmm4, %xmm0
 868 ; SSE2-NEXT:    por %xmm1, %xmm0
 869 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 870 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 871 ; SSE2-NEXT:    pcmpgtd %xmm1, %xmm2
 872 ; SSE2-NEXT:    pand %xmm2, %xmm0
 873 ; SSE2-NEXT:    pandn %xmm1, %xmm2
 874 ; SSE2-NEXT:    por %xmm0, %xmm2
 875 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[1,1,2,3]
 876 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
 877 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm1
 878 ; SSE2-NEXT:    pand %xmm1, %xmm2
 879 ; SSE2-NEXT:    pandn %xmm0, %xmm1
 880 ; SSE2-NEXT:    por %xmm2, %xmm1
 881 ; SSE2-NEXT:    movd %xmm1, %eax
 882 ; SSE2-NEXT:    retq
 883 ;
 884 ; SSE41-LABEL: test_v16i32:
 885 ; SSE41:       # %bb.0:
 886 ; SSE41-NEXT:    pmaxsd %xmm3, %xmm1
 887 ; SSE41-NEXT:    pmaxsd %xmm2, %xmm0
 888 ; SSE41-NEXT:    pmaxsd %xmm1, %xmm0
 889 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 890 ; SSE41-NEXT:    pmaxsd %xmm0, %xmm1
 891 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
 892 ; SSE41-NEXT:    pmaxsd %xmm1, %xmm0
 893 ; SSE41-NEXT:    movd %xmm0, %eax
 894 ; SSE41-NEXT:    retq
 895 ;
 896 ; AVX1-LABEL: test_v16i32:
 897 ; AVX1:       # %bb.0:
 898 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 899 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 900 ; AVX1-NEXT:    vpmaxsd %xmm2, %xmm3, %xmm2
 901 ; AVX1-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 902 ; AVX1-NEXT:    vpmaxsd %xmm2, %xmm0, %xmm0
 903 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 904 ; AVX1-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 905 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 906 ; AVX1-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 907 ; AVX1-NEXT:    vmovd %xmm0, %eax
 908 ; AVX1-NEXT:    vzeroupper
 909 ; AVX1-NEXT:    retq
 910 ;
 911 ; AVX2-LABEL: test_v16i32:
 912 ; AVX2:       # %bb.0:
 913 ; AVX2-NEXT:    vpmaxsd %ymm1, %ymm0, %ymm0
 914 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 915 ; AVX2-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 916 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 917 ; AVX2-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 918 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 919 ; AVX2-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 920 ; AVX2-NEXT:    vmovd %xmm0, %eax
 921 ; AVX2-NEXT:    vzeroupper
 922 ; AVX2-NEXT:    retq
 923 ;
 924 ; AVX512-LABEL: test_v16i32:
 925 ; AVX512:       # %bb.0:
 926 ; AVX512-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
 927 ; AVX512-NEXT:    vpmaxsd %zmm1, %zmm0, %zmm0
 928 ; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm1
 929 ; AVX512-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 930 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 931 ; AVX512-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 932 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 933 ; AVX512-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
 934 ; AVX512-NEXT:    vmovd %xmm0, %eax
 935 ; AVX512-NEXT:    vzeroupper
 936 ; AVX512-NEXT:    retq
 937   %1 = call i32 @llvm.experimental.vector.reduce.smax.i32.v16i32(<16 x i32> %a0)
 938   ret i32 %1
 939 }
 940
 941 define i32 @test_v32i32(<32 x i32> %a0) {
 942 ; SSE2-LABEL: test_v32i32:
 943 ; SSE2:       # %bb.0:
 944 ; SSE2-NEXT:    movdqa %xmm2, %xmm8
 945 ; SSE2-NEXT:    pcmpgtd %xmm6, %xmm8
 946 ; SSE2-NEXT:    pand %xmm8, %xmm2
 947 ; SSE2-NEXT:    pandn %xmm6, %xmm8
 948 ; SSE2-NEXT:    por %xmm2, %xmm8
 949 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 950 ; SSE2-NEXT:    pcmpgtd %xmm4, %xmm2
 951 ; SSE2-NEXT:    pand %xmm2, %xmm0
 952 ; SSE2-NEXT:    pandn %xmm4, %xmm2
 953 ; SSE2-NEXT:    por %xmm0, %xmm2
 954 ; SSE2-NEXT:    movdqa %xmm3, %xmm0
 955 ; SSE2-NEXT:    pcmpgtd %xmm7, %xmm0
 956 ; SSE2-NEXT:    pand %xmm0, %xmm3
 957 ; SSE2-NEXT:    pandn %xmm7, %xmm0
 958 ; SSE2-NEXT:    por %xmm3, %xmm0
 959 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
 960 ; SSE2-NEXT:    pcmpgtd %xmm5, %xmm3
 961 ; SSE2-NEXT:    pand %xmm3, %xmm1
 962 ; SSE2-NEXT:    pandn %xmm5, %xmm3
 963 ; SSE2-NEXT:    por %xmm1, %xmm3
 964 ; SSE2-NEXT:    movdqa %xmm3, %xmm1
 965 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm1
 966 ; SSE2-NEXT:    pand %xmm1, %xmm3
 967 ; SSE2-NEXT:    pandn %xmm0, %xmm1
 968 ; SSE2-NEXT:    por %xmm3, %xmm1
 969 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
 970 ; SSE2-NEXT:    pcmpgtd %xmm8, %xmm0
 971 ; SSE2-NEXT:    pand %xmm0, %xmm2
 972 ; SSE2-NEXT:    pandn %xmm8, %xmm0
 973 ; SSE2-NEXT:    por %xmm2, %xmm0
 974 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 975 ; SSE2-NEXT:    pcmpgtd %xmm1, %xmm2
 976 ; SSE2-NEXT:    pand %xmm2, %xmm0
 977 ; SSE2-NEXT:    pandn %xmm1, %xmm2
 978 ; SSE2-NEXT:    por %xmm0, %xmm2
 979 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[2,3,0,1]
 980 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
 981 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm1
 982 ; SSE2-NEXT:    pand %xmm1, %xmm2
 983 ; SSE2-NEXT:    pandn %xmm0, %xmm1
 984 ; SSE2-NEXT:    por %xmm2, %xmm1
 985 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
 986 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
 987 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm2
 988 ; SSE2-NEXT:    pand %xmm2, %xmm1
 989 ; SSE2-NEXT:    pandn %xmm0, %xmm2
 990 ; SSE2-NEXT:    por %xmm1, %xmm2
 991 ; SSE2-NEXT:    movd %xmm2, %eax
 992 ; SSE2-NEXT:    retq
 993 ;
 994 ; SSE41-LABEL: test_v32i32:
 995 ; SSE41:       # %bb.0:
 996 ; SSE41-NEXT:    pmaxsd %xmm6, %xmm2
 997 ; SSE41-NEXT:    pmaxsd %xmm4, %xmm0
 998 ; SSE41-NEXT:    pmaxsd %xmm2, %xmm0
 999 ; SSE41-NEXT:    pmaxsd %xmm7, %xmm3
1000 ; SSE41-NEXT:    pmaxsd %xmm5, %xmm1
1001 ; SSE41-NEXT:    pmaxsd %xmm3, %xmm1
1002 ; SSE41-NEXT:    pmaxsd %xmm0, %xmm1
1003 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
1004 ; SSE41-NEXT:    pmaxsd %xmm1, %xmm0
1005 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1006 ; SSE41-NEXT:    pmaxsd %xmm0, %xmm1
1007 ; SSE41-NEXT:    movd %xmm1, %eax
1008 ; SSE41-NEXT:    retq
1009 ;
1010 ; AVX1-LABEL: test_v32i32:
1011 ; AVX1:       # %bb.0:
1012 ; AVX1-NEXT:    vpmaxsd %xmm3, %xmm1, %xmm4
1013 ; AVX1-NEXT:    vpmaxsd %xmm2, %xmm0, %xmm5
1014 ; AVX1-NEXT:    vpmaxsd %xmm4, %xmm5, %xmm4
1015 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm3
1016 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm1
1017 ; AVX1-NEXT:    vpmaxsd %xmm3, %xmm1, %xmm1
1018 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm2
1019 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1020 ; AVX1-NEXT:    vpmaxsd %xmm2, %xmm0, %xmm0
1021 ; AVX1-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
1022 ; AVX1-NEXT:    vpmaxsd %xmm0, %xmm4, %xmm0
1023 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
1024 ; AVX1-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
1025 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1026 ; AVX1-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
1027 ; AVX1-NEXT:    vmovd %xmm0, %eax
1028 ; AVX1-NEXT:    vzeroupper
1029 ; AVX1-NEXT:    retq
1030 ;
1031 ; AVX2-LABEL: test_v32i32:
1032 ; AVX2:       # %bb.0:
1033 ; AVX2-NEXT:    vpmaxsd %ymm3, %ymm1, %ymm1
1034 ; AVX2-NEXT:    vpmaxsd %ymm2, %ymm0, %ymm0
1035 ; AVX2-NEXT:    vpmaxsd %ymm1, %ymm0, %ymm0
1036 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1037 ; AVX2-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
1038 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
1039 ; AVX2-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
1040 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1041 ; AVX2-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
1042 ; AVX2-NEXT:    vmovd %xmm0, %eax
1043 ; AVX2-NEXT:    vzeroupper
1044 ; AVX2-NEXT:    retq
1045 ;
1046 ; AVX512-LABEL: test_v32i32:
1047 ; AVX512:       # %bb.0:
1048 ; AVX512-NEXT:    vpmaxsd %zmm1, %zmm0, %zmm0
1049 ; AVX512-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
1050 ; AVX512-NEXT:    vpmaxsd %zmm1, %zmm0, %zmm0
1051 ; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm1
1052 ; AVX512-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
1053 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
1054 ; AVX512-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
1055 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1056 ; AVX512-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
1057 ; AVX512-NEXT:    vmovd %xmm0, %eax
1058 ; AVX512-NEXT:    vzeroupper
1059 ; AVX512-NEXT:    retq
1060   %1 = call i32 @llvm.experimental.vector.reduce.smax.i32.v32i32(<32 x i32> %a0)
1061   ret i32 %1
1062 }
1063
1064 ;
1065 ; vXi16
1066 ;
1067
1068 define i16 @test_v2i16(<2 x i16> %a0) {
1069 ; SSE-LABEL: test_v2i16:
1070 ; SSE:       # %bb.0:
1071 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1072 ; SSE-NEXT:    psrld $16, %xmm1
1073 ; SSE-NEXT:    pmaxsw %xmm0, %xmm1
1074 ; SSE-NEXT:    movd %xmm1, %eax
1075 ; SSE-NEXT:    # kill: def $ax killed $ax killed $eax
1076 ; SSE-NEXT:    retq
1077 ;
1078 ; AVX-LABEL: test_v2i16:
1079 ; AVX:       # %bb.0:
1080 ; AVX-NEXT:    vpsrld $16, %xmm0, %xmm1
1081 ; AVX-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
1082 ; AVX-NEXT:    vmovd %xmm0, %eax
1083 ; AVX-NEXT:    # kill: def $ax killed $ax killed $eax
1084 ; AVX-NEXT:    retq
1085 ;
1086 ; AVX512-LABEL: test_v2i16:
1087 ; AVX512:       # %bb.0:
1088 ; AVX512-NEXT:    vpsrld $16, %xmm0, %xmm1
1089 ; AVX512-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
1090 ; AVX512-NEXT:    vmovd %xmm0, %eax
1091 ; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
1092 ; AVX512-NEXT:    retq
1093   %1 = call i16 @llvm.experimental.vector.reduce.smax.i16.v2i16(<2 x i16> %a0)
1094   ret i16 %1
1095 }
1096
1097 define i16 @test_v4i16(<4 x i16> %a0) {
1098 ; SSE-LABEL: test_v4i16:
1099 ; SSE:       # %bb.0:
1100 ; SSE-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1101 ; SSE-NEXT:    pmaxsw %xmm0, %xmm1
1102 ; SSE-NEXT:    movdqa %xmm1, %xmm0
1103 ; SSE-NEXT:    psrld $16, %xmm0
1104 ; SSE-NEXT:    pmaxsw %xmm1, %xmm0
1105 ; SSE-NEXT:    movd %xmm0, %eax
1106 ; SSE-NEXT:    # kill: def $ax killed $ax killed $eax
1107 ; SSE-NEXT:    retq
1108 ;
1109 ; AVX-LABEL: test_v4i16:
1110 ; AVX:       # %bb.0:
1111 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1112 ; AVX-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
1113 ; AVX-NEXT:    vpsrld $16, %xmm0, %xmm1
1114 ; AVX-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
1115 ; AVX-NEXT:    vmovd %xmm0, %eax
1116 ; AVX-NEXT:    # kill: def $ax killed $ax killed $eax
1117 ; AVX-NEXT:    retq
1118 ;
1119 ; AVX512-LABEL: test_v4i16:
1120 ; AVX512:       # %bb.0:
1121 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1122 ; AVX512-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
1123 ; AVX512-NEXT:    vpsrld $16, %xmm0, %xmm1
1124 ; AVX512-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
1125 ; AVX512-NEXT:    vmovd %xmm0, %eax
1126 ; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
1127 ; AVX512-NEXT:    retq
1128   %1 = call i16 @llvm.experimental.vector.reduce.smax.i16.v4i16(<4 x i16> %a0)
1129   ret i16 %1
1130 }
1131
1132 define i16 @test_v8i16(<8 x i16> %a0) {
1133 ; SSE2-LABEL: test_v8i16:
1134 ; SSE2:       # %bb.0:
1135 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
1136 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1137 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
1138 ; SSE2-NEXT:    pmaxsw %xmm1, %xmm0
1139 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1140 ; SSE2-NEXT:    psrld $16, %xmm1
1141 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1142 ; SSE2-NEXT:    movd %xmm1, %eax
1143 ; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
1144 ; SSE2-NEXT:    retq
1145 ;
1146 ; SSE41-LABEL: test_v8i16:
1147 ; SSE41:       # %bb.0:
1148 ; SSE41-NEXT:    pxor {{.*}}(%rip), %xmm0
1149 ; SSE41-NEXT:    phminposuw %xmm0, %xmm0
1150 ; SSE41-NEXT:    movd %xmm0, %eax
1151 ; SSE41-NEXT:    xorl $32767, %eax # imm = 0x7FFF
1152 ; SSE41-NEXT:    # kill: def $ax killed $ax killed $eax
1153 ; SSE41-NEXT:    retq
1154 ;
1155 ; AVX-LABEL: test_v8i16:
1156 ; AVX:       # %bb.0:
1157 ; AVX-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1158 ; AVX-NEXT:    vphminposuw %xmm0, %xmm0
1159 ; AVX-NEXT:    vmovd %xmm0, %eax
1160 ; AVX-NEXT:    xorl $32767, %eax # imm = 0x7FFF
1161 ; AVX-NEXT:    # kill: def $ax killed $ax killed $eax
1162 ; AVX-NEXT:    retq
1163 ;
1164 ; AVX512-LABEL: test_v8i16:
1165 ; AVX512:       # %bb.0:
1166 ; AVX512-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1167 ; AVX512-NEXT:    vphminposuw %xmm0, %xmm0
1168 ; AVX512-NEXT:    vmovd %xmm0, %eax
1169 ; AVX512-NEXT:    xorl $32767, %eax # imm = 0x7FFF
1170 ; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
1171 ; AVX512-NEXT:    retq
1172   %1 = call i16 @llvm.experimental.vector.reduce.smax.i16.v8i16(<8 x i16> %a0)
1173   ret i16 %1
1174 }
1175
1176 define i16 @test_v16i16(<16 x i16> %a0) {
1177 ; SSE2-LABEL: test_v16i16:
1178 ; SSE2:       # %bb.0:
1179 ; SSE2-NEXT:    pmaxsw %xmm1, %xmm0
1180 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
1181 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1182 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
1183 ; SSE2-NEXT:    pmaxsw %xmm1, %xmm0
1184 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1185 ; SSE2-NEXT:    psrld $16, %xmm1
1186 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1187 ; SSE2-NEXT:    movd %xmm1, %eax
1188 ; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
1189 ; SSE2-NEXT:    retq
1190 ;
1191 ; SSE41-LABEL: test_v16i16:
1192 ; SSE41:       # %bb.0:
1193 ; SSE41-NEXT:    pmaxsw %xmm1, %xmm0
1194 ; SSE41-NEXT:    pxor {{.*}}(%rip), %xmm0
1195 ; SSE41-NEXT:    phminposuw %xmm0, %xmm0
1196 ; SSE41-NEXT:    movd %xmm0, %eax
1197 ; SSE41-NEXT:    xorl $32767, %eax # imm = 0x7FFF
1198 ; SSE41-NEXT:    # kill: def $ax killed $ax killed $eax
1199 ; SSE41-NEXT:    retq
1200 ;
1201 ; AVX1-LABEL: test_v16i16:
1202 ; AVX1:       # %bb.0:
1203 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1204 ; AVX1-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
1205 ; AVX1-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1206 ; AVX1-NEXT:    vphminposuw %xmm0, %xmm0
1207 ; AVX1-NEXT:    vmovd %xmm0, %eax
1208 ; AVX1-NEXT:    xorl $32767, %eax # imm = 0x7FFF
1209 ; AVX1-NEXT:    # kill: def $ax killed $ax killed $eax
1210 ; AVX1-NEXT:    vzeroupper
1211 ; AVX1-NEXT:    retq
1212 ;
1213 ; AVX2-LABEL: test_v16i16:
1214 ; AVX2:       # %bb.0:
1215 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1216 ; AVX2-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
1217 ; AVX2-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1218 ; AVX2-NEXT:    vphminposuw %xmm0, %xmm0
1219 ; AVX2-NEXT:    vmovd %xmm0, %eax
1220 ; AVX2-NEXT:    xorl $32767, %eax # imm = 0x7FFF
1221 ; AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
1222 ; AVX2-NEXT:    vzeroupper
1223 ; AVX2-NEXT:    retq
1224 ;
1225 ; AVX512-LABEL: test_v16i16:
1226 ; AVX512:       # %bb.0:
1227 ; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm1
1228 ; AVX512-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
1229 ; AVX512-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1230 ; AVX512-NEXT:    vphminposuw %xmm0, %xmm0
1231 ; AVX512-NEXT:    vmovd %xmm0, %eax
1232 ; AVX512-NEXT:    xorl $32767, %eax # imm = 0x7FFF
1233 ; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
1234 ; AVX512-NEXT:    vzeroupper
1235 ; AVX512-NEXT:    retq
1236   %1 = call i16 @llvm.experimental.vector.reduce.smax.i16.v16i16(<16 x i16> %a0)
1237   ret i16 %1
1238 }
1239
1240 define i16 @test_v32i16(<32 x i16> %a0) {
1241 ; SSE2-LABEL: test_v32i16:
1242 ; SSE2:       # %bb.0:
1243 ; SSE2-NEXT:    pmaxsw %xmm3, %xmm1
1244 ; SSE2-NEXT:    pmaxsw %xmm2, %xmm0
1245 ; SSE2-NEXT:    pmaxsw %xmm1, %xmm0
1246 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
1247 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1248 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
1249 ; SSE2-NEXT:    pmaxsw %xmm1, %xmm0
1250 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1251 ; SSE2-NEXT:    psrld $16, %xmm1
1252 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1253 ; SSE2-NEXT:    movd %xmm1, %eax
1254 ; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
1255 ; SSE2-NEXT:    retq
1256 ;
1257 ; SSE41-LABEL: test_v32i16:
1258 ; SSE41:       # %bb.0:
1259 ; SSE41-NEXT:    pmaxsw %xmm3, %xmm1
1260 ; SSE41-NEXT:    pmaxsw %xmm2, %xmm0
1261 ; SSE41-NEXT:    pmaxsw %xmm1, %xmm0
1262 ; SSE41-NEXT:    pxor {{.*}}(%rip), %xmm0
1263 ; SSE41-NEXT:    phminposuw %xmm0, %xmm0
1264 ; SSE41-NEXT:    movd %xmm0, %eax
1265 ; SSE41-NEXT:    xorl $32767, %eax # imm = 0x7FFF
1266 ; SSE41-NEXT:    # kill: def $ax killed $ax killed $eax
1267 ; SSE41-NEXT:    retq
1268 ;
1269 ; AVX1-LABEL: test_v32i16:
1270 ; AVX1:       # %bb.0:
1271 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
1272 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
1273 ; AVX1-NEXT:    vpmaxsw %xmm2, %xmm3, %xmm2
1274 ; AVX1-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
1275 ; AVX1-NEXT:    vpmaxsw %xmm2, %xmm0, %xmm0
1276 ; AVX1-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1277 ; AVX1-NEXT:    vphminposuw %xmm0, %xmm0
1278 ; AVX1-NEXT:    vmovd %xmm0, %eax
1279 ; AVX1-NEXT:    xorl $32767, %eax # imm = 0x7FFF
1280 ; AVX1-NEXT:    # kill: def $ax killed $ax killed $eax
1281 ; AVX1-NEXT:    vzeroupper
1282 ; AVX1-NEXT:    retq
1283 ;
1284 ; AVX2-LABEL: test_v32i16:
1285 ; AVX2:       # %bb.0:
1286 ; AVX2-NEXT:    vpmaxsw %ymm1, %ymm0, %ymm0
1287 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1288 ; AVX2-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
1289 ; AVX2-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1290 ; AVX2-NEXT:    vphminposuw %xmm0, %xmm0
1291 ; AVX2-NEXT:    vmovd %xmm0, %eax
1292 ; AVX2-NEXT:    xorl $32767, %eax # imm = 0x7FFF
1293 ; AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
1294 ; AVX2-NEXT:    vzeroupper
1295 ; AVX2-NEXT:    retq
1296 ;
1297 ; AVX512-LABEL: test_v32i16:
1298 ; AVX512:       # %bb.0:
1299 ; AVX512-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
1300 ; AVX512-NEXT:    vpmaxsw %ymm1, %ymm0, %ymm0
1301 ; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm1
1302 ; AVX512-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
1303 ; AVX512-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1304 ; AVX512-NEXT:    vphminposuw %xmm0, %xmm0
1305 ; AVX512-NEXT:    vmovd %xmm0, %eax
1306 ; AVX512-NEXT:    xorl $32767, %eax # imm = 0x7FFF
1307 ; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
1308 ; AVX512-NEXT:    vzeroupper
1309 ; AVX512-NEXT:    retq
1310   %1 = call i16 @llvm.experimental.vector.reduce.smax.i16.v32i16(<32 x i16> %a0)
1311   ret i16 %1
1312 }
1313
1314 define i16 @test_v64i16(<64 x i16> %a0) {
1315 ; SSE2-LABEL: test_v64i16:
1316 ; SSE2:       # %bb.0:
1317 ; SSE2-NEXT:    pmaxsw %xmm6, %xmm2
1318 ; SSE2-NEXT:    pmaxsw %xmm4, %xmm0
1319 ; SSE2-NEXT:    pmaxsw %xmm2, %xmm0
1320 ; SSE2-NEXT:    pmaxsw %xmm7, %xmm3
1321 ; SSE2-NEXT:    pmaxsw %xmm5, %xmm1
1322 ; SSE2-NEXT:    pmaxsw %xmm3, %xmm1
1323 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1324 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
1325 ; SSE2-NEXT:    pmaxsw %xmm1, %xmm0
1326 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1327 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1328 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1329 ; SSE2-NEXT:    psrld $16, %xmm0
1330 ; SSE2-NEXT:    pmaxsw %xmm1, %xmm0
1331 ; SSE2-NEXT:    movd %xmm0, %eax
1332 ; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
1333 ; SSE2-NEXT:    retq
1334 ;
1335 ; SSE41-LABEL: test_v64i16:
1336 ; SSE41:       # %bb.0:
1337 ; SSE41-NEXT:    pmaxsw %xmm7, %xmm3
1338 ; SSE41-NEXT:    pmaxsw %xmm5, %xmm1
1339 ; SSE41-NEXT:    pmaxsw %xmm3, %xmm1
1340 ; SSE41-NEXT:    pmaxsw %xmm6, %xmm2
1341 ; SSE41-NEXT:    pmaxsw %xmm4, %xmm0
1342 ; SSE41-NEXT:    pmaxsw %xmm2, %xmm0
1343 ; SSE41-NEXT:    pmaxsw %xmm1, %xmm0
1344 ; SSE41-NEXT:    pxor {{.*}}(%rip), %xmm0
1345 ; SSE41-NEXT:    phminposuw %xmm0, %xmm0
1346 ; SSE41-NEXT:    movd %xmm0, %eax
1347 ; SSE41-NEXT:    xorl $32767, %eax # imm = 0x7FFF
1348 ; SSE41-NEXT:    # kill: def $ax killed $ax killed $eax
1349 ; SSE41-NEXT:    retq
1350 ;
1351 ; AVX1-LABEL: test_v64i16:
1352 ; AVX1:       # %bb.0:
1353 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm4
1354 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm5
1355 ; AVX1-NEXT:    vpmaxsw %xmm4, %xmm5, %xmm4
1356 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm5
1357 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm6
1358 ; AVX1-NEXT:    vpmaxsw %xmm5, %xmm6, %xmm5
1359 ; AVX1-NEXT:    vpmaxsw %xmm4, %xmm5, %xmm4
1360 ; AVX1-NEXT:    vpmaxsw %xmm3, %xmm1, %xmm1
1361 ; AVX1-NEXT:    vpmaxsw %xmm2, %xmm0, %xmm0
1362 ; AVX1-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
1363 ; AVX1-NEXT:    vpmaxsw %xmm4, %xmm0, %xmm0
1364 ; AVX1-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1365 ; AVX1-NEXT:    vphminposuw %xmm0, %xmm0
1366 ; AVX1-NEXT:    vmovd %xmm0, %eax
1367 ; AVX1-NEXT:    xorl $32767, %eax # imm = 0x7FFF
1368 ; AVX1-NEXT:    # kill: def $ax killed $ax killed $eax
1369 ; AVX1-NEXT:    vzeroupper
1370 ; AVX1-NEXT:    retq
1371 ;
1372 ; AVX2-LABEL: test_v64i16:
1373 ; AVX2:       # %bb.0:
1374 ; AVX2-NEXT:    vpmaxsw %ymm3, %ymm1, %ymm1
1375 ; AVX2-NEXT:    vpmaxsw %ymm2, %ymm0, %ymm0
1376 ; AVX2-NEXT:    vpmaxsw %ymm1, %ymm0, %ymm0
1377 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1378 ; AVX2-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
1379 ; AVX2-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1380 ; AVX2-NEXT:    vphminposuw %xmm0, %xmm0
1381 ; AVX2-NEXT:    vmovd %xmm0, %eax
1382 ; AVX2-NEXT:    xorl $32767, %eax # imm = 0x7FFF
1383 ; AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
1384 ; AVX2-NEXT:    vzeroupper
1385 ; AVX2-NEXT:    retq
1386 ;
1387 ; AVX512-LABEL: test_v64i16:
1388 ; AVX512:       # %bb.0:
1389 ; AVX512-NEXT:    vpmaxsw %zmm1, %zmm0, %zmm0
1390 ; AVX512-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
1391 ; AVX512-NEXT:    vpmaxsw %ymm1, %ymm0, %ymm0
1392 ; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm1
1393 ; AVX512-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
1394 ; AVX512-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1395 ; AVX512-NEXT:    vphminposuw %xmm0, %xmm0
1396 ; AVX512-NEXT:    vmovd %xmm0, %eax
1397 ; AVX512-NEXT:    xorl $32767, %eax # imm = 0x7FFF
1398 ; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
1399 ; AVX512-NEXT:    vzeroupper
1400 ; AVX512-NEXT:    retq
1401   %1 = call i16 @llvm.experimental.vector.reduce.smax.i16.v64i16(<64 x i16> %a0)
1402   ret i16 %1
1403 }
1404
1405 ;
1406 ; vXi8
1407 ;
1408
1409 define i8 @test_v2i8(<2 x i8> %a0) {
1410 ; SSE2-LABEL: test_v2i8:
1411 ; SSE2:       # %bb.0:
1412 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1413 ; SSE2-NEXT:    psrlw $8, %xmm1
1414 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
1415 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm2
1416 ; SSE2-NEXT:    pand %xmm2, %xmm0
1417 ; SSE2-NEXT:    pandn %xmm1, %xmm2
1418 ; SSE2-NEXT:    por %xmm0, %xmm2
1419 ; SSE2-NEXT:    movd %xmm2, %eax
1420 ; SSE2-NEXT:    # kill: def $al killed $al killed $eax
1421 ; SSE2-NEXT:    retq
1422 ;
1423 ; SSE41-LABEL: test_v2i8:
1424 ; SSE41:       # %bb.0:
1425 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1426 ; SSE41-NEXT:    psrlw $8, %xmm1
1427 ; SSE41-NEXT:    pmaxsb %xmm0, %xmm1
1428 ; SSE41-NEXT:    pextrb $0, %xmm1, %eax
1429 ; SSE41-NEXT:    # kill: def $al killed $al killed $eax
1430 ; SSE41-NEXT:    retq
1431 ;
1432 ; AVX-LABEL: test_v2i8:
1433 ; AVX:       # %bb.0:
1434 ; AVX-NEXT:    vpsrlw $8, %xmm0, %xmm1
1435 ; AVX-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1436 ; AVX-NEXT:    vpextrb $0, %xmm0, %eax
1437 ; AVX-NEXT:    # kill: def $al killed $al killed $eax
1438 ; AVX-NEXT:    retq
1439 ;
1440 ; AVX512-LABEL: test_v2i8:
1441 ; AVX512:       # %bb.0:
1442 ; AVX512-NEXT:    vpsrlw $8, %xmm0, %xmm1
1443 ; AVX512-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1444 ; AVX512-NEXT:    vpextrb $0, %xmm0, %eax
1445 ; AVX512-NEXT:    # kill: def $al killed $al killed $eax
1446 ; AVX512-NEXT:    retq
1447   %1 = call i8 @llvm.experimental.vector.reduce.smax.i8.v2i8(<2 x i8> %a0)
1448   ret i8 %1
1449 }
1450
1451 define i8 @test_v4i8(<4 x i8> %a0) {
1452 ; SSE2-LABEL: test_v4i8:
1453 ; SSE2:       # %bb.0:
1454 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1455 ; SSE2-NEXT:    psrld $16, %xmm1
1456 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
1457 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm2
1458 ; SSE2-NEXT:    pand %xmm2, %xmm0
1459 ; SSE2-NEXT:    pandn %xmm1, %xmm2
1460 ; SSE2-NEXT:    por %xmm0, %xmm2
1461 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
1462 ; SSE2-NEXT:    psrlw $8, %xmm0
1463 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
1464 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm1
1465 ; SSE2-NEXT:    pand %xmm1, %xmm2
1466 ; SSE2-NEXT:    pandn %xmm0, %xmm1
1467 ; SSE2-NEXT:    por %xmm2, %xmm1
1468 ; SSE2-NEXT:    movd %xmm1, %eax
1469 ; SSE2-NEXT:    # kill: def $al killed $al killed $eax
1470 ; SSE2-NEXT:    retq
1471 ;
1472 ; SSE41-LABEL: test_v4i8:
1473 ; SSE41:       # %bb.0:
1474 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1475 ; SSE41-NEXT:    psrld $16, %xmm1
1476 ; SSE41-NEXT:    pmaxsb %xmm0, %xmm1
1477 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1478 ; SSE41-NEXT:    psrlw $8, %xmm0
1479 ; SSE41-NEXT:    pmaxsb %xmm1, %xmm0
1480 ; SSE41-NEXT:    pextrb $0, %xmm0, %eax
1481 ; SSE41-NEXT:    # kill: def $al killed $al killed $eax
1482 ; SSE41-NEXT:    retq
1483 ;
1484 ; AVX-LABEL: test_v4i8:
1485 ; AVX:       # %bb.0:
1486 ; AVX-NEXT:    vpsrld $16, %xmm0, %xmm1
1487 ; AVX-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1488 ; AVX-NEXT:    vpsrlw $8, %xmm0, %xmm1
1489 ; AVX-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1490 ; AVX-NEXT:    vpextrb $0, %xmm0, %eax
1491 ; AVX-NEXT:    # kill: def $al killed $al killed $eax
1492 ; AVX-NEXT:    retq
1493 ;
1494 ; AVX512-LABEL: test_v4i8:
1495 ; AVX512:       # %bb.0:
1496 ; AVX512-NEXT:    vpsrld $16, %xmm0, %xmm1
1497 ; AVX512-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1498 ; AVX512-NEXT:    vpsrlw $8, %xmm0, %xmm1
1499 ; AVX512-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1500 ; AVX512-NEXT:    vpextrb $0, %xmm0, %eax
1501 ; AVX512-NEXT:    # kill: def $al killed $al killed $eax
1502 ; AVX512-NEXT:    retq
1503   %1 = call i8 @llvm.experimental.vector.reduce.smax.i8.v4i8(<4 x i8> %a0)
1504   ret i8 %1
1505 }
1506
1507 define i8 @test_v8i8(<8 x i8> %a0) {
1508 ; SSE2-LABEL: test_v8i8:
1509 ; SSE2:       # %bb.0:
1510 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1511 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
1512 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm2
1513 ; SSE2-NEXT:    pand %xmm2, %xmm0
1514 ; SSE2-NEXT:    pandn %xmm1, %xmm2
1515 ; SSE2-NEXT:    por %xmm0, %xmm2
1516 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
1517 ; SSE2-NEXT:    psrld $16, %xmm0
1518 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
1519 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm1
1520 ; SSE2-NEXT:    pand %xmm1, %xmm2
1521 ; SSE2-NEXT:    pandn %xmm0, %xmm1
1522 ; SSE2-NEXT:    por %xmm2, %xmm1
1523 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1524 ; SSE2-NEXT:    psrlw $8, %xmm0
1525 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
1526 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm2
1527 ; SSE2-NEXT:    pand %xmm2, %xmm1
1528 ; SSE2-NEXT:    pandn %xmm0, %xmm2
1529 ; SSE2-NEXT:    por %xmm1, %xmm2
1530 ; SSE2-NEXT:    movd %xmm2, %eax
1531 ; SSE2-NEXT:    # kill: def $al killed $al killed $eax
1532 ; SSE2-NEXT:    retq
1533 ;
1534 ; SSE41-LABEL: test_v8i8:
1535 ; SSE41:       # %bb.0:
1536 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1537 ; SSE41-NEXT:    pmaxsb %xmm0, %xmm1
1538 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1539 ; SSE41-NEXT:    psrld $16, %xmm0
1540 ; SSE41-NEXT:    pmaxsb %xmm1, %xmm0
1541 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1542 ; SSE41-NEXT:    psrlw $8, %xmm1
1543 ; SSE41-NEXT:    pmaxsb %xmm0, %xmm1
1544 ; SSE41-NEXT:    pextrb $0, %xmm1, %eax
1545 ; SSE41-NEXT:    # kill: def $al killed $al killed $eax
1546 ; SSE41-NEXT:    retq
1547 ;
1548 ; AVX-LABEL: test_v8i8:
1549 ; AVX:       # %bb.0:
1550 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1551 ; AVX-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1552 ; AVX-NEXT:    vpsrld $16, %xmm0, %xmm1
1553 ; AVX-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1554 ; AVX-NEXT:    vpsrlw $8, %xmm0, %xmm1
1555 ; AVX-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1556 ; AVX-NEXT:    vpextrb $0, %xmm0, %eax
1557 ; AVX-NEXT:    # kill: def $al killed $al killed $eax
1558 ; AVX-NEXT:    retq
1559 ;
1560 ; AVX512-LABEL: test_v8i8:
1561 ; AVX512:       # %bb.0:
1562 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1563 ; AVX512-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1564 ; AVX512-NEXT:    vpsrld $16, %xmm0, %xmm1
1565 ; AVX512-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1566 ; AVX512-NEXT:    vpsrlw $8, %xmm0, %xmm1
1567 ; AVX512-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1568 ; AVX512-NEXT:    vpextrb $0, %xmm0, %eax
1569 ; AVX512-NEXT:    # kill: def $al killed $al killed $eax
1570 ; AVX512-NEXT:    retq
1571   %1 = call i8 @llvm.experimental.vector.reduce.smax.i8.v8i8(<8 x i8> %a0)
1572   ret i8 %1
1573 }
1574
1575 define i8 @test_v16i8(<16 x i8> %a0) {
1576 ; SSE2-LABEL: test_v16i8:
1577 ; SSE2:       # %bb.0:
1578 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
1579 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
1580 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm2
1581 ; SSE2-NEXT:    pand %xmm2, %xmm0
1582 ; SSE2-NEXT:    pandn %xmm1, %xmm2
1583 ; SSE2-NEXT:    por %xmm0, %xmm2
1584 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[1,1,2,3]
1585 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
1586 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm1
1587 ; SSE2-NEXT:    pand %xmm1, %xmm2
1588 ; SSE2-NEXT:    pandn %xmm0, %xmm1
1589 ; SSE2-NEXT:    por %xmm2, %xmm1
1590 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1591 ; SSE2-NEXT:    psrld $16, %xmm0
1592 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
1593 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm2
1594 ; SSE2-NEXT:    pand %xmm2, %xmm1
1595 ; SSE2-NEXT:    pandn %xmm0, %xmm2
1596 ; SSE2-NEXT:    por %xmm1, %xmm2
1597 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
1598 ; SSE2-NEXT:    psrlw $8, %xmm0
1599 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
1600 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm1
1601 ; SSE2-NEXT:    pand %xmm1, %xmm2
1602 ; SSE2-NEXT:    pandn %xmm0, %xmm1
1603 ; SSE2-NEXT:    por %xmm2, %xmm1
1604 ; SSE2-NEXT:    movd %xmm1, %eax
1605 ; SSE2-NEXT:    # kill: def $al killed $al killed $eax
1606 ; SSE2-NEXT:    retq
1607 ;
1608 ; SSE41-LABEL: test_v16i8:
1609 ; SSE41:       # %bb.0:
1610 ; SSE41-NEXT:    pxor {{.*}}(%rip), %xmm0
1611 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1612 ; SSE41-NEXT:    psrlw $8, %xmm1
1613 ; SSE41-NEXT:    pminub %xmm0, %xmm1
1614 ; SSE41-NEXT:    phminposuw %xmm1, %xmm0
1615 ; SSE41-NEXT:    pextrb $0, %xmm0, %eax
1616 ; SSE41-NEXT:    xorb $127, %al
1617 ; SSE41-NEXT:    # kill: def $al killed $al killed $eax
1618 ; SSE41-NEXT:    retq
1619 ;
1620 ; AVX-LABEL: test_v16i8:
1621 ; AVX:       # %bb.0:
1622 ; AVX-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1623 ; AVX-NEXT:    vpsrlw $8, %xmm0, %xmm1
1624 ; AVX-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1625 ; AVX-NEXT:    vphminposuw %xmm0, %xmm0
1626 ; AVX-NEXT:    vpextrb $0, %xmm0, %eax
1627 ; AVX-NEXT:    xorb $127, %al
1628 ; AVX-NEXT:    # kill: def $al killed $al killed $eax
1629 ; AVX-NEXT:    retq
1630 ;
1631 ; AVX512-LABEL: test_v16i8:
1632 ; AVX512:       # %bb.0:
1633 ; AVX512-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1634 ; AVX512-NEXT:    vpsrlw $8, %xmm0, %xmm1
1635 ; AVX512-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1636 ; AVX512-NEXT:    vphminposuw %xmm0, %xmm0
1637 ; AVX512-NEXT:    vpextrb $0, %xmm0, %eax
1638 ; AVX512-NEXT:    xorb $127, %al
1639 ; AVX512-NEXT:    # kill: def $al killed $al killed $eax
1640 ; AVX512-NEXT:    retq
1641   %1 = call i8 @llvm.experimental.vector.reduce.smax.i8.v16i8(<16 x i8> %a0)
1642   ret i8 %1
1643 }
1644
1645 define i8 @test_v32i8(<32 x i8> %a0) {
1646 ; SSE2-LABEL: test_v32i8:
1647 ; SSE2:       # %bb.0:
1648 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
1649 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm2
1650 ; SSE2-NEXT:    pand %xmm2, %xmm0
1651 ; SSE2-NEXT:    pandn %xmm1, %xmm2
1652 ; SSE2-NEXT:    por %xmm0, %xmm2
1653 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[2,3,0,1]
1654 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
1655 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm1
1656 ; SSE2-NEXT:    pand %xmm1, %xmm2
1657 ; SSE2-NEXT:    pandn %xmm0, %xmm1
1658 ; SSE2-NEXT:    por %xmm2, %xmm1
1659 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
1660 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
1661 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm2
1662 ; SSE2-NEXT:    pand %xmm2, %xmm1
1663 ; SSE2-NEXT:    pandn %xmm0, %xmm2
1664 ; SSE2-NEXT:    por %xmm1, %xmm2
1665 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
1666 ; SSE2-NEXT:    psrld $16, %xmm0
1667 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
1668 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm1
1669 ; SSE2-NEXT:    pand %xmm1, %xmm2
1670 ; SSE2-NEXT:    pandn %xmm0, %xmm1
1671 ; SSE2-NEXT:    por %xmm2, %xmm1
1672 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1673 ; SSE2-NEXT:    psrlw $8, %xmm0
1674 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
1675 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm2
1676 ; SSE2-NEXT:    pand %xmm2, %xmm1
1677 ; SSE2-NEXT:    pandn %xmm0, %xmm2
1678 ; SSE2-NEXT:    por %xmm1, %xmm2
1679 ; SSE2-NEXT:    movd %xmm2, %eax
1680 ; SSE2-NEXT:    # kill: def $al killed $al killed $eax
1681 ; SSE2-NEXT:    retq
1682 ;
1683 ; SSE41-LABEL: test_v32i8:
1684 ; SSE41:       # %bb.0:
1685 ; SSE41-NEXT:    pmaxsb %xmm1, %xmm0
1686 ; SSE41-NEXT:    pxor {{.*}}(%rip), %xmm0
1687 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1688 ; SSE41-NEXT:    psrlw $8, %xmm1
1689 ; SSE41-NEXT:    pminub %xmm0, %xmm1
1690 ; SSE41-NEXT:    phminposuw %xmm1, %xmm0
1691 ; SSE41-NEXT:    pextrb $0, %xmm0, %eax
1692 ; SSE41-NEXT:    xorb $127, %al
1693 ; SSE41-NEXT:    # kill: def $al killed $al killed $eax
1694 ; SSE41-NEXT:    retq
1695 ;
1696 ; AVX1-LABEL: test_v32i8:
1697 ; AVX1:       # %bb.0:
1698 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1699 ; AVX1-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1700 ; AVX1-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1701 ; AVX1-NEXT:    vpsrlw $8, %xmm0, %xmm1
1702 ; AVX1-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1703 ; AVX1-NEXT:    vphminposuw %xmm0, %xmm0
1704 ; AVX1-NEXT:    vpextrb $0, %xmm0, %eax
1705 ; AVX1-NEXT:    xorb $127, %al
1706 ; AVX1-NEXT:    # kill: def $al killed $al killed $eax
1707 ; AVX1-NEXT:    vzeroupper
1708 ; AVX1-NEXT:    retq
1709 ;
1710 ; AVX2-LABEL: test_v32i8:
1711 ; AVX2:       # %bb.0:
1712 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1713 ; AVX2-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1714 ; AVX2-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1715 ; AVX2-NEXT:    vpsrlw $8, %xmm0, %xmm1
1716 ; AVX2-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1717 ; AVX2-NEXT:    vphminposuw %xmm0, %xmm0
1718 ; AVX2-NEXT:    vpextrb $0, %xmm0, %eax
1719 ; AVX2-NEXT:    xorb $127, %al
1720 ; AVX2-NEXT:    # kill: def $al killed $al killed $eax
1721 ; AVX2-NEXT:    vzeroupper
1722 ; AVX2-NEXT:    retq
1723 ;
1724 ; AVX512-LABEL: test_v32i8:
1725 ; AVX512:       # %bb.0:
1726 ; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm1
1727 ; AVX512-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1728 ; AVX512-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1729 ; AVX512-NEXT:    vpsrlw $8, %xmm0, %xmm1
1730 ; AVX512-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1731 ; AVX512-NEXT:    vphminposuw %xmm0, %xmm0
1732 ; AVX512-NEXT:    vpextrb $0, %xmm0, %eax
1733 ; AVX512-NEXT:    xorb $127, %al
1734 ; AVX512-NEXT:    # kill: def $al killed $al killed $eax
1735 ; AVX512-NEXT:    vzeroupper
1736 ; AVX512-NEXT:    retq
1737   %1 = call i8 @llvm.experimental.vector.reduce.smax.i8.v32i8(<32 x i8> %a0)
1738   ret i8 %1
1739 }
1740
1741 define i8 @test_v64i8(<64 x i8> %a0) {
1742 ; SSE2-LABEL: test_v64i8:
1743 ; SSE2:       # %bb.0:
1744 ; SSE2-NEXT:    movdqa %xmm1, %xmm4
1745 ; SSE2-NEXT:    pcmpgtb %xmm3, %xmm4
1746 ; SSE2-NEXT:    pand %xmm4, %xmm1
1747 ; SSE2-NEXT:    pandn %xmm3, %xmm4
1748 ; SSE2-NEXT:    por %xmm1, %xmm4
1749 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1750 ; SSE2-NEXT:    pcmpgtb %xmm2, %xmm1
1751 ; SSE2-NEXT:    pand %xmm1, %xmm0
1752 ; SSE2-NEXT:    pandn %xmm2, %xmm1
1753 ; SSE2-NEXT:    por %xmm0, %xmm1
1754 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1755 ; SSE2-NEXT:    pcmpgtb %xmm4, %xmm0
1756 ; SSE2-NEXT:    pand %xmm0, %xmm1
1757 ; SSE2-NEXT:    pandn %xmm4, %xmm0
1758 ; SSE2-NEXT:    por %xmm1, %xmm0
1759 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
1760 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
1761 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm2
1762 ; SSE2-NEXT:    pand %xmm2, %xmm0
1763 ; SSE2-NEXT:    pandn %xmm1, %xmm2
1764 ; SSE2-NEXT:    por %xmm0, %xmm2
1765 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[1,1,2,3]
1766 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
1767 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm1
1768 ; SSE2-NEXT:    pand %xmm1, %xmm2
1769 ; SSE2-NEXT:    pandn %xmm0, %xmm1
1770 ; SSE2-NEXT:    por %xmm2, %xmm1
1771 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1772 ; SSE2-NEXT:    psrld $16, %xmm0
1773 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
1774 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm2
1775 ; SSE2-NEXT:    pand %xmm2, %xmm1
1776 ; SSE2-NEXT:    pandn %xmm0, %xmm2
1777 ; SSE2-NEXT:    por %xmm1, %xmm2
1778 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
1779 ; SSE2-NEXT:    psrlw $8, %xmm0
1780 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
1781 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm1
1782 ; SSE2-NEXT:    pand %xmm1, %xmm2
1783 ; SSE2-NEXT:    pandn %xmm0, %xmm1
1784 ; SSE2-NEXT:    por %xmm2, %xmm1
1785 ; SSE2-NEXT:    movd %xmm1, %eax
1786 ; SSE2-NEXT:    # kill: def $al killed $al killed $eax
1787 ; SSE2-NEXT:    retq
1788 ;
1789 ; SSE41-LABEL: test_v64i8:
1790 ; SSE41:       # %bb.0:
1791 ; SSE41-NEXT:    pmaxsb %xmm3, %xmm1
1792 ; SSE41-NEXT:    pmaxsb %xmm2, %xmm0
1793 ; SSE41-NEXT:    pmaxsb %xmm1, %xmm0
1794 ; SSE41-NEXT:    pxor {{.*}}(%rip), %xmm0
1795 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1796 ; SSE41-NEXT:    psrlw $8, %xmm1
1797 ; SSE41-NEXT:    pminub %xmm0, %xmm1
1798 ; SSE41-NEXT:    phminposuw %xmm1, %xmm0
1799 ; SSE41-NEXT:    pextrb $0, %xmm0, %eax
1800 ; SSE41-NEXT:    xorb $127, %al
1801 ; SSE41-NEXT:    # kill: def $al killed $al killed $eax
1802 ; SSE41-NEXT:    retq
1803 ;
1804 ; AVX1-LABEL: test_v64i8:
1805 ; AVX1:       # %bb.0:
1806 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
1807 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
1808 ; AVX1-NEXT:    vpmaxsb %xmm2, %xmm3, %xmm2
1809 ; AVX1-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1810 ; AVX1-NEXT:    vpmaxsb %xmm2, %xmm0, %xmm0
1811 ; AVX1-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1812 ; AVX1-NEXT:    vpsrlw $8, %xmm0, %xmm1
1813 ; AVX1-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1814 ; AVX1-NEXT:    vphminposuw %xmm0, %xmm0
1815 ; AVX1-NEXT:    vpextrb $0, %xmm0, %eax
1816 ; AVX1-NEXT:    xorb $127, %al
1817 ; AVX1-NEXT:    # kill: def $al killed $al killed $eax
1818 ; AVX1-NEXT:    vzeroupper
1819 ; AVX1-NEXT:    retq
1820 ;
1821 ; AVX2-LABEL: test_v64i8:
1822 ; AVX2:       # %bb.0:
1823 ; AVX2-NEXT:    vpmaxsb %ymm1, %ymm0, %ymm0
1824 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1825 ; AVX2-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1826 ; AVX2-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1827 ; AVX2-NEXT:    vpsrlw $8, %xmm0, %xmm1
1828 ; AVX2-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1829 ; AVX2-NEXT:    vphminposuw %xmm0, %xmm0
1830 ; AVX2-NEXT:    vpextrb $0, %xmm0, %eax
1831 ; AVX2-NEXT:    xorb $127, %al
1832 ; AVX2-NEXT:    # kill: def $al killed $al killed $eax
1833 ; AVX2-NEXT:    vzeroupper
1834 ; AVX2-NEXT:    retq
1835 ;
1836 ; AVX512-LABEL: test_v64i8:
1837 ; AVX512:       # %bb.0:
1838 ; AVX512-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
1839 ; AVX512-NEXT:    vpmaxsb %ymm1, %ymm0, %ymm0
1840 ; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm1
1841 ; AVX512-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1842 ; AVX512-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1843 ; AVX512-NEXT:    vpsrlw $8, %xmm0, %xmm1
1844 ; AVX512-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1845 ; AVX512-NEXT:    vphminposuw %xmm0, %xmm0
1846 ; AVX512-NEXT:    vpextrb $0, %xmm0, %eax
1847 ; AVX512-NEXT:    xorb $127, %al
1848 ; AVX512-NEXT:    # kill: def $al killed $al killed $eax
1849 ; AVX512-NEXT:    vzeroupper
1850 ; AVX512-NEXT:    retq
1851   %1 = call i8 @llvm.experimental.vector.reduce.smax.i8.v64i8(<64 x i8> %a0)
1852   ret i8 %1
1853 }
1854
1855 define i8 @test_v128i8(<128 x i8> %a0) {
1856 ; SSE2-LABEL: test_v128i8:
1857 ; SSE2:       # %bb.0:
1858 ; SSE2-NEXT:    movdqa %xmm2, %xmm8
1859 ; SSE2-NEXT:    pcmpgtb %xmm6, %xmm8
1860 ; SSE2-NEXT:    pand %xmm8, %xmm2
1861 ; SSE2-NEXT:    pandn %xmm6, %xmm8
1862 ; SSE2-NEXT:    por %xmm2, %xmm8
1863 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
1864 ; SSE2-NEXT:    pcmpgtb %xmm4, %xmm2
1865 ; SSE2-NEXT:    pand %xmm2, %xmm0
1866 ; SSE2-NEXT:    pandn %xmm4, %xmm2
1867 ; SSE2-NEXT:    por %xmm0, %xmm2
1868 ; SSE2-NEXT:    movdqa %xmm3, %xmm0
1869 ; SSE2-NEXT:    pcmpgtb %xmm7, %xmm0
1870 ; SSE2-NEXT:    pand %xmm0, %xmm3
1871 ; SSE2-NEXT:    pandn %xmm7, %xmm0
1872 ; SSE2-NEXT:    por %xmm3, %xmm0
1873 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
1874 ; SSE2-NEXT:    pcmpgtb %xmm5, %xmm3
1875 ; SSE2-NEXT:    pand %xmm3, %xmm1
1876 ; SSE2-NEXT:    pandn %xmm5, %xmm3
1877 ; SSE2-NEXT:    por %xmm1, %xmm3
1878 ; SSE2-NEXT:    movdqa %xmm3, %xmm1
1879 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm1
1880 ; SSE2-NEXT:    pand %xmm1, %xmm3
1881 ; SSE2-NEXT:    pandn %xmm0, %xmm1
1882 ; SSE2-NEXT:    por %xmm3, %xmm1
1883 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
1884 ; SSE2-NEXT:    pcmpgtb %xmm8, %xmm0
1885 ; SSE2-NEXT:    pand %xmm0, %xmm2
1886 ; SSE2-NEXT:    pandn %xmm8, %xmm0
1887 ; SSE2-NEXT:    por %xmm2, %xmm0
1888 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
1889 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm2
1890 ; SSE2-NEXT:    pand %xmm2, %xmm0
1891 ; SSE2-NEXT:    pandn %xmm1, %xmm2
1892 ; SSE2-NEXT:    por %xmm0, %xmm2
1893 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[2,3,0,1]
1894 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
1895 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm1
1896 ; SSE2-NEXT:    pand %xmm1, %xmm2
1897 ; SSE2-NEXT:    pandn %xmm0, %xmm1
1898 ; SSE2-NEXT:    por %xmm2, %xmm1
1899 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
1900 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
1901 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm2
1902 ; SSE2-NEXT:    pand %xmm2, %xmm1
1903 ; SSE2-NEXT:    pandn %xmm0, %xmm2
1904 ; SSE2-NEXT:    por %xmm1, %xmm2
1905 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
1906 ; SSE2-NEXT:    psrld $16, %xmm0
1907 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
1908 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm1
1909 ; SSE2-NEXT:    pand %xmm1, %xmm2
1910 ; SSE2-NEXT:    pandn %xmm0, %xmm1
1911 ; SSE2-NEXT:    por %xmm2, %xmm1
1912 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1913 ; SSE2-NEXT:    psrlw $8, %xmm0
1914 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
1915 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm2
1916 ; SSE2-NEXT:    pand %xmm2, %xmm1
1917 ; SSE2-NEXT:    pandn %xmm0, %xmm2
1918 ; SSE2-NEXT:    por %xmm1, %xmm2
1919 ; SSE2-NEXT:    movd %xmm2, %eax
1920 ; SSE2-NEXT:    # kill: def $al killed $al killed $eax
1921 ; SSE2-NEXT:    retq
1922 ;
1923 ; SSE41-LABEL: test_v128i8:
1924 ; SSE41:       # %bb.0:
1925 ; SSE41-NEXT:    pmaxsb %xmm7, %xmm3
1926 ; SSE41-NEXT:    pmaxsb %xmm5, %xmm1
1927 ; SSE41-NEXT:    pmaxsb %xmm3, %xmm1
1928 ; SSE41-NEXT:    pmaxsb %xmm6, %xmm2
1929 ; SSE41-NEXT:    pmaxsb %xmm4, %xmm0
1930 ; SSE41-NEXT:    pmaxsb %xmm2, %xmm0
1931 ; SSE41-NEXT:    pmaxsb %xmm1, %xmm0
1932 ; SSE41-NEXT:    pxor {{.*}}(%rip), %xmm0
1933 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1934 ; SSE41-NEXT:    psrlw $8, %xmm1
1935 ; SSE41-NEXT:    pminub %xmm0, %xmm1
1936 ; SSE41-NEXT:    phminposuw %xmm1, %xmm0
1937 ; SSE41-NEXT:    pextrb $0, %xmm0, %eax
1938 ; SSE41-NEXT:    xorb $127, %al
1939 ; SSE41-NEXT:    # kill: def $al killed $al killed $eax
1940 ; SSE41-NEXT:    retq
1941 ;
1942 ; AVX1-LABEL: test_v128i8:
1943 ; AVX1:       # %bb.0:
1944 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm4
1945 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm5
1946 ; AVX1-NEXT:    vpmaxsb %xmm4, %xmm5, %xmm4
1947 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm5
1948 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm6
1949 ; AVX1-NEXT:    vpmaxsb %xmm5, %xmm6, %xmm5
1950 ; AVX1-NEXT:    vpmaxsb %xmm4, %xmm5, %xmm4
1951 ; AVX1-NEXT:    vpmaxsb %xmm3, %xmm1, %xmm1
1952 ; AVX1-NEXT:    vpmaxsb %xmm2, %xmm0, %xmm0
1953 ; AVX1-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1954 ; AVX1-NEXT:    vpmaxsb %xmm4, %xmm0, %xmm0
1955 ; AVX1-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1956 ; AVX1-NEXT:    vpsrlw $8, %xmm0, %xmm1
1957 ; AVX1-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1958 ; AVX1-NEXT:    vphminposuw %xmm0, %xmm0
1959 ; AVX1-NEXT:    vpextrb $0, %xmm0, %eax
1960 ; AVX1-NEXT:    xorb $127, %al
1961 ; AVX1-NEXT:    # kill: def $al killed $al killed $eax
1962 ; AVX1-NEXT:    vzeroupper
1963 ; AVX1-NEXT:    retq
1964 ;
1965 ; AVX2-LABEL: test_v128i8:
1966 ; AVX2:       # %bb.0:
1967 ; AVX2-NEXT:    vpmaxsb %ymm3, %ymm1, %ymm1
1968 ; AVX2-NEXT:    vpmaxsb %ymm2, %ymm0, %ymm0
1969 ; AVX2-NEXT:    vpmaxsb %ymm1, %ymm0, %ymm0
1970 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1971 ; AVX2-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1972 ; AVX2-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1973 ; AVX2-NEXT:    vpsrlw $8, %xmm0, %xmm1
1974 ; AVX2-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1975 ; AVX2-NEXT:    vphminposuw %xmm0, %xmm0
1976 ; AVX2-NEXT:    vpextrb $0, %xmm0, %eax
1977 ; AVX2-NEXT:    xorb $127, %al
1978 ; AVX2-NEXT:    # kill: def $al killed $al killed $eax
1979 ; AVX2-NEXT:    vzeroupper
1980 ; AVX2-NEXT:    retq
1981 ;
1982 ; AVX512-LABEL: test_v128i8:
1983 ; AVX512:       # %bb.0:
1984 ; AVX512-NEXT:    vpmaxsb %zmm1, %zmm0, %zmm0
1985 ; AVX512-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
1986 ; AVX512-NEXT:    vpmaxsb %ymm1, %ymm0, %ymm0
1987 ; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm1
1988 ; AVX512-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
1989 ; AVX512-NEXT:    vpxor {{.*}}(%rip), %xmm0, %xmm0
1990 ; AVX512-NEXT:    vpsrlw $8, %xmm0, %xmm1
1991 ; AVX512-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1992 ; AVX512-NEXT:    vphminposuw %xmm0, %xmm0
1993 ; AVX512-NEXT:    vpextrb $0, %xmm0, %eax
1994 ; AVX512-NEXT:    xorb $127, %al
1995 ; AVX512-NEXT:    # kill: def $al killed $al killed $eax
1996 ; AVX512-NEXT:    vzeroupper
1997 ; AVX512-NEXT:    retq
1998   %1 = call i8 @llvm.experimental.vector.reduce.smax.i8.v128i8(<128 x i8> %a0)
1999   ret i8 %1
2000 }
2001
2002 declare i64 @llvm.experimental.vector.reduce.smax.i64.v2i64(<2 x i64>)
2003 declare i64 @llvm.experimental.vector.reduce.smax.i64.v4i64(<4 x i64>)
2004 declare i64 @llvm.experimental.vector.reduce.smax.i64.v8i64(<8 x i64>)
2005 declare i64 @llvm.experimental.vector.reduce.smax.i64.v16i64(<16 x i64>)
2006
2007 declare i32 @llvm.experimental.vector.reduce.smax.i32.v2i32(<2 x i32>)
2008 declare i32 @llvm.experimental.vector.reduce.smax.i32.v4i32(<4 x i32>)
2009 declare i32 @llvm.experimental.vector.reduce.smax.i32.v8i32(<8 x i32>)
2010 declare i32 @llvm.experimental.vector.reduce.smax.i32.v16i32(<16 x i32>)
2011 declare i32 @llvm.experimental.vector.reduce.smax.i32.v32i32(<32 x i32>)
2012
2013 declare i16 @llvm.experimental.vector.reduce.smax.i16.v2i16(<2 x i16>)
2014 declare i16 @llvm.experimental.vector.reduce.smax.i16.v4i16(<4 x i16>)
2015 declare i16 @llvm.experimental.vector.reduce.smax.i16.v8i16(<8 x i16>)
2016 declare i16 @llvm.experimental.vector.reduce.smax.i16.v16i16(<16 x i16>)
2017 declare i16 @llvm.experimental.vector.reduce.smax.i16.v32i16(<32 x i16>)
2018 declare i16 @llvm.experimental.vector.reduce.smax.i16.v64i16(<64 x i16>)
2019
2020 declare i8 @llvm.experimental.vector.reduce.smax.i8.v2i8(<2 x i8>)
2021 declare i8 @llvm.experimental.vector.reduce.smax.i8.v4i8(<4 x i8>)
2022 declare i8 @llvm.experimental.vector.reduce.smax.i8.v8i8(<8 x i8>)
2023 declare i8 @llvm.experimental.vector.reduce.smax.i8.v16i8(<16 x i8>)
2024 declare i8 @llvm.experimental.vector.reduce.smax.i8.v32i8(<32 x i8>)
2025 declare i8 @llvm.experimental.vector.reduce.smax.i8.v64i8(<64 x i8>)
2026 declare i8 @llvm.experimental.vector.reduce.smax.i8.v128i8(<128 x i8>)