src/gallium/drivers/llvmpipe/lp_bld_depth.c

   1 /**************************************************************************
   2  *
   3  * Copyright 2009-2010 VMware, Inc.
   4  * All Rights Reserved.
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a
   7  * copy of this software and associated documentation files (the
   8  * "Software"), to deal in the Software without restriction, including
   9  * without limitation the rights to use, copy, modify, merge, publish,
  10  * distribute, sub license, and/or sell copies of the Software, and to
  11  * permit persons to whom the Software is furnished to do so, subject to
  12  * the following conditions:
  13  *
  14  * The above copyright notice and this permission notice (including the
  15  * next paragraph) shall be included in all copies or substantial portions
  16  * of the Software.
  17  *
  18  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS
  19  * OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  20  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NON-INFRINGEMENT.
  21  * IN NO EVENT SHALL VMWARE AND/OR ITS SUPPLIERS BE LIABLE FOR
  22  * ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT,
  23  * TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE
  24  * SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  25  *
  26  **************************************************************************/
  27
  28 /**
  29  * @file
  30  * Depth/stencil testing to LLVM IR translation.
  31  *
  32  * To be done accurately/efficiently the depth/stencil test must be done with
  33  * the same type/format of the depth/stencil buffer, which implies massaging
  34  * the incoming depths to fit into place. Using a more straightforward
  35  * type/format for depth/stencil values internally and only convert when
  36  * flushing would avoid this, but it would most likely result in depth fighting
  37  * artifacts.
  38  *
  39  * We are free to use a different pixel layout though. Since our basic
  40  * processing unit is a quad (2x2 pixel block) we store the depth/stencil
  41  * values tiled, a quad at time. That is, a depth buffer containing
  42  *
  43  *  Z11 Z12 Z13 Z14 ...
  44  *  Z21 Z22 Z23 Z24 ...
  45  *  Z31 Z32 Z33 Z34 ...
  46  *  Z41 Z42 Z43 Z44 ...
  47  *  ... ... ... ... ...
  48  *
  49  * will actually be stored in memory as
  50  *
  51  *  Z11 Z12 Z21 Z22 Z13 Z14 Z23 Z24 ...
  52  *  Z31 Z32 Z41 Z42 Z33 Z34 Z43 Z44 ...
  53  *  ... ... ... ... ... ... ... ... ...
  54  *
  55  *
  56  * @author Jose Fonseca <jfonseca@vmware.com>
  57  * @author Brian Paul <jfonseca@vmware.com>
  58  */
  59
  60 #include "pipe/p_state.h"
  61 #include "util/u_format.h"
  62
  63 #include "gallivm/lp_bld_type.h"
  64 #include "gallivm/lp_bld_arit.h"
  65 #include "gallivm/lp_bld_bitarit.h"
  66 #include "gallivm/lp_bld_const.h"
  67 #include "gallivm/lp_bld_conv.h"
  68 #include "gallivm/lp_bld_logic.h"
  69 #include "gallivm/lp_bld_flow.h"
  70 #include "gallivm/lp_bld_intr.h"
  71 #include "gallivm/lp_bld_debug.h"
  72 #include "gallivm/lp_bld_swizzle.h"
  73
  74 #include "lp_bld_depth.h"
  75
  76
  77 /** Used to select fields from pipe_stencil_state */
  78 enum stencil_op {
  79    S_FAIL_OP,
  80    Z_FAIL_OP,
  81    Z_PASS_OP
  82 };
  83
  84
  85
  86 /**
  87  * Do the stencil test comparison (compare FB stencil values against ref value).
  88  * This will be used twice when generating two-sided stencil code.
  89  * \param stencil  the front/back stencil state
  90  * \param stencilRef  the stencil reference value, replicated as a vector
  91  * \param stencilVals  vector of stencil values from framebuffer
  92  * \return vector mask of pass/fail values (~0 or 0)
  93  */
  94 static LLVMValueRef
  95 lp_build_stencil_test_single(struct lp_build_context *bld,
  96                              const struct pipe_stencil_state *stencil,
  97                              LLVMValueRef stencilRef,
  98                              LLVMValueRef stencilVals)
  99 {
 100    const unsigned stencilMax = 255; /* XXX fix */
 101    struct lp_type type = bld->type;
 102    LLVMValueRef res;
 103
 104    assert(type.sign);
 105
 106    assert(stencil->enabled);
 107
 108    if (stencil->valuemask != stencilMax) {
 109       /* compute stencilRef = stencilRef & valuemask */
 110       LLVMValueRef valuemask = lp_build_const_int_vec(type, stencil->valuemask);
 111       stencilRef = LLVMBuildAnd(bld->builder, stencilRef, valuemask, "");
 112       /* compute stencilVals = stencilVals & valuemask */
 113       stencilVals = LLVMBuildAnd(bld->builder, stencilVals, valuemask, "");
 114    }
 115
 116    res = lp_build_cmp(bld, stencil->func, stencilRef, stencilVals);
 117
 118    return res;
 119 }
 120
 121
 122 /**
 123  * Do the one or two-sided stencil test comparison.
 124  * \sa lp_build_stencil_test_single
 125  * \param front_facing  an integer vector mask, indicating front (~0) or back
 126  *                      (0) facing polygon. If NULL, assume front-facing.
 127  */
 128 static LLVMValueRef
 129 lp_build_stencil_test(struct lp_build_context *bld,
 130                       const struct pipe_stencil_state stencil[2],
 131                       LLVMValueRef stencilRefs[2],
 132                       LLVMValueRef stencilVals,
 133                       LLVMValueRef front_facing)
 134 {
 135    LLVMValueRef res;
 136
 137    assert(stencil[0].enabled);
 138
 139    /* do front face test */
 140    res = lp_build_stencil_test_single(bld, &stencil[0],
 141                                       stencilRefs[0], stencilVals);
 142
 143    if (stencil[1].enabled && front_facing) {
 144       /* do back face test */
 145       LLVMValueRef back_res;
 146
 147       back_res = lp_build_stencil_test_single(bld, &stencil[1],
 148                                               stencilRefs[1], stencilVals);
 149
 150       res = lp_build_select(bld, front_facing, res, back_res);
 151    }
 152
 153    return res;
 154 }
 155
 156
 157 /**
 158  * Apply the stencil operator (add/sub/keep/etc) to the given vector
 159  * of stencil values.
 160  * \return  new stencil values vector
 161  */
 162 static LLVMValueRef
 163 lp_build_stencil_op_single(struct lp_build_context *bld,
 164                            const struct pipe_stencil_state *stencil,
 165                            enum stencil_op op,
 166                            LLVMValueRef stencilRef,
 167                            LLVMValueRef stencilVals)
 168
 169 {
 170    struct lp_type type = bld->type;
 171    LLVMValueRef res;
 172    LLVMValueRef max = lp_build_const_int_vec(type, 0xff);
 173    unsigned stencil_op;
 174
 175    assert(type.sign);
 176
 177    switch (op) {
 178    case S_FAIL_OP:
 179       stencil_op = stencil->fail_op;
 180       break;
 181    case Z_FAIL_OP:
 182       stencil_op = stencil->zfail_op;
 183       break;
 184    case Z_PASS_OP:
 185       stencil_op = stencil->zpass_op;
 186       break;
 187    default:
 188       assert(0 && "Invalid stencil_op mode");
 189       stencil_op = PIPE_STENCIL_OP_KEEP;
 190    }
 191
 192    switch (stencil_op) {
 193    case PIPE_STENCIL_OP_KEEP:
 194       res = stencilVals;
 195       /* we can return early for this case */
 196       return res;
 197    case PIPE_STENCIL_OP_ZERO:
 198       res = bld->zero;
 199       break;
 200    case PIPE_STENCIL_OP_REPLACE:
 201       res = stencilRef;
 202       break;
 203    case PIPE_STENCIL_OP_INCR:
 204       res = lp_build_add(bld, stencilVals, bld->one);
 205       res = lp_build_min(bld, res, max);
 206       break;
 207    case PIPE_STENCIL_OP_DECR:
 208       res = lp_build_sub(bld, stencilVals, bld->one);
 209       res = lp_build_max(bld, res, bld->zero);
 210       break;
 211    case PIPE_STENCIL_OP_INCR_WRAP:
 212       res = lp_build_add(bld, stencilVals, bld->one);
 213       res = LLVMBuildAnd(bld->builder, res, max, "");
 214       break;
 215    case PIPE_STENCIL_OP_DECR_WRAP:
 216       res = lp_build_sub(bld, stencilVals, bld->one);
 217       res = LLVMBuildAnd(bld->builder, res, max, "");
 218       break;
 219    case PIPE_STENCIL_OP_INVERT:
 220       res = LLVMBuildNot(bld->builder, stencilVals, "");
 221       res = LLVMBuildAnd(bld->builder, res, max, "");
 222       break;
 223    default:
 224       assert(0 && "bad stencil op mode");
 225       res = bld->undef;
 226    }
 227
 228    return res;
 229 }
 230
 231
 232 /**
 233  * Do the one or two-sided stencil test op/update.
 234  */
 235 static LLVMValueRef
 236 lp_build_stencil_op(struct lp_build_context *bld,
 237                     const struct pipe_stencil_state stencil[2],
 238                     enum stencil_op op,
 239                     LLVMValueRef stencilRefs[2],
 240                     LLVMValueRef stencilVals,
 241                     LLVMValueRef mask,
 242                     LLVMValueRef front_facing)
 243
 244 {
 245    LLVMValueRef res;
 246
 247    assert(stencil[0].enabled);
 248
 249    /* do front face op */
 250    res = lp_build_stencil_op_single(bld, &stencil[0], op,
 251                                      stencilRefs[0], stencilVals);
 252
 253    if (stencil[1].enabled && front_facing) {
 254       /* do back face op */
 255       LLVMValueRef back_res;
 256
 257       back_res = lp_build_stencil_op_single(bld, &stencil[1], op,
 258                                             stencilRefs[1], stencilVals);
 259
 260       res = lp_build_select(bld, front_facing, res, back_res);
 261    }
 262
 263    if (stencil->writemask != 0xff) {
 264       /* mask &= stencil->writemask */
 265       LLVMValueRef writemask = lp_build_const_int_vec(bld->type, stencil->writemask);
 266       mask = LLVMBuildAnd(bld->builder, mask, writemask, "");
 267       /* res = (res & mask) | (stencilVals & ~mask) */
 268       res = lp_build_select_bitwise(bld, writemask, res, stencilVals);
 269    }
 270    else {
 271       /* res = mask ? res : stencilVals */
 272       res = lp_build_select(bld, mask, res, stencilVals);
 273    }
 274
 275    return res;
 276 }
 277
 278
 279
 280 /**
 281  * Return a type appropriate for depth/stencil testing.
 282  */
 283 struct lp_type
 284 lp_depth_type(const struct util_format_description *format_desc,
 285               unsigned length)
 286 {
 287    struct lp_type type;
 288    unsigned swizzle;
 289
 290    assert(format_desc->colorspace == UTIL_FORMAT_COLORSPACE_ZS);
 291    assert(format_desc->block.width == 1);
 292    assert(format_desc->block.height == 1);
 293
 294    swizzle = format_desc->swizzle[0];
 295    assert(swizzle < 4);
 296
 297    memset(&type, 0, sizeof type);
 298    type.width = format_desc->block.bits;
 299
 300    if(format_desc->channel[swizzle].type == UTIL_FORMAT_TYPE_FLOAT) {
 301       type.floating = TRUE;
 302       assert(swizzle == 0);
 303       assert(format_desc->channel[swizzle].size == format_desc->block.bits);
 304    }
 305    else if(format_desc->channel[swizzle].type == UTIL_FORMAT_TYPE_UNSIGNED) {
 306       assert(format_desc->block.bits <= 32);
 307       if(format_desc->channel[swizzle].normalized)
 308          type.norm = TRUE;
 309    }
 310    else
 311       assert(0);
 312
 313    assert(type.width <= length);
 314    type.length = length / type.width;
 315
 316    return type;
 317 }
 318
 319
 320 /**
 321  * Compute bitmask and bit shift to apply to the incoming fragment Z values
 322  * and the Z buffer values needed before doing the Z comparison.
 323  *
 324  * Note that we leave the Z bits in the position that we find them
 325  * in the Z buffer (typically 0xffffff00 or 0x00ffffff).  That lets us
 326  * get by with fewer bit twiddling steps.
 327  */
 328 static boolean
 329 get_z_shift_and_mask(const struct util_format_description *format_desc,
 330                      unsigned *shift, unsigned *mask)
 331 {
 332    const unsigned total_bits = format_desc->block.bits;
 333    unsigned z_swizzle;
 334    unsigned chan;
 335    unsigned padding_left, padding_right;
 336
 337    assert(format_desc->colorspace == UTIL_FORMAT_COLORSPACE_ZS);
 338    assert(format_desc->block.width == 1);
 339    assert(format_desc->block.height == 1);
 340
 341    z_swizzle = format_desc->swizzle[0];
 342
 343    if (z_swizzle == UTIL_FORMAT_SWIZZLE_NONE)
 344       return FALSE;
 345
 346    padding_right = 0;
 347    for (chan = 0; chan < z_swizzle; ++chan)
 348       padding_right += format_desc->channel[chan].size;
 349
 350    padding_left =
 351       total_bits - (padding_right + format_desc->channel[z_swizzle].size);
 352
 353    if (padding_left || padding_right) {
 354       unsigned long long mask_left = (1ULL << (total_bits - padding_left)) - 1;
 355       unsigned long long mask_right = (1ULL << (padding_right)) - 1;
 356       *mask = mask_left ^ mask_right;
 357    }
 358    else {
 359       *mask = 0xffffffff;
 360    }
 361
 362    *shift = padding_left;
 363
 364    return TRUE;
 365 }
 366
 367
 368 /**
 369  * Compute bitmask and bit shift to apply to the framebuffer pixel values
 370  * to put the stencil bits in the least significant position.
 371  * (i.e. 0x000000ff)
 372  */
 373 static boolean
 374 get_s_shift_and_mask(const struct util_format_description *format_desc,
 375                      unsigned *shift, unsigned *mask)
 376 {
 377    unsigned s_swizzle;
 378    unsigned chan, sz;
 379
 380    s_swizzle = format_desc->swizzle[1];
 381
 382    if (s_swizzle == UTIL_FORMAT_SWIZZLE_NONE)
 383       return FALSE;
 384
 385    *shift = 0;
 386    for (chan = 0; chan < s_swizzle; chan++)
 387       *shift += format_desc->channel[chan].size;
 388
 389    sz = format_desc->channel[s_swizzle].size;
 390    *mask = (1U << sz) - 1U;
 391
 392    return TRUE;
 393 }
 394
 395
 396 /**
 397  * Perform the occlusion test and increase the counter.
 398  * Test the depth mask. Add the number of channel which has none zero mask
 399  * into the occlusion counter. e.g. maskvalue is {-1, -1, -1, -1}.
 400  * The counter will add 4.
 401  *
 402  * \param type holds element type of the mask vector.
 403  * \param maskvalue is the depth test mask.
 404  * \param counter is a pointer of the uint32 counter.
 405  */
 406 void
 407 lp_build_occlusion_count(LLVMBuilderRef builder,
 408                          struct lp_type type,
 409                          LLVMValueRef maskvalue,
 410                          LLVMValueRef counter)
 411 {
 412    LLVMValueRef countmask = lp_build_const_int_vec(type, 1);
 413    LLVMValueRef countv = LLVMBuildAnd(builder, maskvalue, countmask, "countv");
 414    LLVMTypeRef i8v16 = LLVMVectorType(LLVMInt8Type(), 16);
 415    LLVMValueRef counti = LLVMBuildBitCast(builder, countv, i8v16, "counti");
 416    LLVMValueRef maskarray[4] = {
 417       LLVMConstInt(LLVMInt32Type(), 0, 0),
 418       LLVMConstInt(LLVMInt32Type(), 4, 0),
 419       LLVMConstInt(LLVMInt32Type(), 8, 0),
 420       LLVMConstInt(LLVMInt32Type(), 12, 0),
 421    };
 422    LLVMValueRef shufflemask = LLVMConstVector(maskarray, 4);
 423    LLVMValueRef shufflev =  LLVMBuildShuffleVector(builder, counti, LLVMGetUndef(i8v16), shufflemask, "shufflev");
 424    LLVMValueRef shuffle = LLVMBuildBitCast(builder, shufflev, LLVMInt32Type(), "shuffle");
 425    LLVMValueRef count = lp_build_intrinsic_unary(builder, "llvm.ctpop.i32", LLVMInt32Type(), shuffle);
 426    LLVMValueRef orig = LLVMBuildLoad(builder, counter, "orig");
 427    LLVMValueRef incr = LLVMBuildAdd(builder, orig, count, "incr");
 428    LLVMBuildStore(builder, incr, counter);
 429 }
 430
 431
 432
 433 /**
 434  * Generate code for performing depth and/or stencil tests.
 435  * We operate on a vector of values (typically a 2x2 quad).
 436  *
 437  * \param depth  the depth test state
 438  * \param stencil  the front/back stencil state
 439  * \param type  the data type of the fragment depth/stencil values
 440  * \param format_desc  description of the depth/stencil surface
 441  * \param mask  the alive/dead pixel mask for the quad (vector)
 442  * \param stencil_refs  the front/back stencil ref values (scalar)
 443  * \param z_src  the incoming depth/stencil values (a 2x2 quad, float32)
 444  * \param zs_dst_ptr  pointer to depth/stencil values in framebuffer
 445  * \param facing  contains float value indicating front/back facing polygon
 446  */
 447 void
 448 lp_build_depth_stencil_test(LLVMBuilderRef builder,
 449                             const struct pipe_depth_state *depth,
 450                             const struct pipe_stencil_state stencil[2],
 451                             struct lp_type z_src_type,
 452                             const struct util_format_description *format_desc,
 453                             struct lp_build_mask_context *mask,
 454                             LLVMValueRef stencil_refs[2],
 455                             LLVMValueRef z_src,
 456                             LLVMValueRef zs_dst_ptr,
 457                             LLVMValueRef face,
 458                             LLVMValueRef *zs_value,
 459                             boolean do_branch)
 460 {
 461    struct lp_type type;
 462    struct lp_build_context bld;
 463    struct lp_build_context sbld;
 464    struct lp_type s_type;
 465    LLVMValueRef zs_dst, z_dst = NULL;
 466    LLVMValueRef stencil_vals = NULL;
 467    LLVMValueRef z_bitmask = NULL, stencil_shift = NULL;
 468    LLVMValueRef z_pass = NULL, s_pass_mask = NULL;
 469    LLVMValueRef orig_mask = lp_build_mask_value(mask);
 470    LLVMValueRef front_facing = NULL;
 471
 472    /* Prototype a simpler path:
 473     */
 474    if (z_src_type.floating &&
 475        format_desc->format == PIPE_FORMAT_X8Z24_UNORM &&
 476        depth->enabled)
 477    {
 478       LLVMValueRef zscaled;
 479       LLVMValueRef const_ffffff_float;
 480       LLVMValueRef const_8_int;
 481       LLVMTypeRef int32_vec_type;
 482
 483       /* We know the values in z_dst are all >= 0, so allow
 484        * lp_build_compare to use signed compare intrinsics:
 485        */
 486       type.floating = 0;
 487       type.fixed = 0;
 488       type.sign = 1;
 489       type.norm = 1;
 490       type.width = 32;
 491       type.length = z_src_type.length;
 492
 493       int32_vec_type = LLVMVectorType(LLVMInt32Type(), z_src_type.length);
 494
 495       const_8_int = lp_build_const_int_vec(type, 8);
 496       const_ffffff_float = lp_build_const_vec(z_src_type, (float)0xffffff);
 497
 498       zscaled = LLVMBuildFMul(builder, z_src, const_ffffff_float, "zscaled");
 499       z_src = LLVMBuildFPToSI(builder, zscaled, int32_vec_type, "z_src");
 500
 501       /* Load current z/stencil value from z/stencil buffer */
 502       z_dst = LLVMBuildLoad(builder, zs_dst_ptr, "zsbufval");
 503       z_dst = LLVMBuildLShr(builder, z_dst, const_8_int, "z_dst");
 504
 505       /* compare src Z to dst Z, returning 'pass' mask */
 506       z_pass = lp_build_compare(builder,
 507                                 type,
 508                                 depth->func, z_src, z_dst);
 509
 510       lp_build_mask_update(mask, z_pass);
 511
 512       if (do_branch)
 513          lp_build_mask_check(mask);
 514
 515       /* No need to worry about old stencil contents, just blend the
 516        * old and new values and shift into the correct position for
 517        * storage.
 518        */
 519       if (depth->writemask) {
 520          type.sign = 1;
 521          lp_build_context_init(&bld, builder, type);
 522
 523          z_dst = lp_build_select(&bld, lp_build_mask_value(mask), z_src, z_dst);
 524          z_dst = LLVMBuildShl(builder, z_dst, const_8_int, "z_dst");
 525          *zs_value = z_dst;
 526       }
 527
 528       return;
 529    }
 530
 531    /*
 532     * Depths are expected to be between 0 and 1, even if they are stored in
 533     * floats. Setting these bits here will ensure that the lp_build_conv() call
 534     * below won't try to unnecessarily clamp the incoming values.
 535     */
 536    if(z_src_type.floating) {
 537       z_src_type.sign = FALSE;
 538       z_src_type.norm = TRUE;
 539    }
 540    else {
 541       assert(!z_src_type.sign);
 542       assert(z_src_type.norm);
 543    }
 544
 545    /* Pick the depth type. */
 546    type = lp_depth_type(format_desc, z_src_type.width*z_src_type.length);
 547
 548    /* FIXME: Cope with a depth test type with a different bit width. */
 549    assert(type.width == z_src_type.width);
 550    assert(type.length == z_src_type.length);
 551
 552    /* Convert fragment Z from float to integer */
 553    lp_build_conv(builder, z_src_type, type, &z_src, 1, &z_src, 1);
 554
 555    zs_dst_ptr = LLVMBuildBitCast(builder,
 556                                  zs_dst_ptr,
 557                                  LLVMPointerType(lp_build_vec_type(type), 0), "");
 558
 559
 560
 561    /* Sanity checking */
 562    {
 563       const unsigned z_swizzle = format_desc->swizzle[0];
 564       const unsigned s_swizzle = format_desc->swizzle[1];
 565
 566       assert(z_swizzle != UTIL_FORMAT_SWIZZLE_NONE ||
 567              s_swizzle != UTIL_FORMAT_SWIZZLE_NONE);
 568
 569       assert(depth->enabled || stencil[0].enabled);
 570
 571       assert(format_desc->colorspace == UTIL_FORMAT_COLORSPACE_ZS);
 572       assert(format_desc->block.width == 1);
 573       assert(format_desc->block.height == 1);
 574
 575       if (stencil[0].enabled) {
 576          assert(format_desc->format == PIPE_FORMAT_Z24_UNORM_S8_USCALED ||
 577                 format_desc->format == PIPE_FORMAT_S8_USCALED_Z24_UNORM);
 578       }
 579
 580       assert(z_swizzle < 4);
 581       assert(format_desc->block.bits == type.width);
 582       if (type.floating) {
 583          assert(z_swizzle == 0);
 584          assert(format_desc->channel[z_swizzle].type ==
 585                 UTIL_FORMAT_TYPE_FLOAT);
 586          assert(format_desc->channel[z_swizzle].size ==
 587                 format_desc->block.bits);
 588       }
 589       else {
 590          assert(format_desc->channel[z_swizzle].type ==
 591                 UTIL_FORMAT_TYPE_UNSIGNED);
 592          assert(format_desc->channel[z_swizzle].normalized);
 593          assert(!type.fixed);
 594          assert(!type.sign);
 595          assert(type.norm);
 596       }
 597    }
 598
 599
 600    /* Setup build context for Z vals */
 601    lp_build_context_init(&bld, builder, type);
 602
 603    /* Setup build context for stencil vals */
 604    s_type = lp_type_int_vec(type.width);
 605    lp_build_context_init(&sbld, builder, s_type);
 606
 607    /* Load current z/stencil value from z/stencil buffer */
 608    zs_dst = LLVMBuildLoad(builder, zs_dst_ptr, "");
 609
 610    lp_build_name(zs_dst, "zsbufval");
 611
 612
 613    /* Compute and apply the Z/stencil bitmasks and shifts.
 614     */
 615    {
 616       unsigned z_shift, z_mask;
 617       unsigned s_shift, s_mask;
 618
 619       if (get_z_shift_and_mask(format_desc, &z_shift, &z_mask)) {
 620          if (z_shift) {
 621             LLVMValueRef shift = lp_build_const_int_vec(type, z_shift);
 622             z_src = LLVMBuildLShr(builder, z_src, shift, "");
 623          }
 624
 625          if (z_mask != 0xffffffff) {
 626             LLVMValueRef mask = lp_build_const_int_vec(type, z_mask);
 627             z_src = LLVMBuildAnd(builder, z_src, mask, "");
 628             z_dst = LLVMBuildAnd(builder, zs_dst, mask, "");
 629             z_bitmask = mask;  /* used below */
 630          }
 631          else {
 632             z_dst = zs_dst;
 633          }
 634
 635          lp_build_name(z_dst, "zsbuf.z");
 636       }
 637
 638       if (get_s_shift_and_mask(format_desc, &s_shift, &s_mask)) {
 639          if (s_shift) {
 640             LLVMValueRef shift = lp_build_const_int_vec(type, s_shift);
 641             stencil_vals = LLVMBuildLShr(builder, zs_dst, shift, "");
 642             stencil_shift = shift;  /* used below */
 643          }
 644          else {
 645             stencil_vals = zs_dst;
 646          }
 647
 648          if (s_mask != 0xffffffff) {
 649             LLVMValueRef mask = lp_build_const_int_vec(type, s_mask);
 650             stencil_vals = LLVMBuildAnd(builder, stencil_vals, mask, "");
 651          }
 652
 653          lp_build_name(stencil_vals, "stencil");
 654       }
 655    }
 656
 657    if (stencil[0].enabled) {
 658
 659       if (face) {
 660          LLVMValueRef zero = LLVMConstReal(LLVMFloatType(), 0.0);
 661
 662          /* front_facing = face > 0.0 ? ~0 : 0 */
 663          front_facing = LLVMBuildFCmp(builder, LLVMRealUGT, face, zero, "");
 664          front_facing = LLVMBuildSExt(builder, front_facing,
 665                                       LLVMIntType(bld.type.length*bld.type.width),
 666                                       "");
 667          front_facing = LLVMBuildBitCast(builder, front_facing,
 668                                          bld.int_vec_type, "");
 669       }
 670
 671       /* convert scalar stencil refs into vectors */
 672       stencil_refs[0] = lp_build_broadcast_scalar(&bld, stencil_refs[0]);
 673       stencil_refs[1] = lp_build_broadcast_scalar(&bld, stencil_refs[1]);
 674
 675       s_pass_mask = lp_build_stencil_test(&sbld, stencil,
 676                                           stencil_refs, stencil_vals,
 677                                           front_facing);
 678
 679       /* apply stencil-fail operator */
 680       {
 681          LLVMValueRef s_fail_mask = lp_build_andnot(&bld, orig_mask, s_pass_mask);
 682          stencil_vals = lp_build_stencil_op(&sbld, stencil, S_FAIL_OP,
 683                                             stencil_refs, stencil_vals,
 684                                             s_fail_mask, front_facing);
 685       }
 686    }
 687
 688    if (depth->enabled) {
 689       /* compare src Z to dst Z, returning 'pass' mask */
 690       z_pass = lp_build_cmp(&bld, depth->func, z_src, z_dst);
 691
 692       if (!stencil[0].enabled) {
 693          /* We can potentially skip all remaining operations here, but only
 694           * if stencil is disabled because we still need to update the stencil
 695           * buffer values.  Don't need to update Z buffer values.
 696           */
 697          lp_build_mask_update(mask, z_pass);
 698
 699          if (do_branch) {
 700             lp_build_mask_check(mask);
 701             do_branch = FALSE;
 702          }
 703       }
 704
 705       if (depth->writemask) {
 706          LLVMValueRef zselectmask = lp_build_mask_value(mask);
 707
 708          /* mask off bits that failed Z test */
 709          zselectmask = LLVMBuildAnd(builder, zselectmask, z_pass, "");
 710
 711          /* mask off bits that failed stencil test */
 712          if (s_pass_mask) {
 713             zselectmask = LLVMBuildAnd(builder, zselectmask, s_pass_mask, "");
 714          }
 715
 716          /* if combined Z/stencil format, mask off the stencil bits */
 717          if (z_bitmask) {
 718             zselectmask = LLVMBuildAnd(builder, zselectmask, z_bitmask, "");
 719          }
 720
 721          /* Mix the old and new Z buffer values.
 722           * z_dst[i] = (zselectmask[i] & z_src[i]) | (~zselectmask[i] & z_dst[i])
 723           */
 724          z_dst = lp_build_select_bitwise(&bld, zselectmask, z_src, z_dst);
 725       }
 726
 727       if (stencil[0].enabled) {
 728          /* update stencil buffer values according to z pass/fail result */
 729          LLVMValueRef z_fail_mask, z_pass_mask;
 730
 731          /* apply Z-fail operator */
 732          z_fail_mask = lp_build_andnot(&bld, orig_mask, z_pass);
 733          stencil_vals = lp_build_stencil_op(&sbld, stencil, Z_FAIL_OP,
 734                                             stencil_refs, stencil_vals,
 735                                             z_fail_mask, front_facing);
 736
 737          /* apply Z-pass operator */
 738          z_pass_mask = LLVMBuildAnd(bld.builder, orig_mask, z_pass, "");
 739          stencil_vals = lp_build_stencil_op(&sbld, stencil, Z_PASS_OP,
 740                                             stencil_refs, stencil_vals,
 741                                             z_pass_mask, front_facing);
 742       }
 743    }
 744    else {
 745       /* No depth test: apply Z-pass operator to stencil buffer values which
 746        * passed the stencil test.
 747        */
 748       s_pass_mask = LLVMBuildAnd(bld.builder, orig_mask, s_pass_mask, "");
 749       stencil_vals = lp_build_stencil_op(&sbld, stencil, Z_PASS_OP,
 750                                          stencil_refs, stencil_vals,
 751                                          s_pass_mask, front_facing);
 752    }
 753
 754    /* The Z bits are already in the right place but we may need to shift the
 755     * stencil bits before ORing Z with Stencil to make the final pixel value.
 756     */
 757    if (stencil_vals && stencil_shift)
 758       stencil_vals = LLVMBuildShl(bld.builder, stencil_vals,
 759                                   stencil_shift, "");
 760
 761    /* Finally, merge/store the z/stencil values */
 762    if ((depth->enabled && depth->writemask) ||
 763        (stencil[0].enabled && stencil[0].writemask)) {
 764
 765       if (z_dst && stencil_vals)
 766          zs_dst = LLVMBuildOr(bld.builder, z_dst, stencil_vals, "");
 767       else if (z_dst)
 768          zs_dst = z_dst;
 769       else
 770          zs_dst = stencil_vals;
 771
 772       *zs_value = zs_dst;
 773    }
 774
 775    if (s_pass_mask)
 776       lp_build_mask_update(mask, s_pass_mask);
 777
 778    if (depth->enabled && stencil[0].enabled)
 779       lp_build_mask_update(mask, z_pass);
 780
 781    if (do_branch)
 782       lp_build_mask_check(mask);
 783
 784 }
 785
 786
 787
 788 void
 789 lp_build_deferred_depth_write(LLVMBuilderRef builder,
 790                               struct lp_type z_src_type,
 791                               const struct util_format_description *format_desc,
 792                               struct lp_build_mask_context *mask,
 793                               LLVMValueRef zs_dst_ptr,
 794                               LLVMValueRef zs_value)
 795 {
 796    struct lp_type type;
 797    struct lp_build_context bld;
 798    LLVMValueRef z_dst;
 799
 800    /* XXX: pointlessly redo type logic:
 801     */
 802    type = lp_depth_type(format_desc, z_src_type.width*z_src_type.length);
 803    lp_build_context_init(&bld, builder, type);
 804
 805    z_dst = LLVMBuildLoad(builder, zs_dst_ptr, "zsbufval");
 806    z_dst = lp_build_select(&bld, lp_build_mask_value(mask), zs_value, z_dst);
 807
 808    LLVMBuildStore(builder, z_dst, zs_dst_ptr);
 809 }