src/mesa/drivers/dri/i915/i915_fragprog.c

   1 /**************************************************************************
   2  *
   3  * Copyright 2003 VMware, Inc.
   4  * All Rights Reserved.
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a
   7  * copy of this software and associated documentation files (the
   8  * "Software"), to deal in the Software without restriction, including
   9  * without limitation the rights to use, copy, modify, merge, publish,
  10  * distribute, sub license, and/or sell copies of the Software, and to
  11  * permit persons to whom the Software is furnished to do so, subject to
  12  * the following conditions:
  13  *
  14  * The above copyright notice and this permission notice (including the
  15  * next paragraph) shall be included in all copies or substantial portions
  16  * of the Software.
  17  *
  18  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS
  19  * OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  20  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NON-INFRINGEMENT.
  21  * IN NO EVENT SHALL VMWARE AND/OR ITS SUPPLIERS BE LIABLE FOR
  22  * ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT,
  23  * TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE
  24  * SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  25  *
  26  **************************************************************************/
  27
  28 #include "main/glheader.h"
  29 #include "main/macros.h"
  30 #include "main/enums.h"
  31
  32 #include "program/prog_instruction.h"
  33 #include "program/prog_parameter.h"
  34 #include "program/program.h"
  35 #include "program/programopt.h"
  36 #include "program/prog_print.h"
  37
  38 #include "tnl/tnl.h"
  39 #include "tnl/t_context.h"
  40
  41 #include "intel_batchbuffer.h"
  42
  43 #include "i915_reg.h"
  44 #include "i915_context.h"
  45 #include "i915_program.h"
  46
  47 static const GLfloat sin_quad_constants[2][4] = {
  48    {
  49       2.0,
  50       -1.0,
  51       .5,
  52       .75
  53    },
  54    {
  55       4.0,
  56       -4.0,
  57       1.0 / (2.0 * M_PI),
  58       .2225
  59    }
  60 };
  61
  62 static const GLfloat sin_constants[4] = { 1.0,
  63    -1.0 / (3 * 2 * 1),
  64    1.0 / (5 * 4 * 3 * 2 * 1),
  65    -1.0 / (7 * 6 * 5 * 4 * 3 * 2 * 1)
  66 };
  67
  68 /* 1, -1/2!, 1/4!, -1/6! */
  69 static const GLfloat cos_constants[4] = { 1.0,
  70    -1.0 / (2 * 1),
  71    1.0 / (4 * 3 * 2 * 1),
  72    -1.0 / (6 * 5 * 4 * 3 * 2 * 1)
  73 };
  74
  75 /* texcoord_mapping[unit] = index | TEXCOORD_{TEX,VAR} */
  76 #define TEXCOORD_TEX (0<<7)
  77 #define TEXCOORD_VAR (1<<7)
  78
  79 static GLint get_texcoord_mapping(struct i915_fragment_program *p,
  80                                   uint8_t texcoord)
  81 {
  82    GLint i;
  83
  84    for (i = 0; i < p->ctx->Const.MaxTextureCoordUnits; i++) {
  85       if (p->texcoord_mapping[i] == texcoord)
  86          return i;
  87    }
  88
  89    /* blah */
  90    return p->ctx->Const.MaxTextureCoordUnits - 1;
  91 }
  92
  93 /**
  94  * Retrieve a ureg for the given source register.  Will emit
  95  * constants, apply swizzling and negation as needed.
  96  */
  97 static GLuint
  98 src_vector(struct i915_fragment_program *p,
  99            const struct prog_src_register *source,
 100            const struct gl_fragment_program *program)
 101 {
 102    GLuint src;
 103    GLint unit;
 104
 105    switch (source->File) {
 106
 107       /* Registers:
 108        */
 109    case PROGRAM_TEMPORARY:
 110       if (source->Index >= I915_MAX_TEMPORARY) {
 111          i915_program_error(p, "Exceeded max temporary reg: %d/%d",
 112                             source->Index, I915_MAX_TEMPORARY);
 113          return 0;
 114       }
 115       src = UREG(REG_TYPE_R, source->Index);
 116       break;
 117    case PROGRAM_INPUT:
 118       switch (source->Index) {
 119       case VARYING_SLOT_POS:
 120          src = i915_emit_decl(p, REG_TYPE_T, p->wpos_tex, D0_CHANNEL_ALL);
 121          break;
 122       case VARYING_SLOT_COL0:
 123          src = i915_emit_decl(p, REG_TYPE_T, T_DIFFUSE, D0_CHANNEL_ALL);
 124          break;
 125       case VARYING_SLOT_COL1:
 126          src = i915_emit_decl(p, REG_TYPE_T, T_SPECULAR, D0_CHANNEL_XYZ);
 127          src = swizzle(src, X, Y, Z, ONE);
 128          break;
 129       case VARYING_SLOT_FOGC:
 130          src = i915_emit_decl(p, REG_TYPE_T, T_FOG_W, D0_CHANNEL_W);
 131          src = swizzle(src, W, ZERO, ZERO, ONE);
 132          break;
 133       case VARYING_SLOT_TEX0:
 134       case VARYING_SLOT_TEX1:
 135       case VARYING_SLOT_TEX2:
 136       case VARYING_SLOT_TEX3:
 137       case VARYING_SLOT_TEX4:
 138       case VARYING_SLOT_TEX5:
 139       case VARYING_SLOT_TEX6:
 140       case VARYING_SLOT_TEX7:
 141          unit = get_texcoord_mapping(p, (source->Index -
 142                                          VARYING_SLOT_TEX0) | TEXCOORD_TEX);
 143          src = i915_emit_decl(p, REG_TYPE_T,
 144                               T_TEX0 + unit,
 145                               D0_CHANNEL_ALL);
 146          break;
 147
 148       case VARYING_SLOT_VAR0:
 149       case VARYING_SLOT_VAR0 + 1:
 150       case VARYING_SLOT_VAR0 + 2:
 151       case VARYING_SLOT_VAR0 + 3:
 152       case VARYING_SLOT_VAR0 + 4:
 153       case VARYING_SLOT_VAR0 + 5:
 154       case VARYING_SLOT_VAR0 + 6:
 155       case VARYING_SLOT_VAR0 + 7:
 156          unit = get_texcoord_mapping(p, (source->Index -
 157                                          VARYING_SLOT_VAR0) | TEXCOORD_VAR);
 158          src = i915_emit_decl(p, REG_TYPE_T,
 159                               T_TEX0 + unit,
 160                               D0_CHANNEL_ALL);
 161          break;
 162
 163       default:
 164          i915_program_error(p, "Bad source->Index: %d", source->Index);
 165          return 0;
 166       }
 167       break;
 168
 169    case PROGRAM_OUTPUT:
 170       switch (source->Index) {
 171       case FRAG_RESULT_COLOR:
 172       case FRAG_RESULT_DATA0:
 173          src = UREG(REG_TYPE_OC, 0);
 174          break;
 175       case FRAG_RESULT_DEPTH:
 176          src = UREG(REG_TYPE_OD, 0);
 177          break;
 178       default:
 179          i915_program_error(p, "Bad source->Index: %d", source->Index);
 180          return 0;
 181       }
 182       break;
 183
 184       /* Various paramters and env values.  All emitted to
 185        * hardware as program constants.
 186        */
 187    case PROGRAM_CONSTANT:
 188    case PROGRAM_STATE_VAR:
 189    case PROGRAM_UNIFORM:
 190       src = i915_emit_param4fv(p,
 191          &program->Base.Parameters->ParameterValues[source->Index][0].f);
 192       break;
 193
 194    default:
 195       i915_program_error(p, "Bad source->File: %d", source->File);
 196       return 0;
 197    }
 198
 199    src = swizzle(src,
 200                  GET_SWZ(source->Swizzle, 0),
 201                  GET_SWZ(source->Swizzle, 1),
 202                  GET_SWZ(source->Swizzle, 2), GET_SWZ(source->Swizzle, 3));
 203
 204    if (source->Negate)
 205       src = negate(src,
 206                    GET_BIT(source->Negate, 0),
 207                    GET_BIT(source->Negate, 1),
 208                    GET_BIT(source->Negate, 2),
 209                    GET_BIT(source->Negate, 3));
 210
 211    return src;
 212 }
 213
 214
 215 static GLuint
 216 get_result_vector(struct i915_fragment_program *p,
 217                   const struct prog_instruction *inst)
 218 {
 219    switch (inst->DstReg.File) {
 220    case PROGRAM_OUTPUT:
 221       switch (inst->DstReg.Index) {
 222       case FRAG_RESULT_COLOR:
 223       case FRAG_RESULT_DATA0:
 224          return UREG(REG_TYPE_OC, 0);
 225       case FRAG_RESULT_DEPTH:
 226          p->depth_written = 1;
 227          return UREG(REG_TYPE_OD, 0);
 228       default:
 229          i915_program_error(p, "Bad inst->DstReg.Index: %d",
 230                             inst->DstReg.Index);
 231          return 0;
 232       }
 233    case PROGRAM_TEMPORARY:
 234       return UREG(REG_TYPE_R, inst->DstReg.Index);
 235    default:
 236       i915_program_error(p, "Bad inst->DstReg.File: %d", inst->DstReg.File);
 237       return 0;
 238    }
 239 }
 240
 241 static GLuint
 242 get_result_flags(const struct prog_instruction *inst)
 243 {
 244    GLuint flags = 0;
 245
 246    if (inst->SaturateMode == SATURATE_ZERO_ONE)
 247       flags |= A0_DEST_SATURATE;
 248    if (inst->DstReg.WriteMask & WRITEMASK_X)
 249       flags |= A0_DEST_CHANNEL_X;
 250    if (inst->DstReg.WriteMask & WRITEMASK_Y)
 251       flags |= A0_DEST_CHANNEL_Y;
 252    if (inst->DstReg.WriteMask & WRITEMASK_Z)
 253       flags |= A0_DEST_CHANNEL_Z;
 254    if (inst->DstReg.WriteMask & WRITEMASK_W)
 255       flags |= A0_DEST_CHANNEL_W;
 256
 257    return flags;
 258 }
 259
 260 static GLuint
 261 translate_tex_src_target(struct i915_fragment_program *p, GLubyte bit)
 262 {
 263    switch (bit) {
 264    case TEXTURE_1D_INDEX:
 265       return D0_SAMPLE_TYPE_2D;
 266    case TEXTURE_2D_INDEX:
 267    case TEXTURE_EXTERNAL_INDEX:
 268       return D0_SAMPLE_TYPE_2D;
 269    case TEXTURE_RECT_INDEX:
 270       return D0_SAMPLE_TYPE_2D;
 271    case TEXTURE_3D_INDEX:
 272       return D0_SAMPLE_TYPE_VOLUME;
 273    case TEXTURE_CUBE_INDEX:
 274       return D0_SAMPLE_TYPE_CUBE;
 275    default:
 276       i915_program_error(p, "TexSrcBit: %d", bit);
 277       return 0;
 278    }
 279 }
 280
 281 #define EMIT_TEX( OP )                                          \
 282 do {                                                            \
 283    GLuint dim = translate_tex_src_target( p, inst->TexSrcTarget );      \
 284    const struct gl_fragment_program *program = &p->FragProg;    \
 285    GLuint unit = program->Base.SamplerUnits[inst->TexSrcUnit];  \
 286    GLuint sampler = i915_emit_decl(p, REG_TYPE_S,               \
 287                                    unit, dim);                  \
 288    GLuint coord = src_vector( p, &inst->SrcReg[0], program);    \
 289    /* Texel lookup */                                           \
 290                                                                 \
 291    i915_emit_texld( p, get_live_regs(p, inst),                                          \
 292                get_result_vector( p, inst ),                    \
 293                get_result_flags( inst ),                        \
 294                sampler,                                         \
 295                coord,                                           \
 296                OP);                                             \
 297 } while (0)
 298
 299 #define EMIT_ARITH( OP, N )                                             \
 300 do {                                                                    \
 301    i915_emit_arith( p,                                                  \
 302                OP,                                                      \
 303                get_result_vector( p, inst ),                            \
 304                get_result_flags( inst ), 0,                     \
 305                (N<1)?0:src_vector( p, &inst->SrcReg[0], program),       \
 306                (N<2)?0:src_vector( p, &inst->SrcReg[1], program),       \
 307                (N<3)?0:src_vector( p, &inst->SrcReg[2], program));      \
 308 } while (0)
 309
 310 #define EMIT_1ARG_ARITH( OP ) EMIT_ARITH( OP, 1 )
 311 #define EMIT_2ARG_ARITH( OP ) EMIT_ARITH( OP, 2 )
 312 #define EMIT_3ARG_ARITH( OP ) EMIT_ARITH( OP, 3 )
 313
 314 /*
 315  * TODO: consider moving this into core
 316  */
 317 static bool calc_live_regs( struct i915_fragment_program *p )
 318 {
 319     const struct gl_fragment_program *program = &p->FragProg;
 320     GLuint regsUsed = ~((1 << I915_MAX_TEMPORARY) - 1);
 321     uint8_t live_components[I915_MAX_TEMPORARY] = { 0, };
 322     GLint i;
 323
 324     for (i = program->Base.NumInstructions - 1; i >= 0; i--) {
 325         struct prog_instruction *inst = &program->Base.Instructions[i];
 326         int opArgs = _mesa_num_inst_src_regs(inst->Opcode);
 327         int a;
 328
 329         /* Register is written to: unmark as live for this and preceeding ops */
 330         if (inst->DstReg.File == PROGRAM_TEMPORARY) {
 331             if (inst->DstReg.Index >= I915_MAX_TEMPORARY)
 332                return false;
 333
 334             live_components[inst->DstReg.Index] &= ~inst->DstReg.WriteMask;
 335             if (live_components[inst->DstReg.Index] == 0)
 336                 regsUsed &= ~(1 << inst->DstReg.Index);
 337         }
 338
 339         for (a = 0; a < opArgs; a++) {
 340             /* Register is read from: mark as live for this and preceeding ops */
 341             if (inst->SrcReg[a].File == PROGRAM_TEMPORARY) {
 342                 unsigned c;
 343
 344                 if (inst->SrcReg[a].Index >= I915_MAX_TEMPORARY)
 345                    return false;
 346
 347                 regsUsed |= 1 << inst->SrcReg[a].Index;
 348
 349                 for (c = 0; c < 4; c++) {
 350                     const unsigned field = GET_SWZ(inst->SrcReg[a].Swizzle, c);
 351
 352                     if (field <= SWIZZLE_W)
 353                         live_components[inst->SrcReg[a].Index] |= (1U << field);
 354                 }
 355             }
 356         }
 357
 358         p->usedRegs[i] = regsUsed;
 359     }
 360
 361     return true;
 362 }
 363
 364 static GLuint get_live_regs( struct i915_fragment_program *p,
 365                              const struct prog_instruction *inst )
 366 {
 367     const struct gl_fragment_program *program = &p->FragProg;
 368     GLuint nr = inst - program->Base.Instructions;
 369
 370     return p->usedRegs[nr];
 371 }
 372
 373
 374 /* Possible concerns:
 375  *
 376  * SIN, COS -- could use another taylor step?
 377  * LIT      -- results seem a little different to sw mesa
 378  * LOG      -- different to mesa on negative numbers, but this is conformant.
 379  *
 380  * Parse failures -- Mesa doesn't currently give a good indication
 381  * internally whether a particular program string parsed or not.  This
 382  * can lead to confusion -- hopefully we cope with it ok now.
 383  *
 384  */
 385 static void
 386 upload_program(struct i915_fragment_program *p)
 387 {
 388    const struct gl_fragment_program *program = &p->FragProg;
 389    const struct prog_instruction *inst = program->Base.Instructions;
 390
 391    if (INTEL_DEBUG & DEBUG_WM)
 392       _mesa_print_program(&program->Base);
 393
 394    /* Is this a parse-failed program?  Ensure a valid program is
 395     * loaded, as the flagging of an error isn't sufficient to stop
 396     * this being uploaded to hardware.
 397     */
 398    if (inst[0].Opcode == OPCODE_END) {
 399       GLuint tmp = i915_get_utemp(p);
 400       i915_emit_arith(p,
 401                       A0_MOV,
 402                       UREG(REG_TYPE_OC, 0),
 403                       A0_DEST_CHANNEL_ALL, 0,
 404                       swizzle(tmp, ONE, ZERO, ONE, ONE), 0, 0);
 405       return;
 406    }
 407
 408    if (program->Base.NumInstructions > I915_MAX_INSN) {
 409       i915_program_error(p, "Exceeded max instructions (%d out of %d)",
 410                          program->Base.NumInstructions, I915_MAX_INSN);
 411       return;
 412    }
 413
 414    /* Not always needed:
 415     */
 416    if (!calc_live_regs(p)) {
 417       i915_program_error(p, "Could not allocate registers");
 418       return;
 419    }
 420
 421    while (1) {
 422       GLuint src0, src1, src2, flags;
 423       GLuint tmp = 0, dst, consts0 = 0, consts1 = 0;
 424
 425       switch (inst->Opcode) {
 426       case OPCODE_ABS:
 427          src0 = src_vector(p, &inst->SrcReg[0], program);
 428          i915_emit_arith(p,
 429                          A0_MAX,
 430                          get_result_vector(p, inst),
 431                          get_result_flags(inst), 0,
 432                          src0, negate(src0, 1, 1, 1, 1), 0);
 433          break;
 434
 435       case OPCODE_ADD:
 436          EMIT_2ARG_ARITH(A0_ADD);
 437          break;
 438
 439       case OPCODE_CMP:
 440          src0 = src_vector(p, &inst->SrcReg[0], program);
 441          src1 = src_vector(p, &inst->SrcReg[1], program);
 442          src2 = src_vector(p, &inst->SrcReg[2], program);
 443          i915_emit_arith(p, A0_CMP, get_result_vector(p, inst), get_result_flags(inst), 0, src0, src2, src1);   /* NOTE: order of src2, src1 */
 444          break;
 445
 446       case OPCODE_COS:
 447          src0 = src_vector(p, &inst->SrcReg[0], program);
 448          tmp = i915_get_utemp(p);
 449          consts0 = i915_emit_const4fv(p, sin_quad_constants[0]);
 450          consts1 = i915_emit_const4fv(p, sin_quad_constants[1]);
 451
 452          /* Reduce range from repeating about [-pi,pi] to [-1,1] */
 453          i915_emit_arith(p,
 454                          A0_MAD,
 455                          tmp, A0_DEST_CHANNEL_X, 0,
 456                          src0,
 457                          swizzle(consts1, Z, ZERO, ZERO, ZERO), /* 1/(2pi) */
 458                          swizzle(consts0, W, ZERO, ZERO, ZERO)); /* .75 */
 459
 460          i915_emit_arith(p, A0_FRC, tmp, A0_DEST_CHANNEL_X, 0, tmp, 0, 0);
 461
 462          i915_emit_arith(p,
 463                          A0_MAD,
 464                          tmp, A0_DEST_CHANNEL_X, 0,
 465                          tmp,
 466                          swizzle(consts0, X, ZERO, ZERO, ZERO), /* 2 */
 467                          swizzle(consts0, Y, ZERO, ZERO, ZERO)); /* -1 */
 468
 469          /* Compute COS with the same calculation used for SIN, but a
 470           * different source range has been mapped to [-1,1] this time.
 471           */
 472
 473          /* tmp.y = abs(tmp.x); {x, abs(x), 0, 0} */
 474          i915_emit_arith(p,
 475                          A0_MAX,
 476                          tmp, A0_DEST_CHANNEL_Y, 0,
 477                          swizzle(tmp, ZERO, X, ZERO, ZERO),
 478                          negate(swizzle(tmp, ZERO, X, ZERO, ZERO), 0, 1, 0, 0),
 479                          0);
 480
 481          /* tmp.y = tmp.y * tmp.x; {x, x * abs(x), 0, 0} */
 482          i915_emit_arith(p,
 483                          A0_MUL,
 484                          tmp, A0_DEST_CHANNEL_Y, 0,
 485                          swizzle(tmp, ZERO, X, ZERO, ZERO),
 486                          tmp,
 487                          0);
 488
 489          /* tmp.x = tmp.xy DP sin_quad_constants[2].xy */
 490          i915_emit_arith(p,
 491                          A0_DP3,
 492                          tmp, A0_DEST_CHANNEL_X, 0,
 493                          tmp,
 494                          swizzle(consts1, X, Y, ZERO, ZERO),
 495                          0);
 496
 497          /* tmp.x now contains a first approximation (y).  Now, weight it
 498           * against tmp.y**2 to get closer.
 499           */
 500          i915_emit_arith(p,
 501                          A0_MAX,
 502                          tmp, A0_DEST_CHANNEL_Y, 0,
 503                          swizzle(tmp, ZERO, X, ZERO, ZERO),
 504                          negate(swizzle(tmp, ZERO, X, ZERO, ZERO), 0, 1, 0, 0),
 505                          0);
 506
 507          /* tmp.y = tmp.x * tmp.y - tmp.x; {y, y * abs(y) - y, 0, 0} */
 508          i915_emit_arith(p,
 509                          A0_MAD,
 510                          tmp, A0_DEST_CHANNEL_Y, 0,
 511                          swizzle(tmp, ZERO, X, ZERO, ZERO),
 512                          swizzle(tmp, ZERO, Y, ZERO, ZERO),
 513                          negate(swizzle(tmp, ZERO, X, ZERO, ZERO), 0, 1, 0, 0));
 514
 515          /* result = .2225 * tmp.y + tmp.x =.2225(y * abs(y) - y) + y= */
 516          i915_emit_arith(p,
 517                          A0_MAD,
 518                          get_result_vector(p, inst),
 519                          get_result_flags(inst), 0,
 520                          swizzle(consts1, W, W, W, W),
 521                          swizzle(tmp, Y, Y, Y, Y),
 522                          swizzle(tmp, X, X, X, X));
 523          break;
 524
 525       case OPCODE_DP2:
 526          src0 = src_vector(p, &inst->SrcReg[0], program);
 527          src1 = src_vector(p, &inst->SrcReg[1], program);
 528          i915_emit_arith(p,
 529                          A0_DP3,
 530                          get_result_vector(p, inst),
 531                          get_result_flags(inst), 0,
 532                          swizzle(src0, X, Y, ZERO, ZERO),
 533                          swizzle(src1, X, Y, ZERO, ZERO),
 534                          0);
 535          break;
 536
 537       case OPCODE_DP3:
 538          EMIT_2ARG_ARITH(A0_DP3);
 539          break;
 540
 541       case OPCODE_DP4:
 542          EMIT_2ARG_ARITH(A0_DP4);
 543          break;
 544
 545       case OPCODE_DPH:
 546          src0 = src_vector(p, &inst->SrcReg[0], program);
 547          src1 = src_vector(p, &inst->SrcReg[1], program);
 548
 549          i915_emit_arith(p,
 550                          A0_DP4,
 551                          get_result_vector(p, inst),
 552                          get_result_flags(inst), 0,
 553                          swizzle(src0, X, Y, Z, ONE), src1, 0);
 554          break;
 555
 556       case OPCODE_DST:
 557          src0 = src_vector(p, &inst->SrcReg[0], program);
 558          src1 = src_vector(p, &inst->SrcReg[1], program);
 559
 560          /* result[0] = 1    * 1;
 561           * result[1] = a[1] * b[1];
 562           * result[2] = a[2] * 1;
 563           * result[3] = 1    * b[3];
 564           */
 565          i915_emit_arith(p,
 566                          A0_MUL,
 567                          get_result_vector(p, inst),
 568                          get_result_flags(inst), 0,
 569                          swizzle(src0, ONE, Y, Z, ONE),
 570                          swizzle(src1, ONE, Y, ONE, W), 0);
 571          break;
 572
 573       case OPCODE_EX2:
 574          src0 = src_vector(p, &inst->SrcReg[0], program);
 575
 576          i915_emit_arith(p,
 577                          A0_EXP,
 578                          get_result_vector(p, inst),
 579                          get_result_flags(inst), 0,
 580                          swizzle(src0, X, X, X, X), 0, 0);
 581          break;
 582
 583       case OPCODE_FLR:
 584          EMIT_1ARG_ARITH(A0_FLR);
 585          break;
 586
 587       case OPCODE_TRUNC:
 588          EMIT_1ARG_ARITH(A0_TRC);
 589          break;
 590
 591       case OPCODE_FRC:
 592          EMIT_1ARG_ARITH(A0_FRC);
 593          break;
 594
 595       case OPCODE_KIL:
 596          src0 = src_vector(p, &inst->SrcReg[0], program);
 597          tmp = i915_get_utemp(p);
 598
 599          i915_emit_texld(p, get_live_regs(p, inst),
 600                          tmp, A0_DEST_CHANNEL_ALL,   /* use a dummy dest reg */
 601                          0, src0, T0_TEXKILL);
 602          break;
 603
 604       case OPCODE_KIL_NV:
 605          if (inst->DstReg.CondMask == COND_TR) {
 606             tmp = i915_get_utemp(p);
 607
 608             /* The KIL instruction discards the fragment if any component of
 609              * the source is < 0.  Emit an immediate operand of {-1}.xywz.
 610              */
 611             i915_emit_texld(p, get_live_regs(p, inst),
 612                             tmp, A0_DEST_CHANNEL_ALL,
 613                             0, /* use a dummy dest reg */
 614                             negate(swizzle(tmp, ONE, ONE, ONE, ONE),
 615                                    1, 1, 1, 1),
 616                             T0_TEXKILL);
 617          } else {
 618             p->error = 1;
 619             i915_program_error(p, "Unsupported KIL_NV condition code: %d",
 620                                inst->DstReg.CondMask);
 621          }
 622          break;
 623
 624       case OPCODE_LG2:
 625          src0 = src_vector(p, &inst->SrcReg[0], program);
 626
 627          i915_emit_arith(p,
 628                          A0_LOG,
 629                          get_result_vector(p, inst),
 630                          get_result_flags(inst), 0,
 631                          swizzle(src0, X, X, X, X), 0, 0);
 632          break;
 633
 634       case OPCODE_LIT:
 635          src0 = src_vector(p, &inst->SrcReg[0], program);
 636          tmp = i915_get_utemp(p);
 637
 638          /* tmp = max( a.xyzw, a.00zw )
 639           * XXX: Clamp tmp.w to -128..128
 640           * tmp.y = log(tmp.y)
 641           * tmp.y = tmp.w * tmp.y
 642           * tmp.y = exp(tmp.y)
 643           * result = cmp (a.11-x1, a.1x01, a.1xy1 )
 644           */
 645          i915_emit_arith(p, A0_MAX, tmp, A0_DEST_CHANNEL_ALL, 0,
 646                          src0, swizzle(src0, ZERO, ZERO, Z, W), 0);
 647
 648          i915_emit_arith(p, A0_LOG, tmp, A0_DEST_CHANNEL_Y, 0,
 649                          swizzle(tmp, Y, Y, Y, Y), 0, 0);
 650
 651          i915_emit_arith(p, A0_MUL, tmp, A0_DEST_CHANNEL_Y, 0,
 652                          swizzle(tmp, ZERO, Y, ZERO, ZERO),
 653                          swizzle(tmp, ZERO, W, ZERO, ZERO), 0);
 654
 655          i915_emit_arith(p, A0_EXP, tmp, A0_DEST_CHANNEL_Y, 0,
 656                          swizzle(tmp, Y, Y, Y, Y), 0, 0);
 657
 658          i915_emit_arith(p, A0_CMP,
 659                          get_result_vector(p, inst),
 660                          get_result_flags(inst), 0,
 661                          negate(swizzle(tmp, ONE, ONE, X, ONE), 0, 0, 1, 0),
 662                          swizzle(tmp, ONE, X, ZERO, ONE),
 663                          swizzle(tmp, ONE, X, Y, ONE));
 664
 665          break;
 666
 667       case OPCODE_LRP:
 668          src0 = src_vector(p, &inst->SrcReg[0], program);
 669          src1 = src_vector(p, &inst->SrcReg[1], program);
 670          src2 = src_vector(p, &inst->SrcReg[2], program);
 671          flags = get_result_flags(inst);
 672          tmp = i915_get_utemp(p);
 673
 674          /* b*a + c*(1-a)
 675           *
 676           * b*a + c - ca
 677           *
 678           * tmp = b*a + c,
 679           * result = (-c)*a + tmp
 680           */
 681          i915_emit_arith(p, A0_MAD, tmp,
 682                          flags & A0_DEST_CHANNEL_ALL, 0, src1, src0, src2);
 683
 684          i915_emit_arith(p, A0_MAD,
 685                          get_result_vector(p, inst),
 686                          flags, 0, negate(src2, 1, 1, 1, 1), src0, tmp);
 687          break;
 688
 689       case OPCODE_MAD:
 690          EMIT_3ARG_ARITH(A0_MAD);
 691          break;
 692
 693       case OPCODE_MAX:
 694          EMIT_2ARG_ARITH(A0_MAX);
 695          break;
 696
 697       case OPCODE_MIN:
 698          src0 = src_vector(p, &inst->SrcReg[0], program);
 699          src1 = src_vector(p, &inst->SrcReg[1], program);
 700          tmp = i915_get_utemp(p);
 701          flags = get_result_flags(inst);
 702
 703          i915_emit_arith(p,
 704                          A0_MAX,
 705                          tmp, flags & A0_DEST_CHANNEL_ALL, 0,
 706                          negate(src0, 1, 1, 1, 1),
 707                          negate(src1, 1, 1, 1, 1), 0);
 708
 709          i915_emit_arith(p,
 710                          A0_MOV,
 711                          get_result_vector(p, inst),
 712                          flags, 0, negate(tmp, 1, 1, 1, 1), 0, 0);
 713          break;
 714
 715       case OPCODE_MOV:
 716          EMIT_1ARG_ARITH(A0_MOV);
 717          break;
 718
 719       case OPCODE_MUL:
 720          EMIT_2ARG_ARITH(A0_MUL);
 721          break;
 722
 723       case OPCODE_POW:
 724          src0 = src_vector(p, &inst->SrcReg[0], program);
 725          src1 = src_vector(p, &inst->SrcReg[1], program);
 726          tmp = i915_get_utemp(p);
 727          flags = get_result_flags(inst);
 728
 729          /* XXX: masking on intermediate values, here and elsewhere.
 730           */
 731          i915_emit_arith(p,
 732                          A0_LOG,
 733                          tmp, A0_DEST_CHANNEL_X, 0,
 734                          swizzle(src0, X, X, X, X), 0, 0);
 735
 736          i915_emit_arith(p, A0_MUL, tmp, A0_DEST_CHANNEL_X, 0, tmp, src1, 0);
 737
 738
 739          i915_emit_arith(p,
 740                          A0_EXP,
 741                          get_result_vector(p, inst),
 742                          flags, 0, swizzle(tmp, X, X, X, X), 0, 0);
 743
 744          break;
 745
 746       case OPCODE_RCP:
 747          src0 = src_vector(p, &inst->SrcReg[0], program);
 748
 749          i915_emit_arith(p,
 750                          A0_RCP,
 751                          get_result_vector(p, inst),
 752                          get_result_flags(inst), 0,
 753                          swizzle(src0, X, X, X, X), 0, 0);
 754          break;
 755
 756       case OPCODE_RSQ:
 757
 758          src0 = src_vector(p, &inst->SrcReg[0], program);
 759
 760          i915_emit_arith(p,
 761                          A0_RSQ,
 762                          get_result_vector(p, inst),
 763                          get_result_flags(inst), 0,
 764                          swizzle(src0, X, X, X, X), 0, 0);
 765          break;
 766
 767       case OPCODE_SCS:
 768          src0 = src_vector(p, &inst->SrcReg[0], program);
 769          tmp = i915_get_utemp(p);
 770
 771          /*
 772           * t0.xy = MUL x.xx11, x.x1111  ; x^2, x, 1, 1
 773           * t0 = MUL t0.xyxy t0.xx11 ; x^4, x^3, x^2, x
 774           * t1 = MUL t0.xyyw t0.yz11    ; x^7 x^5 x^3 x
 775           * scs.x = DP4 t1, sin_constants
 776           * t1 = MUL t0.xxz1 t0.z111    ; x^6 x^4 x^2 1
 777           * scs.y = DP4 t1, cos_constants
 778           */
 779          i915_emit_arith(p,
 780                          A0_MUL,
 781                          tmp, A0_DEST_CHANNEL_XY, 0,
 782                          swizzle(src0, X, X, ONE, ONE),
 783                          swizzle(src0, X, ONE, ONE, ONE), 0);
 784
 785          i915_emit_arith(p,
 786                          A0_MUL,
 787                          tmp, A0_DEST_CHANNEL_ALL, 0,
 788                          swizzle(tmp, X, Y, X, Y),
 789                          swizzle(tmp, X, X, ONE, ONE), 0);
 790
 791          if (inst->DstReg.WriteMask & WRITEMASK_Y) {
 792             GLuint tmp1;
 793
 794             if (inst->DstReg.WriteMask & WRITEMASK_X)
 795                tmp1 = i915_get_utemp(p);
 796             else
 797                tmp1 = tmp;
 798
 799             i915_emit_arith(p,
 800                             A0_MUL,
 801                             tmp1, A0_DEST_CHANNEL_ALL, 0,
 802                             swizzle(tmp, X, Y, Y, W),
 803                             swizzle(tmp, X, Z, ONE, ONE), 0);
 804
 805             i915_emit_arith(p,
 806                             A0_DP4,
 807                             get_result_vector(p, inst),
 808                             A0_DEST_CHANNEL_Y, 0,
 809                             swizzle(tmp1, W, Z, Y, X),
 810                             i915_emit_const4fv(p, sin_constants), 0);
 811          }
 812
 813          if (inst->DstReg.WriteMask & WRITEMASK_X) {
 814             i915_emit_arith(p,
 815                             A0_MUL,
 816                             tmp, A0_DEST_CHANNEL_XYZ, 0,
 817                             swizzle(tmp, X, X, Z, ONE),
 818                             swizzle(tmp, Z, ONE, ONE, ONE), 0);
 819
 820             i915_emit_arith(p,
 821                             A0_DP4,
 822                             get_result_vector(p, inst),
 823                             A0_DEST_CHANNEL_X, 0,
 824                             swizzle(tmp, ONE, Z, Y, X),
 825                             i915_emit_const4fv(p, cos_constants), 0);
 826          }
 827          break;
 828
 829       case OPCODE_SEQ:
 830          tmp = i915_get_utemp(p);
 831          flags = get_result_flags(inst);
 832          dst = get_result_vector(p, inst);
 833
 834          /* If both operands are uniforms or constants, we get 5 instructions
 835           * like:
 836           *
 837           *     U[1] = MOV CONST[1]
 838           *     U[0].xyz = SGE CONST[0].xxxx, U[1]
 839           *     U[1] = MOV CONST[1].-x-y-z-w
 840           *     R[0].xyz = SGE CONST[0].-x-x-x-x, U[1]
 841           *     R[0].xyz = MUL R[0], U[0]
 842           *
 843           * This code is stupid.  Instead of having the individual calls to
 844           * i915_emit_arith generate the moves to utemps, do it in the caller.
 845           * This results in code like:
 846           *
 847           *     U[1] = MOV CONST[1]
 848           *     U[0].xyz = SGE CONST[0].xxxx, U[1]
 849           *     R[0].xyz = SGE CONST[0].-x-x-x-x, U[1].-x-y-z-w
 850           *     R[0].xyz = MUL R[0], U[0]
 851           */
 852          src0 = src_vector(p, &inst->SrcReg[0], program);
 853          src1 = src_vector(p, &inst->SrcReg[1], program);
 854
 855          if (GET_UREG_TYPE(src0) == REG_TYPE_CONST
 856              && GET_UREG_TYPE(src1) == REG_TYPE_CONST) {
 857             unsigned tmp = i915_get_utemp(p);
 858
 859             i915_emit_arith(p, A0_MOV, tmp, A0_DEST_CHANNEL_ALL, 0,
 860                             src1, 0, 0);
 861
 862             src1 = tmp;
 863          }
 864
 865          /* tmp = src1 >= src2 */
 866          i915_emit_arith(p,
 867                          A0_SGE,
 868                          tmp,
 869                          flags, 0,
 870                          src0,
 871                          src1,
 872                          0);
 873          /* dst = src1 <= src2 */
 874          i915_emit_arith(p,
 875                          A0_SGE,
 876                          dst,
 877                          flags, 0,
 878                          negate(src0, 1, 1, 1, 1),
 879                          negate(src1, 1, 1, 1, 1),
 880                          0);
 881          /* dst = tmp && dst */
 882          i915_emit_arith(p,
 883                          A0_MUL,
 884                          dst,
 885                          flags, 0,
 886                          dst,
 887                          tmp,
 888                          0);
 889          break;
 890
 891       case OPCODE_SIN:
 892          src0 = src_vector(p, &inst->SrcReg[0], program);
 893          tmp = i915_get_utemp(p);
 894          consts0 = i915_emit_const4fv(p, sin_quad_constants[0]);
 895          consts1 = i915_emit_const4fv(p, sin_quad_constants[1]);
 896
 897          /* Reduce range from repeating about [-pi,pi] to [-1,1] */
 898          i915_emit_arith(p,
 899                          A0_MAD,
 900                          tmp, A0_DEST_CHANNEL_X, 0,
 901                          src0,
 902                          swizzle(consts1, Z, ZERO, ZERO, ZERO), /* 1/(2pi) */
 903                          swizzle(consts0, Z, ZERO, ZERO, ZERO)); /* .5 */
 904
 905          i915_emit_arith(p, A0_FRC, tmp, A0_DEST_CHANNEL_X, 0, tmp, 0, 0);
 906
 907          i915_emit_arith(p,
 908                          A0_MAD,
 909                          tmp, A0_DEST_CHANNEL_X, 0,
 910                          tmp,
 911                          swizzle(consts0, X, ZERO, ZERO, ZERO), /* 2 */
 912                          swizzle(consts0, Y, ZERO, ZERO, ZERO)); /* -1 */
 913
 914          /* Compute sin using a quadratic and quartic.  It gives continuity
 915           * that repeating the Taylor series lacks every 2*pi, and has
 916           * reduced error.
 917           *
 918           * The idea was described at:
 919           * http://www.devmaster.net/forums/showthread.php?t=5784
 920           */
 921
 922          /* tmp.y = abs(tmp.x); {x, abs(x), 0, 0} */
 923          i915_emit_arith(p,
 924                          A0_MAX,
 925                          tmp, A0_DEST_CHANNEL_Y, 0,
 926                          swizzle(tmp, ZERO, X, ZERO, ZERO),
 927                          negate(swizzle(tmp, ZERO, X, ZERO, ZERO), 0, 1, 0, 0),
 928                          0);
 929
 930          /* tmp.y = tmp.y * tmp.x; {x, x * abs(x), 0, 0} */
 931          i915_emit_arith(p,
 932                          A0_MUL,
 933                          tmp, A0_DEST_CHANNEL_Y, 0,
 934                          swizzle(tmp, ZERO, X, ZERO, ZERO),
 935                          tmp,
 936                          0);
 937
 938          /* tmp.x = tmp.xy DP sin_quad_constants[2].xy */
 939          i915_emit_arith(p,
 940                          A0_DP3,
 941                          tmp, A0_DEST_CHANNEL_X, 0,
 942                          tmp,
 943                          swizzle(consts1, X, Y, ZERO, ZERO),
 944                          0);
 945
 946          /* tmp.x now contains a first approximation (y).  Now, weight it
 947           * against tmp.y**2 to get closer.
 948           */
 949          i915_emit_arith(p,
 950                          A0_MAX,
 951                          tmp, A0_DEST_CHANNEL_Y, 0,
 952                          swizzle(tmp, ZERO, X, ZERO, ZERO),
 953                          negate(swizzle(tmp, ZERO, X, ZERO, ZERO), 0, 1, 0, 0),
 954                          0);
 955
 956          /* tmp.y = tmp.x * tmp.y - tmp.x; {y, y * abs(y) - y, 0, 0} */
 957          i915_emit_arith(p,
 958                          A0_MAD,
 959                          tmp, A0_DEST_CHANNEL_Y, 0,
 960                          swizzle(tmp, ZERO, X, ZERO, ZERO),
 961                          swizzle(tmp, ZERO, Y, ZERO, ZERO),
 962                          negate(swizzle(tmp, ZERO, X, ZERO, ZERO), 0, 1, 0, 0));
 963
 964          /* result = .2225 * tmp.y + tmp.x =.2225(y * abs(y) - y) + y= */
 965          i915_emit_arith(p,
 966                          A0_MAD,
 967                          get_result_vector(p, inst),
 968                          get_result_flags(inst), 0,
 969                          swizzle(consts1, W, W, W, W),
 970                          swizzle(tmp, Y, Y, Y, Y),
 971                          swizzle(tmp, X, X, X, X));
 972
 973          break;
 974
 975       case OPCODE_SGE:
 976          EMIT_2ARG_ARITH(A0_SGE);
 977          break;
 978
 979       case OPCODE_SGT:
 980          i915_emit_arith(p,
 981                          A0_SLT,
 982                          get_result_vector( p, inst ),
 983                          get_result_flags( inst ), 0,
 984                          negate(src_vector( p, &inst->SrcReg[0], program),
 985                                 1, 1, 1, 1),
 986                          negate(src_vector( p, &inst->SrcReg[1], program),
 987                                 1, 1, 1, 1),
 988                          0);
 989          break;
 990
 991       case OPCODE_SLE:
 992          i915_emit_arith(p,
 993                          A0_SGE,
 994                          get_result_vector( p, inst ),
 995                          get_result_flags( inst ), 0,
 996                          negate(src_vector( p, &inst->SrcReg[0], program),
 997                                 1, 1, 1, 1),
 998                          negate(src_vector( p, &inst->SrcReg[1], program),
 999                                 1, 1, 1, 1),
1000                          0);
1001          break;
1002
1003       case OPCODE_SLT:
1004          EMIT_2ARG_ARITH(A0_SLT);
1005          break;
1006
1007       case OPCODE_SNE:
1008          tmp = i915_get_utemp(p);
1009          flags = get_result_flags(inst);
1010          dst = get_result_vector(p, inst);
1011
1012          /* If both operands are uniforms or constants, we get 5 instructions
1013           * like:
1014           *
1015           *     U[1] = MOV CONST[1]
1016           *     U[0].xyz = SLT CONST[0].xxxx, U[1]
1017           *     U[1] = MOV CONST[1].-x-y-z-w
1018           *     R[0].xyz = SLT CONST[0].-x-x-x-x, U[1]
1019           *     R[0].xyz = MUL R[0], U[0]
1020           *
1021           * This code is stupid.  Instead of having the individual calls to
1022           * i915_emit_arith generate the moves to utemps, do it in the caller.
1023           * This results in code like:
1024           *
1025           *     U[1] = MOV CONST[1]
1026           *     U[0].xyz = SLT CONST[0].xxxx, U[1]
1027           *     R[0].xyz = SLT CONST[0].-x-x-x-x, U[1].-x-y-z-w
1028           *     R[0].xyz = MUL R[0], U[0]
1029           */
1030          src0 = src_vector(p, &inst->SrcReg[0], program);
1031          src1 = src_vector(p, &inst->SrcReg[1], program);
1032
1033          if (GET_UREG_TYPE(src0) == REG_TYPE_CONST
1034              && GET_UREG_TYPE(src1) == REG_TYPE_CONST) {
1035             unsigned tmp = i915_get_utemp(p);
1036
1037             i915_emit_arith(p, A0_MOV, tmp, A0_DEST_CHANNEL_ALL, 0,
1038                             src1, 0, 0);
1039
1040             src1 = tmp;
1041          }
1042
1043          /* tmp = src1 < src2 */
1044          i915_emit_arith(p,
1045                          A0_SLT,
1046                          tmp,
1047                          flags, 0,
1048                          src0,
1049                          src1,
1050                          0);
1051          /* dst = src1 > src2 */
1052          i915_emit_arith(p,
1053                          A0_SLT,
1054                          dst,
1055                          flags, 0,
1056                          negate(src0, 1, 1, 1, 1),
1057                          negate(src1, 1, 1, 1, 1),
1058                          0);
1059          /* dst = tmp || dst */
1060          i915_emit_arith(p,
1061                          A0_ADD,
1062                          dst,
1063                          flags | A0_DEST_SATURATE, 0,
1064                          dst,
1065                          tmp,
1066                          0);
1067          break;
1068
1069       case OPCODE_SSG:
1070          dst = get_result_vector(p, inst);
1071          flags = get_result_flags(inst);
1072          src0 = src_vector(p, &inst->SrcReg[0], program);
1073          tmp = i915_get_utemp(p);
1074
1075          /* tmp = (src < 0.0) */
1076          i915_emit_arith(p,
1077                          A0_SLT,
1078                          tmp,
1079                          flags, 0,
1080                          src0,
1081                          swizzle(src0, ZERO, ZERO, ZERO, ZERO),
1082                          0);
1083
1084          /* dst = (0.0 < src) */
1085          i915_emit_arith(p,
1086                          A0_SLT,
1087                          dst,
1088                          flags, 0,
1089                          swizzle(src0, ZERO, ZERO, ZERO, ZERO),
1090                          src0,
1091                          0);
1092
1093          /* dst = (src > 0.0) - (src < 0.0) */
1094          i915_emit_arith(p,
1095                          A0_ADD,
1096                          dst,
1097                          flags, 0,
1098                          dst,
1099                          negate(tmp, 1, 1, 1, 1),
1100                          0);
1101
1102          break;
1103
1104       case OPCODE_SUB:
1105          src0 = src_vector(p, &inst->SrcReg[0], program);
1106          src1 = src_vector(p, &inst->SrcReg[1], program);
1107
1108          i915_emit_arith(p,
1109                          A0_ADD,
1110                          get_result_vector(p, inst),
1111                          get_result_flags(inst), 0,
1112                          src0, negate(src1, 1, 1, 1, 1), 0);
1113          break;
1114
1115       case OPCODE_SWZ:
1116          EMIT_1ARG_ARITH(A0_MOV);       /* extended swizzle handled natively */
1117          break;
1118
1119       case OPCODE_TEX:
1120          EMIT_TEX(T0_TEXLD);
1121          break;
1122
1123       case OPCODE_TXB:
1124          EMIT_TEX(T0_TEXLDB);
1125          break;
1126
1127       case OPCODE_TXP:
1128          EMIT_TEX(T0_TEXLDP);
1129          break;
1130
1131       case OPCODE_XPD:
1132          /* Cross product:
1133           *      result.x = src0.y * src1.z - src0.z * src1.y;
1134           *      result.y = src0.z * src1.x - src0.x * src1.z;
1135           *      result.z = src0.x * src1.y - src0.y * src1.x;
1136           *      result.w = undef;
1137           */
1138          src0 = src_vector(p, &inst->SrcReg[0], program);
1139          src1 = src_vector(p, &inst->SrcReg[1], program);
1140          tmp = i915_get_utemp(p);
1141
1142          i915_emit_arith(p,
1143                          A0_MUL,
1144                          tmp, A0_DEST_CHANNEL_ALL, 0,
1145                          swizzle(src0, Z, X, Y, ONE),
1146                          swizzle(src1, Y, Z, X, ONE), 0);
1147
1148          i915_emit_arith(p,
1149                          A0_MAD,
1150                          get_result_vector(p, inst),
1151                          get_result_flags(inst), 0,
1152                          swizzle(src0, Y, Z, X, ONE),
1153                          swizzle(src1, Z, X, Y, ONE),
1154                          negate(tmp, 1, 1, 1, 0));
1155          break;
1156
1157       case OPCODE_END:
1158          return;
1159
1160       case OPCODE_BGNLOOP:
1161       case OPCODE_BGNSUB:
1162       case OPCODE_BRK:
1163       case OPCODE_CAL:
1164       case OPCODE_CONT:
1165       case OPCODE_DDX:
1166       case OPCODE_DDY:
1167       case OPCODE_ELSE:
1168       case OPCODE_ENDIF:
1169       case OPCODE_ENDLOOP:
1170       case OPCODE_ENDSUB:
1171       case OPCODE_IF:
1172       case OPCODE_RET:
1173          p->error = 1;
1174          i915_program_error(p, "Unsupported opcode: %s",
1175                             _mesa_opcode_string(inst->Opcode));
1176          return;
1177
1178       case OPCODE_EXP:
1179       case OPCODE_LOG:
1180          /* These opcodes are claimed as GLSL, NV_vp, and ARB_vp in
1181           * prog_instruction.h, but apparently GLSL doesn't ever emit them.
1182           * Instead, it translates to EX2 or LG2.
1183           */
1184       case OPCODE_TXD:
1185       case OPCODE_TXL:
1186          /* These opcodes are claimed by GLSL in prog_instruction.h, but
1187           * only NV_vp/fp appears to emit them.
1188           */
1189       default:
1190          i915_program_error(p, "bad opcode: %s",
1191                             _mesa_opcode_string(inst->Opcode));
1192          return;
1193       }
1194
1195       inst++;
1196       i915_release_utemps(p);
1197    }
1198 }
1199
1200 /* Rather than trying to intercept and jiggle depth writes during
1201  * emit, just move the value into its correct position at the end of
1202  * the program:
1203  */
1204 static void
1205 fixup_depth_write(struct i915_fragment_program *p)
1206 {
1207    if (p->depth_written) {
1208       GLuint depth = UREG(REG_TYPE_OD, 0);
1209
1210       i915_emit_arith(p,
1211                       A0_MOV,
1212                       depth, A0_DEST_CHANNEL_W, 0,
1213                       swizzle(depth, X, Y, Z, Z), 0, 0);
1214    }
1215 }
1216
1217 static void
1218 check_texcoord_mapping(struct i915_fragment_program *p)
1219 {
1220    GLbitfield64 inputs = p->FragProg.Base.InputsRead;
1221    GLint i;
1222    GLint unit = 0;
1223
1224    for (i = 0; i < p->ctx->Const.MaxTextureCoordUnits; i++) {
1225       if (inputs & VARYING_BIT_TEX(i)) {
1226          if (unit >= p->ctx->Const.MaxTextureCoordUnits) {
1227             unit++;
1228             break;
1229          }
1230          p->texcoord_mapping[unit++] = i | TEXCOORD_TEX;
1231       }
1232       if (inputs & VARYING_BIT_VAR(i)) {
1233          if (unit >= p->ctx->Const.MaxTextureCoordUnits) {
1234             unit++;
1235             break;
1236          }
1237          p->texcoord_mapping[unit++] = i | TEXCOORD_VAR;
1238       }
1239    }
1240
1241    if (unit > p->ctx->Const.MaxTextureCoordUnits)
1242       i915_program_error(p, "Too many texcoord units");
1243 }
1244
1245 static void
1246 check_wpos(struct i915_fragment_program *p)
1247 {
1248    GLbitfield64 inputs = p->FragProg.Base.InputsRead;
1249    GLint i;
1250    GLint unit = 0;
1251
1252    p->wpos_tex = -1;
1253
1254    if ((inputs & VARYING_BIT_POS) == 0)
1255       return;
1256
1257    for (i = 0; i < p->ctx->Const.MaxTextureCoordUnits; i++) {
1258       unit += !!(inputs & VARYING_BIT_TEX(i));
1259       unit += !!(inputs & VARYING_BIT_VAR(i));
1260    }
1261
1262    if (unit < p->ctx->Const.MaxTextureCoordUnits)
1263       p->wpos_tex = unit;
1264    else
1265       i915_program_error(p, "No free texcoord for wpos value");
1266 }
1267
1268
1269 static void
1270 translate_program(struct i915_fragment_program *p)
1271 {
1272    struct i915_context *i915 = I915_CONTEXT(p->ctx);
1273
1274    if (INTEL_DEBUG & DEBUG_WM) {
1275       printf("fp:\n");
1276       _mesa_print_program(&p->FragProg.Base);
1277       printf("\n");
1278    }
1279
1280    i915_init_program(i915, p);
1281    check_texcoord_mapping(p);
1282    check_wpos(p);
1283    upload_program(p);
1284    fixup_depth_write(p);
1285    i915_fini_program(p);
1286
1287    p->translated = 1;
1288 }
1289
1290
1291 static void
1292 track_params(struct i915_fragment_program *p)
1293 {
1294    GLint i;
1295
1296    if (p->nr_params)
1297       _mesa_load_state_parameters(p->ctx, p->FragProg.Base.Parameters);
1298
1299    for (i = 0; i < p->nr_params; i++) {
1300       GLint reg = p->param[i].reg;
1301       COPY_4V(p->constant[reg], p->param[i].values);
1302    }
1303
1304    p->params_uptodate = 1;
1305    p->on_hardware = 0;          /* overkill */
1306 }
1307
1308
1309 static void
1310 i915BindProgram(struct gl_context * ctx, GLenum target, struct gl_program *prog)
1311 {
1312    if (target == GL_FRAGMENT_PROGRAM_ARB) {
1313       struct i915_context *i915 = I915_CONTEXT(ctx);
1314       struct i915_fragment_program *p = (struct i915_fragment_program *) prog;
1315
1316       if (i915->current_program == p)
1317          return;
1318
1319       if (i915->current_program) {
1320          i915->current_program->on_hardware = 0;
1321          i915->current_program->params_uptodate = 0;
1322       }
1323
1324       i915->current_program = p;
1325
1326       assert(p->on_hardware == 0);
1327       assert(p->params_uptodate == 0);
1328
1329    }
1330 }
1331
1332 static struct gl_program *
1333 i915NewProgram(struct gl_context * ctx, GLenum target, GLuint id)
1334 {
1335    switch (target) {
1336    case GL_VERTEX_PROGRAM_ARB:
1337       return _mesa_init_vertex_program(ctx, CALLOC_STRUCT(gl_vertex_program),
1338                                        target, id);
1339
1340    case GL_FRAGMENT_PROGRAM_ARB:{
1341          struct i915_fragment_program *prog =
1342             CALLOC_STRUCT(i915_fragment_program);
1343          if (prog) {
1344             i915_init_program(I915_CONTEXT(ctx), prog);
1345
1346             return _mesa_init_fragment_program(ctx, &prog->FragProg,
1347                                                target, id);
1348          }
1349          else
1350             return NULL;
1351       }
1352
1353    default:
1354       /* Just fallback:
1355        */
1356       return _mesa_new_program(ctx, target, id);
1357    }
1358 }
1359
1360 static void
1361 i915DeleteProgram(struct gl_context * ctx, struct gl_program *prog)
1362 {
1363    if (prog->Target == GL_FRAGMENT_PROGRAM_ARB) {
1364       struct i915_context *i915 = I915_CONTEXT(ctx);
1365       struct i915_fragment_program *p = (struct i915_fragment_program *) prog;
1366
1367       if (i915->current_program == p)
1368          i915->current_program = 0;
1369    }
1370
1371    _mesa_delete_program(ctx, prog);
1372 }
1373
1374
1375 static GLboolean
1376 i915IsProgramNative(struct gl_context * ctx, GLenum target, struct gl_program *prog)
1377 {
1378    if (target == GL_FRAGMENT_PROGRAM_ARB) {
1379       struct i915_fragment_program *p = (struct i915_fragment_program *) prog;
1380
1381       if (!p->translated)
1382          translate_program(p);
1383
1384       return !p->error;
1385    }
1386    else
1387       return true;
1388 }
1389
1390 static GLboolean
1391 i915ProgramStringNotify(struct gl_context * ctx,
1392                         GLenum target, struct gl_program *prog)
1393 {
1394    if (target == GL_FRAGMENT_PROGRAM_ARB) {
1395       struct i915_fragment_program *p = (struct i915_fragment_program *) prog;
1396       p->translated = 0;
1397    }
1398
1399    (void) _tnl_program_string(ctx, target, prog);
1400
1401    /* XXX check if program is legal, within limits */
1402    return true;
1403 }
1404
1405 static void
1406 i915SamplerUniformChange(struct gl_context *ctx,
1407                          GLenum target, struct gl_program *prog)
1408 {
1409    i915ProgramStringNotify(ctx, target, prog);
1410 }
1411
1412 void
1413 i915_update_program(struct gl_context *ctx)
1414 {
1415    struct intel_context *intel = intel_context(ctx);
1416    struct i915_context *i915 = i915_context(&intel->ctx);
1417    struct i915_fragment_program *fp =
1418       (struct i915_fragment_program *) ctx->FragmentProgram._Current;
1419
1420    if (i915->current_program != fp) {
1421       if (i915->current_program) {
1422          i915->current_program->on_hardware = 0;
1423          i915->current_program->params_uptodate = 0;
1424       }
1425
1426       i915->current_program = fp;
1427    }
1428
1429    if (!fp->translated)
1430       translate_program(fp);
1431
1432    FALLBACK(&i915->intel, I915_FALLBACK_PROGRAM, fp->error);
1433 }
1434
1435 void
1436 i915ValidateFragmentProgram(struct i915_context *i915)
1437 {
1438    struct gl_context *ctx = &i915->intel.ctx;
1439    struct intel_context *intel = intel_context(ctx);
1440    TNLcontext *tnl = TNL_CONTEXT(ctx);
1441    struct vertex_buffer *VB = &tnl->vb;
1442
1443    struct i915_fragment_program *p =
1444       (struct i915_fragment_program *) ctx->FragmentProgram._Current;
1445
1446    const GLbitfield64 inputsRead = p->FragProg.Base.InputsRead;
1447    GLuint s4 = i915->state.Ctx[I915_CTXREG_LIS4] & ~S4_VFMT_MASK;
1448    GLuint s2 = S2_TEXCOORD_NONE;
1449    int i, offset = 0;
1450
1451    /* Important:
1452     */
1453    VB->AttribPtr[VERT_ATTRIB_POS] = VB->NdcPtr;
1454
1455    if (!p->translated)
1456       translate_program(p);
1457
1458    intel->vertex_attr_count = 0;
1459    intel->wpos_offset = 0;
1460    intel->coloroffset = 0;
1461    intel->specoffset = 0;
1462
1463    if (inputsRead & VARYING_BITS_TEX_ANY || p->wpos_tex != -1) {
1464       EMIT_ATTR(_TNL_ATTRIB_POS, EMIT_4F_VIEWPORT, S4_VFMT_XYZW, 16);
1465    }
1466    else {
1467       EMIT_ATTR(_TNL_ATTRIB_POS, EMIT_3F_VIEWPORT, S4_VFMT_XYZ, 12);
1468    }
1469
1470    /* Handle gl_PointSize builtin var here */
1471    if (ctx->Point._Attenuated || ctx->VertexProgram.PointSizeEnabled)
1472       EMIT_ATTR(_TNL_ATTRIB_POINTSIZE, EMIT_1F, S4_VFMT_POINT_WIDTH, 4);
1473
1474    if (inputsRead & VARYING_BIT_COL0) {
1475       intel->coloroffset = offset / 4;
1476       EMIT_ATTR(_TNL_ATTRIB_COLOR0, EMIT_4UB_4F_BGRA, S4_VFMT_COLOR, 4);
1477    }
1478
1479    if (inputsRead & VARYING_BIT_COL1) {
1480        intel->specoffset = offset / 4;
1481        EMIT_ATTR(_TNL_ATTRIB_COLOR1, EMIT_4UB_4F_BGRA, S4_VFMT_SPEC_FOG, 4);
1482    }
1483
1484    if ((inputsRead & VARYING_BIT_FOGC)) {
1485       EMIT_ATTR(_TNL_ATTRIB_FOG, EMIT_1F, S4_VFMT_FOG_PARAM, 4);
1486    }
1487
1488    for (i = 0; i < p->ctx->Const.MaxTextureCoordUnits; i++) {
1489       if (inputsRead & VARYING_BIT_TEX(i)) {
1490          int unit = get_texcoord_mapping(p, i | TEXCOORD_TEX);
1491          int sz = VB->AttribPtr[_TNL_ATTRIB_TEX0 + i]->size;
1492
1493          s2 &= ~S2_TEXCOORD_FMT(unit, S2_TEXCOORD_FMT0_MASK);
1494          s2 |= S2_TEXCOORD_FMT(unit, SZ_TO_HW(sz));
1495
1496          EMIT_ATTR(_TNL_ATTRIB_TEX0 + i, EMIT_SZ(sz), 0, sz * 4);
1497       }
1498       if (inputsRead & VARYING_BIT_VAR(i)) {
1499          int unit = get_texcoord_mapping(p, i | TEXCOORD_VAR);
1500          int sz = VB->AttribPtr[_TNL_ATTRIB_GENERIC0 + i]->size;
1501
1502          s2 &= ~S2_TEXCOORD_FMT(unit, S2_TEXCOORD_FMT0_MASK);
1503          s2 |= S2_TEXCOORD_FMT(unit, SZ_TO_HW(sz));
1504
1505          EMIT_ATTR(_TNL_ATTRIB_GENERIC0 + i, EMIT_SZ(sz), 0, sz * 4);
1506       }
1507       if (i == p->wpos_tex) {
1508          int wpos_size = 4 * sizeof(float);
1509          /* If WPOS is required, duplicate the XYZ position data in an
1510           * unused texture coordinate:
1511           */
1512          s2 &= ~S2_TEXCOORD_FMT(i, S2_TEXCOORD_FMT0_MASK);
1513          s2 |= S2_TEXCOORD_FMT(i, SZ_TO_HW(wpos_size));
1514
1515          intel->wpos_offset = offset;
1516          EMIT_PAD(wpos_size);
1517       }
1518    }
1519
1520    if (s2 != i915->state.Ctx[I915_CTXREG_LIS2] ||
1521        s4 != i915->state.Ctx[I915_CTXREG_LIS4]) {
1522       int k;
1523
1524       I915_STATECHANGE(i915, I915_UPLOAD_CTX);
1525
1526       /* Must do this *after* statechange, so as not to affect
1527        * buffered vertices reliant on the old state:
1528        */
1529       intel->vertex_size = _tnl_install_attrs(&intel->ctx,
1530                                               intel->vertex_attrs,
1531                                               intel->vertex_attr_count,
1532                                               intel->ViewportMatrix.m, 0);
1533
1534       assert(intel->prim.current_offset == intel->prim.start_offset);
1535       intel->prim.start_offset = (intel->prim.current_offset + intel->vertex_size-1) / intel->vertex_size * intel->vertex_size;
1536       intel->prim.current_offset = intel->prim.start_offset;
1537
1538       intel->vertex_size >>= 2;
1539
1540       i915->state.Ctx[I915_CTXREG_LIS2] = s2;
1541       i915->state.Ctx[I915_CTXREG_LIS4] = s4;
1542
1543       k = intel->vtbl.check_vertex_size(intel, intel->vertex_size);
1544       assert(k);
1545    }
1546
1547    if (!p->params_uptodate)
1548       track_params(p);
1549
1550    if (!p->on_hardware)
1551       i915_upload_program(i915, p);
1552
1553    if (INTEL_DEBUG & DEBUG_WM) {
1554       printf("i915:\n");
1555       i915_disassemble_program(i915->state.Program, i915->state.ProgramSize);
1556    }
1557 }
1558
1559 void
1560 i915InitFragProgFuncs(struct dd_function_table *functions)
1561 {
1562    functions->BindProgram = i915BindProgram;
1563    functions->NewProgram = i915NewProgram;
1564    functions->DeleteProgram = i915DeleteProgram;
1565    functions->IsProgramNative = i915IsProgramNative;
1566    functions->ProgramStringNotify = i915ProgramStringNotify;
1567    functions->SamplerUniformChange = i915SamplerUniformChange;
1568 }