tcg/tci/tcg-target.c.inc

   1 /*
   2  * Tiny Code Generator for QEMU
   3  *
   4  * Copyright (c) 2009, 2011 Stefan Weil
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy
   7  * of this software and associated documentation files (the "Software"), to deal
   8  * in the Software without restriction, including without limitation the rights
   9  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  10  * copies of the Software, and to permit persons to whom the Software is
  11  * furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in
  14  * all copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
  19  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  22  * THE SOFTWARE.
  23  */
  24
  25 /* TODO list:
  26  * - See TODO comments in code.
  27  */
  28
  29 /* Marker for missing code. */
  30 #define TODO() \
  31     do { \
  32         fprintf(stderr, "TODO %s:%u: %s()\n", \
  33                 __FILE__, __LINE__, __func__); \
  34         tcg_abort(); \
  35     } while (0)
  36
  37 /* Bitfield n...m (in 32 bit value). */
  38 #define BITS(n, m) (((0xffffffffU << (31 - n)) >> (31 - n + m)) << m)
  39
  40 static TCGConstraintSetIndex tcg_target_op_def(TCGOpcode op)
  41 {
  42     switch (op) {
  43     case INDEX_op_ld8u_i32:
  44     case INDEX_op_ld8s_i32:
  45     case INDEX_op_ld16u_i32:
  46     case INDEX_op_ld16s_i32:
  47     case INDEX_op_ld_i32:
  48     case INDEX_op_ld8u_i64:
  49     case INDEX_op_ld8s_i64:
  50     case INDEX_op_ld16u_i64:
  51     case INDEX_op_ld16s_i64:
  52     case INDEX_op_ld32u_i64:
  53     case INDEX_op_ld32s_i64:
  54     case INDEX_op_ld_i64:
  55     case INDEX_op_not_i32:
  56     case INDEX_op_not_i64:
  57     case INDEX_op_neg_i32:
  58     case INDEX_op_neg_i64:
  59     case INDEX_op_ext8s_i32:
  60     case INDEX_op_ext8s_i64:
  61     case INDEX_op_ext16s_i32:
  62     case INDEX_op_ext16s_i64:
  63     case INDEX_op_ext8u_i32:
  64     case INDEX_op_ext8u_i64:
  65     case INDEX_op_ext16u_i32:
  66     case INDEX_op_ext16u_i64:
  67     case INDEX_op_ext32s_i64:
  68     case INDEX_op_ext32u_i64:
  69     case INDEX_op_ext_i32_i64:
  70     case INDEX_op_extu_i32_i64:
  71     case INDEX_op_bswap16_i32:
  72     case INDEX_op_bswap16_i64:
  73     case INDEX_op_bswap32_i32:
  74     case INDEX_op_bswap32_i64:
  75     case INDEX_op_bswap64_i64:
  76         return C_O1_I1(r, r);
  77
  78     case INDEX_op_st8_i32:
  79     case INDEX_op_st16_i32:
  80     case INDEX_op_st_i32:
  81     case INDEX_op_st8_i64:
  82     case INDEX_op_st16_i64:
  83     case INDEX_op_st32_i64:
  84     case INDEX_op_st_i64:
  85         return C_O0_I2(r, r);
  86
  87     case INDEX_op_div_i32:
  88     case INDEX_op_div_i64:
  89     case INDEX_op_divu_i32:
  90     case INDEX_op_divu_i64:
  91     case INDEX_op_rem_i32:
  92     case INDEX_op_rem_i64:
  93     case INDEX_op_remu_i32:
  94     case INDEX_op_remu_i64:
  95     case INDEX_op_add_i32:
  96     case INDEX_op_add_i64:
  97     case INDEX_op_sub_i32:
  98     case INDEX_op_sub_i64:
  99     case INDEX_op_mul_i32:
 100     case INDEX_op_mul_i64:
 101     case INDEX_op_and_i32:
 102     case INDEX_op_and_i64:
 103     case INDEX_op_andc_i32:
 104     case INDEX_op_andc_i64:
 105     case INDEX_op_eqv_i32:
 106     case INDEX_op_eqv_i64:
 107     case INDEX_op_nand_i32:
 108     case INDEX_op_nand_i64:
 109     case INDEX_op_nor_i32:
 110     case INDEX_op_nor_i64:
 111     case INDEX_op_or_i32:
 112     case INDEX_op_or_i64:
 113     case INDEX_op_orc_i32:
 114     case INDEX_op_orc_i64:
 115     case INDEX_op_xor_i32:
 116     case INDEX_op_xor_i64:
 117     case INDEX_op_shl_i32:
 118     case INDEX_op_shl_i64:
 119     case INDEX_op_shr_i32:
 120     case INDEX_op_shr_i64:
 121     case INDEX_op_sar_i32:
 122     case INDEX_op_sar_i64:
 123     case INDEX_op_rotl_i32:
 124     case INDEX_op_rotl_i64:
 125     case INDEX_op_rotr_i32:
 126     case INDEX_op_rotr_i64:
 127     case INDEX_op_setcond_i32:
 128     case INDEX_op_setcond_i64:
 129     case INDEX_op_deposit_i32:
 130     case INDEX_op_deposit_i64:
 131         return C_O1_I2(r, r, r);
 132
 133     case INDEX_op_brcond_i32:
 134     case INDEX_op_brcond_i64:
 135         return C_O0_I2(r, r);
 136
 137 #if TCG_TARGET_REG_BITS == 32
 138     /* TODO: Support R, R, R, R, RI, RI? Will it be faster? */
 139     case INDEX_op_add2_i32:
 140     case INDEX_op_sub2_i32:
 141         return C_O2_I4(r, r, r, r, r, r);
 142     case INDEX_op_brcond2_i32:
 143         return C_O0_I4(r, r, r, r);
 144     case INDEX_op_mulu2_i32:
 145         return C_O2_I2(r, r, r, r);
 146     case INDEX_op_setcond2_i32:
 147         return C_O1_I4(r, r, r, r, r);
 148 #endif
 149
 150     case INDEX_op_qemu_ld_i32:
 151         return (TARGET_LONG_BITS <= TCG_TARGET_REG_BITS
 152                 ? C_O1_I1(r, r)
 153                 : C_O1_I2(r, r, r));
 154     case INDEX_op_qemu_ld_i64:
 155         return (TCG_TARGET_REG_BITS == 64 ? C_O1_I1(r, r)
 156                 : TARGET_LONG_BITS <= TCG_TARGET_REG_BITS ? C_O2_I1(r, r, r)
 157                 : C_O2_I2(r, r, r, r));
 158     case INDEX_op_qemu_st_i32:
 159         return (TARGET_LONG_BITS <= TCG_TARGET_REG_BITS
 160                 ? C_O0_I2(r, r)
 161                 : C_O0_I3(r, r, r));
 162     case INDEX_op_qemu_st_i64:
 163         return (TCG_TARGET_REG_BITS == 64 ? C_O0_I2(r, r)
 164                 : TARGET_LONG_BITS <= TCG_TARGET_REG_BITS ? C_O0_I3(r, r, r)
 165                 : C_O0_I4(r, r, r, r));
 166
 167     default:
 168         g_assert_not_reached();
 169     }
 170 }
 171
 172 static const int tcg_target_reg_alloc_order[] = {
 173     TCG_REG_R0,
 174     TCG_REG_R1,
 175     TCG_REG_R2,
 176     TCG_REG_R3,
 177     TCG_REG_R4,
 178     TCG_REG_R5,
 179     TCG_REG_R6,
 180     TCG_REG_R7,
 181     TCG_REG_R8,
 182     TCG_REG_R9,
 183     TCG_REG_R10,
 184     TCG_REG_R11,
 185     TCG_REG_R12,
 186     TCG_REG_R13,
 187     TCG_REG_R14,
 188     TCG_REG_R15,
 189 };
 190
 191 #if MAX_OPC_PARAM_IARGS != 6
 192 # error Fix needed, number of supported input arguments changed!
 193 #endif
 194
 195 static const int tcg_target_call_iarg_regs[] = {
 196     TCG_REG_R0,
 197     TCG_REG_R1,
 198     TCG_REG_R2,
 199     TCG_REG_R3,
 200     TCG_REG_R4,
 201     TCG_REG_R5,
 202 #if TCG_TARGET_REG_BITS == 32
 203     /* 32 bit hosts need 2 * MAX_OPC_PARAM_IARGS registers. */
 204     TCG_REG_R6,
 205     TCG_REG_R7,
 206     TCG_REG_R8,
 207     TCG_REG_R9,
 208     TCG_REG_R10,
 209     TCG_REG_R11,
 210 #endif
 211 };
 212
 213 static const int tcg_target_call_oarg_regs[] = {
 214     TCG_REG_R0,
 215 #if TCG_TARGET_REG_BITS == 32
 216     TCG_REG_R1
 217 #endif
 218 };
 219
 220 #ifdef CONFIG_DEBUG_TCG
 221 static const char *const tcg_target_reg_names[TCG_TARGET_NB_REGS] = {
 222     "r00",
 223     "r01",
 224     "r02",
 225     "r03",
 226     "r04",
 227     "r05",
 228     "r06",
 229     "r07",
 230     "r08",
 231     "r09",
 232     "r10",
 233     "r11",
 234     "r12",
 235     "r13",
 236     "r14",
 237     "r15",
 238 };
 239 #endif
 240
 241 static bool patch_reloc(tcg_insn_unit *code_ptr, int type,
 242                         intptr_t value, intptr_t addend)
 243 {
 244     /* tcg_out_reloc always uses the same type, addend. */
 245     tcg_debug_assert(type == sizeof(tcg_target_long));
 246     tcg_debug_assert(addend == 0);
 247     tcg_debug_assert(value != 0);
 248     if (TCG_TARGET_REG_BITS == 32) {
 249         tcg_patch32(code_ptr, value);
 250     } else {
 251         tcg_patch64(code_ptr, value);
 252     }
 253     return true;
 254 }
 255
 256 /* Write value (native size). */
 257 static void tcg_out_i(TCGContext *s, tcg_target_ulong v)
 258 {
 259     if (TCG_TARGET_REG_BITS == 32) {
 260         tcg_out32(s, v);
 261     } else {
 262         tcg_out64(s, v);
 263     }
 264 }
 265
 266 /* Write opcode. */
 267 static void tcg_out_op_t(TCGContext *s, TCGOpcode op)
 268 {
 269     tcg_out8(s, op);
 270     tcg_out8(s, 0);
 271 }
 272
 273 /* Write register. */
 274 static void tcg_out_r(TCGContext *s, TCGArg t0)
 275 {
 276     tcg_debug_assert(t0 < TCG_TARGET_NB_REGS);
 277     tcg_out8(s, t0);
 278 }
 279
 280 /* Write label. */
 281 static void tci_out_label(TCGContext *s, TCGLabel *label)
 282 {
 283     if (label->has_value) {
 284         tcg_out_i(s, label->u.value);
 285         tcg_debug_assert(label->u.value);
 286     } else {
 287         tcg_out_reloc(s, s->code_ptr, sizeof(tcg_target_ulong), label, 0);
 288         s->code_ptr += sizeof(tcg_target_ulong);
 289     }
 290 }
 291
 292 static void stack_bounds_check(TCGReg base, target_long offset)
 293 {
 294     if (base == TCG_REG_CALL_STACK) {
 295         tcg_debug_assert(offset < 0);
 296         tcg_debug_assert(offset >= -(CPU_TEMP_BUF_NLONGS * sizeof(long)));
 297     }
 298 }
 299
 300 static void tcg_out_op_l(TCGContext *s, TCGOpcode op, TCGLabel *l0)
 301 {
 302     uint8_t *old_code_ptr = s->code_ptr;
 303
 304     tcg_out_op_t(s, op);
 305     tci_out_label(s, l0);
 306
 307     old_code_ptr[1] = s->code_ptr - old_code_ptr;
 308 }
 309
 310 static void tcg_out_op_p(TCGContext *s, TCGOpcode op, void *p0)
 311 {
 312     uint8_t *old_code_ptr = s->code_ptr;
 313
 314     tcg_out_op_t(s, op);
 315     tcg_out_i(s, (uintptr_t)p0);
 316
 317     old_code_ptr[1] = s->code_ptr - old_code_ptr;
 318 }
 319
 320 static void tcg_out_op_rr(TCGContext *s, TCGOpcode op, TCGReg r0, TCGReg r1)
 321 {
 322     uint8_t *old_code_ptr = s->code_ptr;
 323
 324     tcg_out_op_t(s, op);
 325     tcg_out_r(s, r0);
 326     tcg_out_r(s, r1);
 327
 328     old_code_ptr[1] = s->code_ptr - old_code_ptr;
 329 }
 330
 331 static void tcg_out_op_rrr(TCGContext *s, TCGOpcode op,
 332                            TCGReg r0, TCGReg r1, TCGReg r2)
 333 {
 334     uint8_t *old_code_ptr = s->code_ptr;
 335
 336     tcg_out_op_t(s, op);
 337     tcg_out_r(s, r0);
 338     tcg_out_r(s, r1);
 339     tcg_out_r(s, r2);
 340
 341     old_code_ptr[1] = s->code_ptr - old_code_ptr;
 342 }
 343
 344 static void tcg_out_op_rrs(TCGContext *s, TCGOpcode op,
 345                            TCGReg r0, TCGReg r1, intptr_t i2)
 346 {
 347     uint8_t *old_code_ptr = s->code_ptr;
 348
 349     tcg_out_op_t(s, op);
 350     tcg_out_r(s, r0);
 351     tcg_out_r(s, r1);
 352     tcg_debug_assert(i2 == (int32_t)i2);
 353     tcg_out32(s, i2);
 354
 355     old_code_ptr[1] = s->code_ptr - old_code_ptr;
 356 }
 357
 358 static void tcg_out_op_rrrc(TCGContext *s, TCGOpcode op,
 359                             TCGReg r0, TCGReg r1, TCGReg r2, TCGCond c3)
 360 {
 361     uint8_t *old_code_ptr = s->code_ptr;
 362
 363     tcg_out_op_t(s, op);
 364     tcg_out_r(s, r0);
 365     tcg_out_r(s, r1);
 366     tcg_out_r(s, r2);
 367     tcg_out8(s, c3);
 368
 369     old_code_ptr[1] = s->code_ptr - old_code_ptr;
 370 }
 371
 372 static void tcg_out_op_rrrbb(TCGContext *s, TCGOpcode op, TCGReg r0,
 373                              TCGReg r1, TCGReg r2, uint8_t b3, uint8_t b4)
 374 {
 375     uint8_t *old_code_ptr = s->code_ptr;
 376
 377     tcg_out_op_t(s, op);
 378     tcg_out_r(s, r0);
 379     tcg_out_r(s, r1);
 380     tcg_out_r(s, r2);
 381     tcg_out8(s, b3);
 382     tcg_out8(s, b4);
 383
 384     old_code_ptr[1] = s->code_ptr - old_code_ptr;
 385 }
 386
 387 #if TCG_TARGET_REG_BITS == 32
 388 static void tcg_out_op_rrrrrc(TCGContext *s, TCGOpcode op,
 389                               TCGReg r0, TCGReg r1, TCGReg r2,
 390                               TCGReg r3, TCGReg r4, TCGCond c5)
 391 {
 392     uint8_t *old_code_ptr = s->code_ptr;
 393
 394     tcg_out_op_t(s, op);
 395     tcg_out_r(s, r0);
 396     tcg_out_r(s, r1);
 397     tcg_out_r(s, r2);
 398     tcg_out_r(s, r3);
 399     tcg_out_r(s, r4);
 400     tcg_out8(s, c5);
 401
 402     old_code_ptr[1] = s->code_ptr - old_code_ptr;
 403 }
 404 #endif
 405
 406 static void tcg_out_ld(TCGContext *s, TCGType type, TCGReg val, TCGReg base,
 407                        intptr_t offset)
 408 {
 409     stack_bounds_check(base, offset);
 410     switch (type) {
 411     case TCG_TYPE_I32:
 412         tcg_out_op_rrs(s, INDEX_op_ld_i32, val, base, offset);
 413         break;
 414 #if TCG_TARGET_REG_BITS == 64
 415     case TCG_TYPE_I64:
 416         tcg_out_op_rrs(s, INDEX_op_ld_i64, val, base, offset);
 417         break;
 418 #endif
 419     default:
 420         g_assert_not_reached();
 421     }
 422 }
 423
 424 static bool tcg_out_mov(TCGContext *s, TCGType type, TCGReg ret, TCGReg arg)
 425 {
 426     switch (type) {
 427     case TCG_TYPE_I32:
 428         tcg_out_op_rr(s, INDEX_op_mov_i32, ret, arg);
 429         break;
 430 #if TCG_TARGET_REG_BITS == 64
 431     case TCG_TYPE_I64:
 432         tcg_out_op_rr(s, INDEX_op_mov_i64, ret, arg);
 433         break;
 434 #endif
 435     default:
 436         g_assert_not_reached();
 437     }
 438     return true;
 439 }
 440
 441 static void tcg_out_movi(TCGContext *s, TCGType type,
 442                          TCGReg t0, tcg_target_long arg)
 443 {
 444     uint8_t *old_code_ptr = s->code_ptr;
 445     uint32_t arg32 = arg;
 446     if (type == TCG_TYPE_I32 || arg == arg32) {
 447         tcg_out_op_t(s, INDEX_op_tci_movi_i32);
 448         tcg_out_r(s, t0);
 449         tcg_out32(s, arg32);
 450     } else {
 451         tcg_debug_assert(type == TCG_TYPE_I64);
 452 #if TCG_TARGET_REG_BITS == 64
 453         tcg_out_op_t(s, INDEX_op_tci_movi_i64);
 454         tcg_out_r(s, t0);
 455         tcg_out64(s, arg);
 456 #else
 457         TODO();
 458 #endif
 459     }
 460     old_code_ptr[1] = s->code_ptr - old_code_ptr;
 461 }
 462
 463 static inline void tcg_out_call(TCGContext *s, const tcg_insn_unit *arg)
 464 {
 465     uint8_t *old_code_ptr = s->code_ptr;
 466     tcg_out_op_t(s, INDEX_op_call);
 467     tcg_out_i(s, (uintptr_t)arg);
 468     old_code_ptr[1] = s->code_ptr - old_code_ptr;
 469 }
 470
 471 #if TCG_TARGET_REG_BITS == 64
 472 # define CASE_32_64(x) \
 473         case glue(glue(INDEX_op_, x), _i64): \
 474         case glue(glue(INDEX_op_, x), _i32):
 475 # define CASE_64(x) \
 476         case glue(glue(INDEX_op_, x), _i64):
 477 #else
 478 # define CASE_32_64(x) \
 479         case glue(glue(INDEX_op_, x), _i32):
 480 # define CASE_64(x)
 481 #endif
 482
 483 static void tcg_out_op(TCGContext *s, TCGOpcode opc, const TCGArg *args,
 484                        const int *const_args)
 485 {
 486     uint8_t *old_code_ptr = s->code_ptr;
 487
 488     switch (opc) {
 489     case INDEX_op_exit_tb:
 490         tcg_out_op_p(s, opc, (void *)args[0]);
 491         break;
 492
 493     case INDEX_op_goto_tb:
 494         tcg_debug_assert(s->tb_jmp_insn_offset == 0);
 495         /* indirect jump method. */
 496         tcg_out_op_p(s, opc, s->tb_jmp_target_addr + args[0]);
 497         set_jmp_reset_offset(s, args[0]);
 498         break;
 499
 500     case INDEX_op_br:
 501         tcg_out_op_l(s, opc, arg_label(args[0]));
 502         break;
 503
 504     CASE_32_64(setcond)
 505         tcg_out_op_rrrc(s, opc, args[0], args[1], args[2], args[3]);
 506         break;
 507
 508 #if TCG_TARGET_REG_BITS == 32
 509     case INDEX_op_setcond2_i32:
 510         tcg_out_op_rrrrrc(s, opc, args[0], args[1], args[2],
 511                           args[3], args[4], args[5]);
 512         break;
 513 #endif
 514
 515     CASE_32_64(ld8u)
 516     CASE_32_64(ld8s)
 517     CASE_32_64(ld16u)
 518     CASE_32_64(ld16s)
 519     case INDEX_op_ld_i32:
 520     CASE_64(ld32u)
 521     CASE_64(ld32s)
 522     CASE_64(ld)
 523     CASE_32_64(st8)
 524     CASE_32_64(st16)
 525     case INDEX_op_st_i32:
 526     CASE_64(st32)
 527     CASE_64(st)
 528         stack_bounds_check(args[1], args[2]);
 529         tcg_out_op_rrs(s, opc, args[0], args[1], args[2]);
 530         break;
 531
 532     CASE_32_64(add)
 533     CASE_32_64(sub)
 534     CASE_32_64(mul)
 535     CASE_32_64(and)
 536     CASE_32_64(or)
 537     CASE_32_64(xor)
 538     CASE_32_64(andc)     /* Optional (TCG_TARGET_HAS_andc_*). */
 539     CASE_32_64(orc)      /* Optional (TCG_TARGET_HAS_orc_*). */
 540     CASE_32_64(eqv)      /* Optional (TCG_TARGET_HAS_eqv_*). */
 541     CASE_32_64(nand)     /* Optional (TCG_TARGET_HAS_nand_*). */
 542     CASE_32_64(nor)      /* Optional (TCG_TARGET_HAS_nor_*). */
 543     CASE_32_64(shl)
 544     CASE_32_64(shr)
 545     CASE_32_64(sar)
 546     CASE_32_64(rotl)     /* Optional (TCG_TARGET_HAS_rot_*). */
 547     CASE_32_64(rotr)     /* Optional (TCG_TARGET_HAS_rot_*). */
 548     CASE_32_64(div)      /* Optional (TCG_TARGET_HAS_div_*). */
 549     CASE_32_64(divu)     /* Optional (TCG_TARGET_HAS_div_*). */
 550     CASE_32_64(rem)      /* Optional (TCG_TARGET_HAS_div_*). */
 551     CASE_32_64(remu)     /* Optional (TCG_TARGET_HAS_div_*). */
 552         tcg_out_op_rrr(s, opc, args[0], args[1], args[2]);
 553         break;
 554
 555     CASE_32_64(deposit)  /* Optional (TCG_TARGET_HAS_deposit_*). */
 556         {
 557             TCGArg pos = args[3], len = args[4];
 558             TCGArg max = opc == INDEX_op_deposit_i32 ? 32 : 64;
 559
 560             tcg_debug_assert(pos < max);
 561             tcg_debug_assert(pos + len <= max);
 562
 563             tcg_out_op_rrrbb(s, opc, args[0], args[1], args[2], pos, len);
 564         }
 565         break;
 566
 567     CASE_32_64(brcond)
 568         tcg_out_op_t(s, opc);
 569         tcg_out_r(s, args[0]);
 570         tcg_out_r(s, args[1]);
 571         tcg_out8(s, args[2]);           /* condition */
 572         tci_out_label(s, arg_label(args[3]));
 573         old_code_ptr[1] = s->code_ptr - old_code_ptr;
 574         break;
 575
 576     CASE_32_64(neg)      /* Optional (TCG_TARGET_HAS_neg_*). */
 577     CASE_32_64(not)      /* Optional (TCG_TARGET_HAS_not_*). */
 578     CASE_32_64(ext8s)    /* Optional (TCG_TARGET_HAS_ext8s_*). */
 579     CASE_32_64(ext8u)    /* Optional (TCG_TARGET_HAS_ext8u_*). */
 580     CASE_32_64(ext16s)   /* Optional (TCG_TARGET_HAS_ext16s_*). */
 581     CASE_32_64(ext16u)   /* Optional (TCG_TARGET_HAS_ext16u_*). */
 582     CASE_64(ext32s)      /* Optional (TCG_TARGET_HAS_ext32s_i64). */
 583     CASE_64(ext32u)      /* Optional (TCG_TARGET_HAS_ext32u_i64). */
 584     CASE_64(ext_i32)
 585     CASE_64(extu_i32)
 586     CASE_32_64(bswap16)  /* Optional (TCG_TARGET_HAS_bswap16_*). */
 587     CASE_32_64(bswap32)  /* Optional (TCG_TARGET_HAS_bswap32_*). */
 588     CASE_64(bswap64)     /* Optional (TCG_TARGET_HAS_bswap64_i64). */
 589         tcg_out_op_rr(s, opc, args[0], args[1]);
 590         break;
 591
 592 #if TCG_TARGET_REG_BITS == 32
 593     case INDEX_op_add2_i32:
 594     case INDEX_op_sub2_i32:
 595         tcg_out_op_t(s, opc);
 596         tcg_out_r(s, args[0]);
 597         tcg_out_r(s, args[1]);
 598         tcg_out_r(s, args[2]);
 599         tcg_out_r(s, args[3]);
 600         tcg_out_r(s, args[4]);
 601         tcg_out_r(s, args[5]);
 602         old_code_ptr[1] = s->code_ptr - old_code_ptr;
 603         break;
 604     case INDEX_op_brcond2_i32:
 605         tcg_out_op_t(s, opc);
 606         tcg_out_r(s, args[0]);
 607         tcg_out_r(s, args[1]);
 608         tcg_out_r(s, args[2]);
 609         tcg_out_r(s, args[3]);
 610         tcg_out8(s, args[4]);           /* condition */
 611         tci_out_label(s, arg_label(args[5]));
 612         old_code_ptr[1] = s->code_ptr - old_code_ptr;
 613         break;
 614     case INDEX_op_mulu2_i32:
 615         tcg_out_op_t(s, opc);
 616         tcg_out_r(s, args[0]);
 617         tcg_out_r(s, args[1]);
 618         tcg_out_r(s, args[2]);
 619         tcg_out_r(s, args[3]);
 620         old_code_ptr[1] = s->code_ptr - old_code_ptr;
 621         break;
 622 #endif
 623
 624     case INDEX_op_qemu_ld_i32:
 625     case INDEX_op_qemu_st_i32:
 626         tcg_out_op_t(s, opc);
 627         tcg_out_r(s, *args++);
 628         tcg_out_r(s, *args++);
 629         if (TARGET_LONG_BITS > TCG_TARGET_REG_BITS) {
 630             tcg_out_r(s, *args++);
 631         }
 632         tcg_out32(s, *args++);
 633         old_code_ptr[1] = s->code_ptr - old_code_ptr;
 634         break;
 635
 636     case INDEX_op_qemu_ld_i64:
 637     case INDEX_op_qemu_st_i64:
 638         tcg_out_op_t(s, opc);
 639         tcg_out_r(s, *args++);
 640         if (TCG_TARGET_REG_BITS == 32) {
 641             tcg_out_r(s, *args++);
 642         }
 643         tcg_out_r(s, *args++);
 644         if (TARGET_LONG_BITS > TCG_TARGET_REG_BITS) {
 645             tcg_out_r(s, *args++);
 646         }
 647         tcg_out32(s, *args++);
 648         old_code_ptr[1] = s->code_ptr - old_code_ptr;
 649         break;
 650
 651     case INDEX_op_mb:
 652         tcg_out_op_t(s, opc);
 653         old_code_ptr[1] = s->code_ptr - old_code_ptr;
 654         break;
 655
 656     case INDEX_op_mov_i32:  /* Always emitted via tcg_out_mov.  */
 657     case INDEX_op_mov_i64:
 658     case INDEX_op_call:     /* Always emitted via tcg_out_call.  */
 659     default:
 660         tcg_abort();
 661     }
 662 }
 663
 664 static void tcg_out_st(TCGContext *s, TCGType type, TCGReg val, TCGReg base,
 665                        intptr_t offset)
 666 {
 667     stack_bounds_check(base, offset);
 668     switch (type) {
 669     case TCG_TYPE_I32:
 670         tcg_out_op_rrs(s, INDEX_op_st_i32, val, base, offset);
 671         break;
 672 #if TCG_TARGET_REG_BITS == 64
 673     case TCG_TYPE_I64:
 674         tcg_out_op_rrs(s, INDEX_op_st_i64, val, base, offset);
 675         break;
 676 #endif
 677     default:
 678         g_assert_not_reached();
 679     }
 680 }
 681
 682 static inline bool tcg_out_sti(TCGContext *s, TCGType type, TCGArg val,
 683                                TCGReg base, intptr_t ofs)
 684 {
 685     return false;
 686 }
 687
 688 /* Test if a constant matches the constraint. */
 689 static int tcg_target_const_match(tcg_target_long val, TCGType type,
 690                                   const TCGArgConstraint *arg_ct)
 691 {
 692     /* No need to return 0 or 1, 0 or != 0 is good enough. */
 693     return arg_ct->ct & TCG_CT_CONST;
 694 }
 695
 696 static void tcg_target_init(TCGContext *s)
 697 {
 698 #if defined(CONFIG_DEBUG_TCG_INTERPRETER)
 699     const char *envval = getenv("DEBUG_TCG");
 700     if (envval) {
 701         qemu_set_log(strtol(envval, NULL, 0));
 702     }
 703 #endif
 704
 705     /* The current code uses uint8_t for tcg operations. */
 706     tcg_debug_assert(tcg_op_defs_max <= UINT8_MAX);
 707
 708     /* Registers available for 32 bit operations. */
 709     tcg_target_available_regs[TCG_TYPE_I32] = BIT(TCG_TARGET_NB_REGS) - 1;
 710     /* Registers available for 64 bit operations. */
 711     tcg_target_available_regs[TCG_TYPE_I64] = BIT(TCG_TARGET_NB_REGS) - 1;
 712     /* TODO: Which registers should be set here? */
 713     tcg_target_call_clobber_regs = BIT(TCG_TARGET_NB_REGS) - 1;
 714
 715     s->reserved_regs = 0;
 716     tcg_regset_set_reg(s->reserved_regs, TCG_REG_CALL_STACK);
 717
 718     /* We use negative offsets from "sp" so that we can distinguish
 719        stores that might pretend to be call arguments.  */
 720     tcg_set_frame(s, TCG_REG_CALL_STACK,
 721                   -CPU_TEMP_BUF_NLONGS * sizeof(long),
 722                   CPU_TEMP_BUF_NLONGS * sizeof(long));
 723 }
 724
 725 /* Generate global QEMU prologue and epilogue code. */
 726 static inline void tcg_target_qemu_prologue(TCGContext *s)
 727 {
 728 }