lib/Target/Hexagon/HexagonInstrInfo.cpp

   1 //===-- HexagonInstrInfo.cpp - Hexagon Instruction Information ------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file contains the Hexagon implementation of the TargetInstrInfo class.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "Hexagon.h"
  15 #include "HexagonHazardRecognizer.h"
  16 #include "HexagonInstrInfo.h"
  17 #include "HexagonRegisterInfo.h"
  18 #include "HexagonSubtarget.h"
  19 #include "llvm/ADT/SmallPtrSet.h"
  20 #include "llvm/ADT/SmallVector.h"
  21 #include "llvm/ADT/StringRef.h"
  22 #include "llvm/CodeGen/DFAPacketizer.h"
  23 #include "llvm/CodeGen/LivePhysRegs.h"
  24 #include "llvm/CodeGen/MachineBasicBlock.h"
  25 #include "llvm/CodeGen/MachineBranchProbabilityInfo.h"
  26 #include "llvm/CodeGen/MachineFrameInfo.h"
  27 #include "llvm/CodeGen/MachineFunction.h"
  28 #include "llvm/CodeGen/MachineInstr.h"
  29 #include "llvm/CodeGen/MachineInstrBuilder.h"
  30 #include "llvm/CodeGen/MachineInstrBundle.h"
  31 #include "llvm/CodeGen/MachineLoopInfo.h"
  32 #include "llvm/CodeGen/MachineMemOperand.h"
  33 #include "llvm/CodeGen/MachineOperand.h"
  34 #include "llvm/CodeGen/MachineRegisterInfo.h"
  35 #include "llvm/CodeGen/ScheduleDAG.h"
  36 #include "llvm/MC/MCAsmInfo.h"
  37 #include "llvm/MC/MCInstrDesc.h"
  38 #include "llvm/MC/MCInstrItineraries.h"
  39 #include "llvm/MC/MCRegisterInfo.h"
  40 #include "llvm/Support/BranchProbability.h"
  41 #include "llvm/Support/CommandLine.h"
  42 #include "llvm/Support/Debug.h"
  43 #include "llvm/Support/ErrorHandling.h"
  44 #include "llvm/Support/MathExtras.h"
  45 #include "llvm/Support/raw_ostream.h"
  46 #include "llvm/Target/TargetInstrInfo.h"
  47 #include "llvm/Target/TargetSubtargetInfo.h"
  48 #include <cassert>
  49 #include <cctype>
  50 #include <cstdint>
  51 #include <cstring>
  52 #include <iterator>
  53
  54 using namespace llvm;
  55
  56 #define DEBUG_TYPE "hexagon-instrinfo"
  57
  58 #define GET_INSTRINFO_CTOR_DTOR
  59 #define GET_INSTRMAP_INFO
  60 #include "HexagonGenInstrInfo.inc"
  61 #include "HexagonGenDFAPacketizer.inc"
  62 #include "HexagonDepTimingClasses.h"
  63
  64 cl::opt<bool> ScheduleInlineAsm("hexagon-sched-inline-asm", cl::Hidden,
  65   cl::init(false), cl::desc("Do not consider inline-asm a scheduling/"
  66                             "packetization boundary."));
  67
  68 static cl::opt<bool> EnableBranchPrediction("hexagon-enable-branch-prediction",
  69   cl::Hidden, cl::init(true), cl::desc("Enable branch prediction"));
  70
  71 static cl::opt<bool> DisableNVSchedule("disable-hexagon-nv-schedule",
  72   cl::Hidden, cl::ZeroOrMore, cl::init(false),
  73   cl::desc("Disable schedule adjustment for new value stores."));
  74
  75 static cl::opt<bool> EnableTimingClassLatency(
  76   "enable-timing-class-latency", cl::Hidden, cl::init(false),
  77   cl::desc("Enable timing class latency"));
  78
  79 static cl::opt<bool> EnableALUForwarding(
  80   "enable-alu-forwarding", cl::Hidden, cl::init(true),
  81   cl::desc("Enable vec alu forwarding"));
  82
  83 static cl::opt<bool> EnableACCForwarding(
  84   "enable-acc-forwarding", cl::Hidden, cl::init(true),
  85   cl::desc("Enable vec acc forwarding"));
  86
  87 static cl::opt<bool> BranchRelaxAsmLarge("branch-relax-asm-large",
  88   cl::init(true), cl::Hidden, cl::ZeroOrMore, cl::desc("branch relax asm"));
  89
  90 static cl::opt<bool> UseDFAHazardRec("dfa-hazard-rec",
  91   cl::init(true), cl::Hidden, cl::ZeroOrMore,
  92   cl::desc("Use the DFA based hazard recognizer."));
  93
  94 ///
  95 /// Constants for Hexagon instructions.
  96 ///
  97 const int Hexagon_MEMV_OFFSET_MAX_128B = 896;   // #s4: -8*128...7*128
  98 const int Hexagon_MEMV_OFFSET_MIN_128B = -1024; // #s4
  99 const int Hexagon_MEMV_OFFSET_MAX = 448;  // #s4: -8*64...7*64
 100 const int Hexagon_MEMV_OFFSET_MIN = -512; // #s4
 101 const int Hexagon_MEMW_OFFSET_MAX = 4095;
 102 const int Hexagon_MEMW_OFFSET_MIN = -4096;
 103 const int Hexagon_MEMD_OFFSET_MAX = 8191;
 104 const int Hexagon_MEMD_OFFSET_MIN = -8192;
 105 const int Hexagon_MEMH_OFFSET_MAX = 2047;
 106 const int Hexagon_MEMH_OFFSET_MIN = -2048;
 107 const int Hexagon_MEMB_OFFSET_MAX = 1023;
 108 const int Hexagon_MEMB_OFFSET_MIN = -1024;
 109 const int Hexagon_ADDI_OFFSET_MAX = 32767;
 110 const int Hexagon_ADDI_OFFSET_MIN = -32768;
 111 const int Hexagon_MEMD_AUTOINC_MAX = 56;
 112 const int Hexagon_MEMD_AUTOINC_MIN = -64;
 113 const int Hexagon_MEMW_AUTOINC_MAX = 28;
 114 const int Hexagon_MEMW_AUTOINC_MIN = -32;
 115 const int Hexagon_MEMH_AUTOINC_MAX = 14;
 116 const int Hexagon_MEMH_AUTOINC_MIN = -16;
 117 const int Hexagon_MEMB_AUTOINC_MAX = 7;
 118 const int Hexagon_MEMB_AUTOINC_MIN = -8;
 119 const int Hexagon_MEMV_AUTOINC_MAX = 192;   // #s3
 120 const int Hexagon_MEMV_AUTOINC_MIN = -256;  // #s3
 121 const int Hexagon_MEMV_AUTOINC_MAX_128B = 384;  // #s3
 122 const int Hexagon_MEMV_AUTOINC_MIN_128B = -512; // #s3
 123
 124 // Pin the vtable to this file.
 125 void HexagonInstrInfo::anchor() {}
 126
 127 HexagonInstrInfo::HexagonInstrInfo(HexagonSubtarget &ST)
 128     : HexagonGenInstrInfo(Hexagon::ADJCALLSTACKDOWN, Hexagon::ADJCALLSTACKUP),
 129       RI() {}
 130
 131 static bool isIntRegForSubInst(unsigned Reg) {
 132   return (Reg >= Hexagon::R0 && Reg <= Hexagon::R7) ||
 133          (Reg >= Hexagon::R16 && Reg <= Hexagon::R23);
 134 }
 135
 136 static bool isDblRegForSubInst(unsigned Reg, const HexagonRegisterInfo &HRI) {
 137   return isIntRegForSubInst(HRI.getSubReg(Reg, Hexagon::isub_lo)) &&
 138          isIntRegForSubInst(HRI.getSubReg(Reg, Hexagon::isub_hi));
 139 }
 140
 141 /// Calculate number of instructions excluding the debug instructions.
 142 static unsigned nonDbgMICount(MachineBasicBlock::const_instr_iterator MIB,
 143                               MachineBasicBlock::const_instr_iterator MIE) {
 144   unsigned Count = 0;
 145   for (; MIB != MIE; ++MIB) {
 146     if (!MIB->isDebugValue())
 147       ++Count;
 148   }
 149   return Count;
 150 }
 151
 152 /// Find the hardware loop instruction used to set-up the specified loop.
 153 /// On Hexagon, we have two instructions used to set-up the hardware loop
 154 /// (LOOP0, LOOP1) with corresponding endloop (ENDLOOP0, ENDLOOP1) instructions
 155 /// to indicate the end of a loop.
 156 static MachineInstr *findLoopInstr(MachineBasicBlock *BB, unsigned EndLoopOp,
 157       MachineBasicBlock *TargetBB,
 158       SmallPtrSet<MachineBasicBlock *, 8> &Visited) {
 159   unsigned LOOPi;
 160   unsigned LOOPr;
 161   if (EndLoopOp == Hexagon::ENDLOOP0) {
 162     LOOPi = Hexagon::J2_loop0i;
 163     LOOPr = Hexagon::J2_loop0r;
 164   } else { // EndLoopOp == Hexagon::EndLOOP1
 165     LOOPi = Hexagon::J2_loop1i;
 166     LOOPr = Hexagon::J2_loop1r;
 167   }
 168
 169   // The loop set-up instruction will be in a predecessor block
 170   for (MachineBasicBlock *PB : BB->predecessors()) {
 171     // If this has been visited, already skip it.
 172     if (!Visited.insert(PB).second)
 173       continue;
 174     if (PB == BB)
 175       continue;
 176     for (auto I = PB->instr_rbegin(), E = PB->instr_rend(); I != E; ++I) {
 177       unsigned Opc = I->getOpcode();
 178       if (Opc == LOOPi || Opc == LOOPr)
 179         return &*I;
 180       // We've reached a different loop, which means the loop01 has been
 181       // removed.
 182       if (Opc == EndLoopOp && I->getOperand(0).getMBB() != TargetBB)
 183         return nullptr;
 184     }
 185     // Check the predecessors for the LOOP instruction.
 186     if (MachineInstr *Loop = findLoopInstr(PB, EndLoopOp, TargetBB, Visited))
 187       return Loop;
 188   }
 189   return nullptr;
 190 }
 191
 192 /// Gather register def/uses from MI.
 193 /// This treats possible (predicated) defs as actually happening ones
 194 /// (conservatively).
 195 static inline void parseOperands(const MachineInstr &MI,
 196       SmallVector<unsigned, 4> &Defs, SmallVector<unsigned, 8> &Uses) {
 197   Defs.clear();
 198   Uses.clear();
 199
 200   for (unsigned i = 0, e = MI.getNumOperands(); i != e; ++i) {
 201     const MachineOperand &MO = MI.getOperand(i);
 202
 203     if (!MO.isReg())
 204       continue;
 205
 206     unsigned Reg = MO.getReg();
 207     if (!Reg)
 208       continue;
 209
 210     if (MO.isUse())
 211       Uses.push_back(MO.getReg());
 212
 213     if (MO.isDef())
 214       Defs.push_back(MO.getReg());
 215   }
 216 }
 217
 218 // Position dependent, so check twice for swap.
 219 static bool isDuplexPairMatch(unsigned Ga, unsigned Gb) {
 220   switch (Ga) {
 221   case HexagonII::HSIG_None:
 222   default:
 223     return false;
 224   case HexagonII::HSIG_L1:
 225     return (Gb == HexagonII::HSIG_L1 || Gb == HexagonII::HSIG_A);
 226   case HexagonII::HSIG_L2:
 227     return (Gb == HexagonII::HSIG_L1 || Gb == HexagonII::HSIG_L2 ||
 228             Gb == HexagonII::HSIG_A);
 229   case HexagonII::HSIG_S1:
 230     return (Gb == HexagonII::HSIG_L1 || Gb == HexagonII::HSIG_L2 ||
 231             Gb == HexagonII::HSIG_S1 || Gb == HexagonII::HSIG_A);
 232   case HexagonII::HSIG_S2:
 233     return (Gb == HexagonII::HSIG_L1 || Gb == HexagonII::HSIG_L2 ||
 234             Gb == HexagonII::HSIG_S1 || Gb == HexagonII::HSIG_S2 ||
 235             Gb == HexagonII::HSIG_A);
 236   case HexagonII::HSIG_A:
 237     return (Gb == HexagonII::HSIG_A);
 238   case HexagonII::HSIG_Compound:
 239     return (Gb == HexagonII::HSIG_Compound);
 240   }
 241   return false;
 242 }
 243
 244 /// isLoadFromStackSlot - If the specified machine instruction is a direct
 245 /// load from a stack slot, return the virtual or physical register number of
 246 /// the destination along with the FrameIndex of the loaded stack slot.  If
 247 /// not, return 0.  This predicate must return 0 if the instruction has
 248 /// any side effects other than loading from the stack slot.
 249 unsigned HexagonInstrInfo::isLoadFromStackSlot(const MachineInstr &MI,
 250                                                int &FrameIndex) const {
 251   switch (MI.getOpcode()) {
 252   default:
 253     break;
 254   case Hexagon::L2_loadri_io:
 255   case Hexagon::L2_loadrd_io:
 256   case Hexagon::V6_vL32b_ai:
 257   case Hexagon::V6_vL32b_ai_128B:
 258   case Hexagon::V6_vL32Ub_ai:
 259   case Hexagon::V6_vL32Ub_ai_128B:
 260   case Hexagon::LDriw_pred:
 261   case Hexagon::LDriw_mod:
 262   case Hexagon::PS_vloadrq_ai:
 263   case Hexagon::PS_vloadrw_ai:
 264   case Hexagon::PS_vloadrq_ai_128B:
 265   case Hexagon::PS_vloadrw_ai_128B: {
 266     const MachineOperand OpFI = MI.getOperand(1);
 267     if (!OpFI.isFI())
 268       return 0;
 269     const MachineOperand OpOff = MI.getOperand(2);
 270     if (!OpOff.isImm() || OpOff.getImm() != 0)
 271       return 0;
 272     FrameIndex = OpFI.getIndex();
 273     return MI.getOperand(0).getReg();
 274   }
 275
 276   case Hexagon::L2_ploadrit_io:
 277   case Hexagon::L2_ploadrif_io:
 278   case Hexagon::L2_ploadrdt_io:
 279   case Hexagon::L2_ploadrdf_io: {
 280     const MachineOperand OpFI = MI.getOperand(2);
 281     if (!OpFI.isFI())
 282       return 0;
 283     const MachineOperand OpOff = MI.getOperand(3);
 284     if (!OpOff.isImm() || OpOff.getImm() != 0)
 285       return 0;
 286     FrameIndex = OpFI.getIndex();
 287     return MI.getOperand(0).getReg();
 288   }
 289   }
 290
 291   return 0;
 292 }
 293
 294 /// isStoreToStackSlot - If the specified machine instruction is a direct
 295 /// store to a stack slot, return the virtual or physical register number of
 296 /// the source reg along with the FrameIndex of the loaded stack slot.  If
 297 /// not, return 0.  This predicate must return 0 if the instruction has
 298 /// any side effects other than storing to the stack slot.
 299 unsigned HexagonInstrInfo::isStoreToStackSlot(const MachineInstr &MI,
 300                                               int &FrameIndex) const {
 301   switch (MI.getOpcode()) {
 302   default:
 303     break;
 304   case Hexagon::S2_storerb_io:
 305   case Hexagon::S2_storerh_io:
 306   case Hexagon::S2_storeri_io:
 307   case Hexagon::S2_storerd_io:
 308   case Hexagon::V6_vS32b_ai:
 309   case Hexagon::V6_vS32b_ai_128B:
 310   case Hexagon::V6_vS32Ub_ai:
 311   case Hexagon::V6_vS32Ub_ai_128B:
 312   case Hexagon::STriw_pred:
 313   case Hexagon::STriw_mod:
 314   case Hexagon::PS_vstorerq_ai:
 315   case Hexagon::PS_vstorerw_ai:
 316   case Hexagon::PS_vstorerq_ai_128B:
 317   case Hexagon::PS_vstorerw_ai_128B: {
 318     const MachineOperand &OpFI = MI.getOperand(0);
 319     if (!OpFI.isFI())
 320       return 0;
 321     const MachineOperand &OpOff = MI.getOperand(1);
 322     if (!OpOff.isImm() || OpOff.getImm() != 0)
 323       return 0;
 324     FrameIndex = OpFI.getIndex();
 325     return MI.getOperand(2).getReg();
 326   }
 327
 328   case Hexagon::S2_pstorerbt_io:
 329   case Hexagon::S2_pstorerbf_io:
 330   case Hexagon::S2_pstorerht_io:
 331   case Hexagon::S2_pstorerhf_io:
 332   case Hexagon::S2_pstorerit_io:
 333   case Hexagon::S2_pstorerif_io:
 334   case Hexagon::S2_pstorerdt_io:
 335   case Hexagon::S2_pstorerdf_io: {
 336     const MachineOperand &OpFI = MI.getOperand(1);
 337     if (!OpFI.isFI())
 338       return 0;
 339     const MachineOperand &OpOff = MI.getOperand(2);
 340     if (!OpOff.isImm() || OpOff.getImm() != 0)
 341       return 0;
 342     FrameIndex = OpFI.getIndex();
 343     return MI.getOperand(3).getReg();
 344   }
 345   }
 346
 347   return 0;
 348 }
 349
 350 /// This function can analyze one/two way branching only and should (mostly) be
 351 /// called by target independent side.
 352 /// First entry is always the opcode of the branching instruction, except when
 353 /// the Cond vector is supposed to be empty, e.g., when AnalyzeBranch fails, a
 354 /// BB with only unconditional jump. Subsequent entries depend upon the opcode,
 355 /// e.g. Jump_c p will have
 356 /// Cond[0] = Jump_c
 357 /// Cond[1] = p
 358 /// HW-loop ENDLOOP:
 359 /// Cond[0] = ENDLOOP
 360 /// Cond[1] = MBB
 361 /// New value jump:
 362 /// Cond[0] = Hexagon::CMPEQri_f_Jumpnv_t_V4 -- specific opcode
 363 /// Cond[1] = R
 364 /// Cond[2] = Imm
 365 ///
 366 bool HexagonInstrInfo::analyzeBranch(MachineBasicBlock &MBB,
 367                                      MachineBasicBlock *&TBB,
 368                                      MachineBasicBlock *&FBB,
 369                                      SmallVectorImpl<MachineOperand> &Cond,
 370                                      bool AllowModify) const {
 371   TBB = nullptr;
 372   FBB = nullptr;
 373   Cond.clear();
 374
 375   // If the block has no terminators, it just falls into the block after it.
 376   MachineBasicBlock::instr_iterator I = MBB.instr_end();
 377   if (I == MBB.instr_begin())
 378     return false;
 379
 380   // A basic block may looks like this:
 381   //
 382   //  [   insn
 383   //     EH_LABEL
 384   //      insn
 385   //      insn
 386   //      insn
 387   //     EH_LABEL
 388   //      insn     ]
 389   //
 390   // It has two succs but does not have a terminator
 391   // Don't know how to handle it.
 392   do {
 393     --I;
 394     if (I->isEHLabel())
 395       // Don't analyze EH branches.
 396       return true;
 397   } while (I != MBB.instr_begin());
 398
 399   I = MBB.instr_end();
 400   --I;
 401
 402   while (I->isDebugValue()) {
 403     if (I == MBB.instr_begin())
 404       return false;
 405     --I;
 406   }
 407
 408   bool JumpToBlock = I->getOpcode() == Hexagon::J2_jump &&
 409                      I->getOperand(0).isMBB();
 410   // Delete the J2_jump if it's equivalent to a fall-through.
 411   if (AllowModify && JumpToBlock &&
 412       MBB.isLayoutSuccessor(I->getOperand(0).getMBB())) {
 413     DEBUG(dbgs() << "\nErasing the jump to successor block\n";);
 414     I->eraseFromParent();
 415     I = MBB.instr_end();
 416     if (I == MBB.instr_begin())
 417       return false;
 418     --I;
 419   }
 420   if (!isUnpredicatedTerminator(*I))
 421     return false;
 422
 423   // Get the last instruction in the block.
 424   MachineInstr *LastInst = &*I;
 425   MachineInstr *SecondLastInst = nullptr;
 426   // Find one more terminator if present.
 427   while (true) {
 428     if (&*I != LastInst && !I->isBundle() && isUnpredicatedTerminator(*I)) {
 429       if (!SecondLastInst)
 430         SecondLastInst = &*I;
 431       else
 432         // This is a third branch.
 433         return true;
 434     }
 435     if (I == MBB.instr_begin())
 436       break;
 437     --I;
 438   }
 439
 440   int LastOpcode = LastInst->getOpcode();
 441   int SecLastOpcode = SecondLastInst ? SecondLastInst->getOpcode() : 0;
 442   // If the branch target is not a basic block, it could be a tail call.
 443   // (It is, if the target is a function.)
 444   if (LastOpcode == Hexagon::J2_jump && !LastInst->getOperand(0).isMBB())
 445     return true;
 446   if (SecLastOpcode == Hexagon::J2_jump &&
 447       !SecondLastInst->getOperand(0).isMBB())
 448     return true;
 449
 450   bool LastOpcodeHasJMP_c = PredOpcodeHasJMP_c(LastOpcode);
 451   bool LastOpcodeHasNVJump = isNewValueJump(*LastInst);
 452
 453   if (LastOpcodeHasJMP_c && !LastInst->getOperand(1).isMBB())
 454     return true;
 455
 456   // If there is only one terminator instruction, process it.
 457   if (LastInst && !SecondLastInst) {
 458     if (LastOpcode == Hexagon::J2_jump) {
 459       TBB = LastInst->getOperand(0).getMBB();
 460       return false;
 461     }
 462     if (isEndLoopN(LastOpcode)) {
 463       TBB = LastInst->getOperand(0).getMBB();
 464       Cond.push_back(MachineOperand::CreateImm(LastInst->getOpcode()));
 465       Cond.push_back(LastInst->getOperand(0));
 466       return false;
 467     }
 468     if (LastOpcodeHasJMP_c) {
 469       TBB = LastInst->getOperand(1).getMBB();
 470       Cond.push_back(MachineOperand::CreateImm(LastInst->getOpcode()));
 471       Cond.push_back(LastInst->getOperand(0));
 472       return false;
 473     }
 474     // Only supporting rr/ri versions of new-value jumps.
 475     if (LastOpcodeHasNVJump && (LastInst->getNumExplicitOperands() == 3)) {
 476       TBB = LastInst->getOperand(2).getMBB();
 477       Cond.push_back(MachineOperand::CreateImm(LastInst->getOpcode()));
 478       Cond.push_back(LastInst->getOperand(0));
 479       Cond.push_back(LastInst->getOperand(1));
 480       return false;
 481     }
 482     DEBUG(dbgs() << "\nCant analyze BB#" << MBB.getNumber()
 483                  << " with one jump\n";);
 484     // Otherwise, don't know what this is.
 485     return true;
 486   }
 487
 488   bool SecLastOpcodeHasJMP_c = PredOpcodeHasJMP_c(SecLastOpcode);
 489   bool SecLastOpcodeHasNVJump = isNewValueJump(*SecondLastInst);
 490   if (SecLastOpcodeHasJMP_c && (LastOpcode == Hexagon::J2_jump)) {
 491     if (!SecondLastInst->getOperand(1).isMBB())
 492       return true;
 493     TBB =  SecondLastInst->getOperand(1).getMBB();
 494     Cond.push_back(MachineOperand::CreateImm(SecondLastInst->getOpcode()));
 495     Cond.push_back(SecondLastInst->getOperand(0));
 496     FBB = LastInst->getOperand(0).getMBB();
 497     return false;
 498   }
 499
 500   // Only supporting rr/ri versions of new-value jumps.
 501   if (SecLastOpcodeHasNVJump &&
 502       (SecondLastInst->getNumExplicitOperands() == 3) &&
 503       (LastOpcode == Hexagon::J2_jump)) {
 504     TBB = SecondLastInst->getOperand(2).getMBB();
 505     Cond.push_back(MachineOperand::CreateImm(SecondLastInst->getOpcode()));
 506     Cond.push_back(SecondLastInst->getOperand(0));
 507     Cond.push_back(SecondLastInst->getOperand(1));
 508     FBB = LastInst->getOperand(0).getMBB();
 509     return false;
 510   }
 511
 512   // If the block ends with two Hexagon:JMPs, handle it.  The second one is not
 513   // executed, so remove it.
 514   if (SecLastOpcode == Hexagon::J2_jump && LastOpcode == Hexagon::J2_jump) {
 515     TBB = SecondLastInst->getOperand(0).getMBB();
 516     I = LastInst->getIterator();
 517     if (AllowModify)
 518       I->eraseFromParent();
 519     return false;
 520   }
 521
 522   // If the block ends with an ENDLOOP, and J2_jump, handle it.
 523   if (isEndLoopN(SecLastOpcode) && LastOpcode == Hexagon::J2_jump) {
 524     TBB = SecondLastInst->getOperand(0).getMBB();
 525     Cond.push_back(MachineOperand::CreateImm(SecondLastInst->getOpcode()));
 526     Cond.push_back(SecondLastInst->getOperand(0));
 527     FBB = LastInst->getOperand(0).getMBB();
 528     return false;
 529   }
 530   DEBUG(dbgs() << "\nCant analyze BB#" << MBB.getNumber()
 531                << " with two jumps";);
 532   // Otherwise, can't handle this.
 533   return true;
 534 }
 535
 536 unsigned HexagonInstrInfo::removeBranch(MachineBasicBlock &MBB,
 537                                         int *BytesRemoved) const {
 538   assert(!BytesRemoved && "code size not handled");
 539
 540   DEBUG(dbgs() << "\nRemoving branches out of BB#" << MBB.getNumber());
 541   MachineBasicBlock::iterator I = MBB.end();
 542   unsigned Count = 0;
 543   while (I != MBB.begin()) {
 544     --I;
 545     if (I->isDebugValue())
 546       continue;
 547     // Only removing branches from end of MBB.
 548     if (!I->isBranch())
 549       return Count;
 550     if (Count && (I->getOpcode() == Hexagon::J2_jump))
 551       llvm_unreachable("Malformed basic block: unconditional branch not last");
 552     MBB.erase(&MBB.back());
 553     I = MBB.end();
 554     ++Count;
 555   }
 556   return Count;
 557 }
 558
 559 unsigned HexagonInstrInfo::insertBranch(MachineBasicBlock &MBB,
 560                                         MachineBasicBlock *TBB,
 561                                         MachineBasicBlock *FBB,
 562                                         ArrayRef<MachineOperand> Cond,
 563                                         const DebugLoc &DL,
 564                                         int *BytesAdded) const {
 565   unsigned BOpc   = Hexagon::J2_jump;
 566   unsigned BccOpc = Hexagon::J2_jumpt;
 567   assert(validateBranchCond(Cond) && "Invalid branching condition");
 568   assert(TBB && "insertBranch must not be told to insert a fallthrough");
 569   assert(!BytesAdded && "code size not handled");
 570
 571   // Check if reverseBranchCondition has asked to reverse this branch
 572   // If we want to reverse the branch an odd number of times, we want
 573   // J2_jumpf.
 574   if (!Cond.empty() && Cond[0].isImm())
 575     BccOpc = Cond[0].getImm();
 576
 577   if (!FBB) {
 578     if (Cond.empty()) {
 579       // Due to a bug in TailMerging/CFG Optimization, we need to add a
 580       // special case handling of a predicated jump followed by an
 581       // unconditional jump. If not, Tail Merging and CFG Optimization go
 582       // into an infinite loop.
 583       MachineBasicBlock *NewTBB, *NewFBB;
 584       SmallVector<MachineOperand, 4> Cond;
 585       auto Term = MBB.getFirstTerminator();
 586       if (Term != MBB.end() && isPredicated(*Term) &&
 587           !analyzeBranch(MBB, NewTBB, NewFBB, Cond, false) &&
 588           MachineFunction::iterator(NewTBB) == ++MBB.getIterator()) {
 589         reverseBranchCondition(Cond);
 590         removeBranch(MBB);
 591         return insertBranch(MBB, TBB, nullptr, Cond, DL);
 592       }
 593       BuildMI(&MBB, DL, get(BOpc)).addMBB(TBB);
 594     } else if (isEndLoopN(Cond[0].getImm())) {
 595       int EndLoopOp = Cond[0].getImm();
 596       assert(Cond[1].isMBB());
 597       // Since we're adding an ENDLOOP, there better be a LOOP instruction.
 598       // Check for it, and change the BB target if needed.
 599       SmallPtrSet<MachineBasicBlock *, 8> VisitedBBs;
 600       MachineInstr *Loop = findLoopInstr(TBB, EndLoopOp, Cond[1].getMBB(),
 601                                          VisitedBBs);
 602       assert(Loop != 0 && "Inserting an ENDLOOP without a LOOP");
 603       Loop->getOperand(0).setMBB(TBB);
 604       // Add the ENDLOOP after the finding the LOOP0.
 605       BuildMI(&MBB, DL, get(EndLoopOp)).addMBB(TBB);
 606     } else if (isNewValueJump(Cond[0].getImm())) {
 607       assert((Cond.size() == 3) && "Only supporting rr/ri version of nvjump");
 608       // New value jump
 609       // (ins IntRegs:$src1, IntRegs:$src2, brtarget:$offset)
 610       // (ins IntRegs:$src1, u5Imm:$src2, brtarget:$offset)
 611       unsigned Flags1 = getUndefRegState(Cond[1].isUndef());
 612       DEBUG(dbgs() << "\nInserting NVJump for BB#" << MBB.getNumber(););
 613       if (Cond[2].isReg()) {
 614         unsigned Flags2 = getUndefRegState(Cond[2].isUndef());
 615         BuildMI(&MBB, DL, get(BccOpc)).addReg(Cond[1].getReg(), Flags1).
 616           addReg(Cond[2].getReg(), Flags2).addMBB(TBB);
 617       } else if(Cond[2].isImm()) {
 618         BuildMI(&MBB, DL, get(BccOpc)).addReg(Cond[1].getReg(), Flags1).
 619           addImm(Cond[2].getImm()).addMBB(TBB);
 620       } else
 621         llvm_unreachable("Invalid condition for branching");
 622     } else {
 623       assert((Cond.size() == 2) && "Malformed cond vector");
 624       const MachineOperand &RO = Cond[1];
 625       unsigned Flags = getUndefRegState(RO.isUndef());
 626       BuildMI(&MBB, DL, get(BccOpc)).addReg(RO.getReg(), Flags).addMBB(TBB);
 627     }
 628     return 1;
 629   }
 630   assert((!Cond.empty()) &&
 631          "Cond. cannot be empty when multiple branchings are required");
 632   assert((!isNewValueJump(Cond[0].getImm())) &&
 633          "NV-jump cannot be inserted with another branch");
 634   // Special case for hardware loops.  The condition is a basic block.
 635   if (isEndLoopN(Cond[0].getImm())) {
 636     int EndLoopOp = Cond[0].getImm();
 637     assert(Cond[1].isMBB());
 638     // Since we're adding an ENDLOOP, there better be a LOOP instruction.
 639     // Check for it, and change the BB target if needed.
 640     SmallPtrSet<MachineBasicBlock *, 8> VisitedBBs;
 641     MachineInstr *Loop = findLoopInstr(TBB, EndLoopOp, Cond[1].getMBB(),
 642                                        VisitedBBs);
 643     assert(Loop != 0 && "Inserting an ENDLOOP without a LOOP");
 644     Loop->getOperand(0).setMBB(TBB);
 645     // Add the ENDLOOP after the finding the LOOP0.
 646     BuildMI(&MBB, DL, get(EndLoopOp)).addMBB(TBB);
 647   } else {
 648     const MachineOperand &RO = Cond[1];
 649     unsigned Flags = getUndefRegState(RO.isUndef());
 650     BuildMI(&MBB, DL, get(BccOpc)).addReg(RO.getReg(), Flags).addMBB(TBB);
 651   }
 652   BuildMI(&MBB, DL, get(BOpc)).addMBB(FBB);
 653
 654   return 2;
 655 }
 656
 657 /// Analyze the loop code to find the loop induction variable and compare used
 658 /// to compute the number of iterations. Currently, we analyze loop that are
 659 /// controlled using hardware loops.  In this case, the induction variable
 660 /// instruction is null.  For all other cases, this function returns true, which
 661 /// means we're unable to analyze it.
 662 bool HexagonInstrInfo::analyzeLoop(MachineLoop &L,
 663                                    MachineInstr *&IndVarInst,
 664                                    MachineInstr *&CmpInst) const {
 665
 666   MachineBasicBlock *LoopEnd = L.getBottomBlock();
 667   MachineBasicBlock::iterator I = LoopEnd->getFirstTerminator();
 668   // We really "analyze" only hardware loops right now.
 669   if (I != LoopEnd->end() && isEndLoopN(I->getOpcode())) {
 670     IndVarInst = nullptr;
 671     CmpInst = &*I;
 672     return false;
 673   }
 674   return true;
 675 }
 676
 677 /// Generate code to reduce the loop iteration by one and check if the loop is
 678 /// finished. Return the value/register of the new loop count. this function
 679 /// assumes the nth iteration is peeled first.
 680 unsigned HexagonInstrInfo::reduceLoopCount(MachineBasicBlock &MBB,
 681       MachineInstr *IndVar, MachineInstr &Cmp,
 682       SmallVectorImpl<MachineOperand> &Cond,
 683       SmallVectorImpl<MachineInstr *> &PrevInsts,
 684       unsigned Iter, unsigned MaxIter) const {
 685   // We expect a hardware loop currently. This means that IndVar is set
 686   // to null, and the compare is the ENDLOOP instruction.
 687   assert((!IndVar) && isEndLoopN(Cmp.getOpcode())
 688                    && "Expecting a hardware loop");
 689   MachineFunction *MF = MBB.getParent();
 690   DebugLoc DL = Cmp.getDebugLoc();
 691   SmallPtrSet<MachineBasicBlock *, 8> VisitedBBs;
 692   MachineInstr *Loop = findLoopInstr(&MBB, Cmp.getOpcode(),
 693                                      Cmp.getOperand(0).getMBB(), VisitedBBs);
 694   if (!Loop)
 695     return 0;
 696   // If the loop trip count is a compile-time value, then just change the
 697   // value.
 698   if (Loop->getOpcode() == Hexagon::J2_loop0i ||
 699       Loop->getOpcode() == Hexagon::J2_loop1i) {
 700     int64_t Offset = Loop->getOperand(1).getImm();
 701     if (Offset <= 1)
 702       Loop->eraseFromParent();
 703     else
 704       Loop->getOperand(1).setImm(Offset - 1);
 705     return Offset - 1;
 706   }
 707   // The loop trip count is a run-time value. We generate code to subtract
 708   // one from the trip count, and update the loop instruction.
 709   assert(Loop->getOpcode() == Hexagon::J2_loop0r && "Unexpected instruction");
 710   unsigned LoopCount = Loop->getOperand(1).getReg();
 711   // Check if we're done with the loop.
 712   unsigned LoopEnd = createVR(MF, MVT::i1);
 713   MachineInstr *NewCmp = BuildMI(&MBB, DL, get(Hexagon::C2_cmpgtui), LoopEnd).
 714     addReg(LoopCount).addImm(1);
 715   unsigned NewLoopCount = createVR(MF, MVT::i32);
 716   MachineInstr *NewAdd = BuildMI(&MBB, DL, get(Hexagon::A2_addi), NewLoopCount).
 717     addReg(LoopCount).addImm(-1);
 718   // Update the previously generated instructions with the new loop counter.
 719   for (SmallVectorImpl<MachineInstr *>::iterator I = PrevInsts.begin(),
 720          E = PrevInsts.end(); I != E; ++I)
 721     (*I)->substituteRegister(LoopCount, NewLoopCount, 0, getRegisterInfo());
 722   PrevInsts.clear();
 723   PrevInsts.push_back(NewCmp);
 724   PrevInsts.push_back(NewAdd);
 725   // Insert the new loop instruction if this is the last time the loop is
 726   // decremented.
 727   if (Iter == MaxIter)
 728     BuildMI(&MBB, DL, get(Hexagon::J2_loop0r)).
 729       addMBB(Loop->getOperand(0).getMBB()).addReg(NewLoopCount);
 730   // Delete the old loop instruction.
 731   if (Iter == 0)
 732     Loop->eraseFromParent();
 733   Cond.push_back(MachineOperand::CreateImm(Hexagon::J2_jumpf));
 734   Cond.push_back(NewCmp->getOperand(0));
 735   return NewLoopCount;
 736 }
 737
 738 bool HexagonInstrInfo::isProfitableToIfCvt(MachineBasicBlock &MBB,
 739       unsigned NumCycles, unsigned ExtraPredCycles,
 740       BranchProbability Probability) const {
 741   return nonDbgBBSize(&MBB) <= 3;
 742 }
 743
 744 bool HexagonInstrInfo::isProfitableToIfCvt(MachineBasicBlock &TMBB,
 745       unsigned NumTCycles, unsigned ExtraTCycles, MachineBasicBlock &FMBB,
 746       unsigned NumFCycles, unsigned ExtraFCycles, BranchProbability Probability)
 747       const {
 748   return nonDbgBBSize(&TMBB) <= 3 && nonDbgBBSize(&FMBB) <= 3;
 749 }
 750
 751 bool HexagonInstrInfo::isProfitableToDupForIfCvt(MachineBasicBlock &MBB,
 752       unsigned NumInstrs, BranchProbability Probability) const {
 753   return NumInstrs <= 4;
 754 }
 755
 756 void HexagonInstrInfo::copyPhysReg(MachineBasicBlock &MBB,
 757                                    MachineBasicBlock::iterator I,
 758                                    const DebugLoc &DL, unsigned DestReg,
 759                                    unsigned SrcReg, bool KillSrc) const {
 760   auto &HRI = getRegisterInfo();
 761   unsigned KillFlag = getKillRegState(KillSrc);
 762
 763   if (Hexagon::IntRegsRegClass.contains(SrcReg, DestReg)) {
 764     BuildMI(MBB, I, DL, get(Hexagon::A2_tfr), DestReg)
 765       .addReg(SrcReg, KillFlag);
 766     return;
 767   }
 768   if (Hexagon::DoubleRegsRegClass.contains(SrcReg, DestReg)) {
 769     BuildMI(MBB, I, DL, get(Hexagon::A2_tfrp), DestReg)
 770       .addReg(SrcReg, KillFlag);
 771     return;
 772   }
 773   if (Hexagon::PredRegsRegClass.contains(SrcReg, DestReg)) {
 774     // Map Pd = Ps to Pd = or(Ps, Ps).
 775     BuildMI(MBB, I, DL, get(Hexagon::C2_or), DestReg)
 776       .addReg(SrcReg).addReg(SrcReg, KillFlag);
 777     return;
 778   }
 779   if (Hexagon::CtrRegsRegClass.contains(DestReg) &&
 780       Hexagon::IntRegsRegClass.contains(SrcReg)) {
 781     BuildMI(MBB, I, DL, get(Hexagon::A2_tfrrcr), DestReg)
 782       .addReg(SrcReg, KillFlag);
 783     return;
 784   }
 785   if (Hexagon::IntRegsRegClass.contains(DestReg) &&
 786       Hexagon::CtrRegsRegClass.contains(SrcReg)) {
 787     BuildMI(MBB, I, DL, get(Hexagon::A2_tfrcrr), DestReg)
 788       .addReg(SrcReg, KillFlag);
 789     return;
 790   }
 791   if (Hexagon::ModRegsRegClass.contains(DestReg) &&
 792       Hexagon::IntRegsRegClass.contains(SrcReg)) {
 793     BuildMI(MBB, I, DL, get(Hexagon::A2_tfrrcr), DestReg)
 794       .addReg(SrcReg, KillFlag);
 795     return;
 796   }
 797   if (Hexagon::PredRegsRegClass.contains(SrcReg) &&
 798       Hexagon::IntRegsRegClass.contains(DestReg)) {
 799     BuildMI(MBB, I, DL, get(Hexagon::C2_tfrpr), DestReg)
 800       .addReg(SrcReg, KillFlag);
 801     return;
 802   }
 803   if (Hexagon::IntRegsRegClass.contains(SrcReg) &&
 804       Hexagon::PredRegsRegClass.contains(DestReg)) {
 805     BuildMI(MBB, I, DL, get(Hexagon::C2_tfrrp), DestReg)
 806       .addReg(SrcReg, KillFlag);
 807     return;
 808   }
 809   if (Hexagon::PredRegsRegClass.contains(SrcReg) &&
 810       Hexagon::IntRegsRegClass.contains(DestReg)) {
 811     BuildMI(MBB, I, DL, get(Hexagon::C2_tfrpr), DestReg)
 812       .addReg(SrcReg, KillFlag);
 813     return;
 814   }
 815   if (Hexagon::VectorRegsRegClass.contains(SrcReg, DestReg)) {
 816     BuildMI(MBB, I, DL, get(Hexagon::V6_vassign), DestReg).
 817       addReg(SrcReg, KillFlag);
 818     return;
 819   }
 820   if (Hexagon::VecDblRegsRegClass.contains(SrcReg, DestReg)) {
 821     unsigned LoSrc = HRI.getSubReg(SrcReg, Hexagon::vsub_lo);
 822     unsigned HiSrc = HRI.getSubReg(SrcReg, Hexagon::vsub_hi);
 823     BuildMI(MBB, I, DL, get(Hexagon::V6_vcombine), DestReg)
 824       .addReg(HiSrc, KillFlag)
 825       .addReg(LoSrc, KillFlag);
 826     return;
 827   }
 828   if (Hexagon::VecPredRegsRegClass.contains(SrcReg, DestReg)) {
 829     BuildMI(MBB, I, DL, get(Hexagon::V6_pred_and), DestReg)
 830       .addReg(SrcReg)
 831       .addReg(SrcReg, KillFlag);
 832     return;
 833   }
 834   if (Hexagon::VecPredRegsRegClass.contains(SrcReg) &&
 835       Hexagon::VectorRegsRegClass.contains(DestReg)) {
 836     llvm_unreachable("Unimplemented pred to vec");
 837     return;
 838   }
 839   if (Hexagon::VecPredRegsRegClass.contains(DestReg) &&
 840       Hexagon::VectorRegsRegClass.contains(SrcReg)) {
 841     llvm_unreachable("Unimplemented vec to pred");
 842     return;
 843   }
 844   if (Hexagon::VecPredRegs128BRegClass.contains(SrcReg, DestReg)) {
 845     unsigned HiDst = HRI.getSubReg(DestReg, Hexagon::vsub_hi);
 846     unsigned LoDst = HRI.getSubReg(DestReg, Hexagon::vsub_lo);
 847     unsigned HiSrc = HRI.getSubReg(SrcReg, Hexagon::vsub_hi);
 848     unsigned LoSrc = HRI.getSubReg(SrcReg, Hexagon::vsub_lo);
 849     BuildMI(MBB, I, DL, get(Hexagon::V6_pred_and), HiDst)
 850       .addReg(HiSrc, KillFlag);
 851     BuildMI(MBB, I, DL, get(Hexagon::V6_pred_and), LoDst)
 852       .addReg(LoSrc, KillFlag);
 853     return;
 854   }
 855
 856 #ifndef NDEBUG
 857   // Show the invalid registers to ease debugging.
 858   dbgs() << "Invalid registers for copy in BB#" << MBB.getNumber()
 859          << ": " << PrintReg(DestReg, &HRI)
 860          << " = " << PrintReg(SrcReg, &HRI) << '\n';
 861 #endif
 862   llvm_unreachable("Unimplemented");
 863 }
 864
 865 void HexagonInstrInfo::storeRegToStackSlot(MachineBasicBlock &MBB,
 866       MachineBasicBlock::iterator I, unsigned SrcReg, bool isKill, int FI,
 867       const TargetRegisterClass *RC, const TargetRegisterInfo *TRI) const {
 868   DebugLoc DL = MBB.findDebugLoc(I);
 869   MachineFunction &MF = *MBB.getParent();
 870   MachineFrameInfo &MFI = MF.getFrameInfo();
 871   unsigned Align = MFI.getObjectAlignment(FI);
 872   unsigned KillFlag = getKillRegState(isKill);
 873   bool HasAlloca = MFI.hasVarSizedObjects();
 874   const auto &HST = MF.getSubtarget<HexagonSubtarget>();
 875   const HexagonFrameLowering &HFI = *HST.getFrameLowering();
 876
 877   MachineMemOperand *MMO = MF.getMachineMemOperand(
 878       MachinePointerInfo::getFixedStack(MF, FI), MachineMemOperand::MOStore,
 879       MFI.getObjectSize(FI), Align);
 880
 881   if (Hexagon::IntRegsRegClass.hasSubClassEq(RC)) {
 882     BuildMI(MBB, I, DL, get(Hexagon::S2_storeri_io))
 883       .addFrameIndex(FI).addImm(0)
 884       .addReg(SrcReg, KillFlag).addMemOperand(MMO);
 885   } else if (Hexagon::DoubleRegsRegClass.hasSubClassEq(RC)) {
 886     BuildMI(MBB, I, DL, get(Hexagon::S2_storerd_io))
 887       .addFrameIndex(FI).addImm(0)
 888       .addReg(SrcReg, KillFlag).addMemOperand(MMO);
 889   } else if (Hexagon::PredRegsRegClass.hasSubClassEq(RC)) {
 890     BuildMI(MBB, I, DL, get(Hexagon::STriw_pred))
 891       .addFrameIndex(FI).addImm(0)
 892       .addReg(SrcReg, KillFlag).addMemOperand(MMO);
 893   } else if (Hexagon::ModRegsRegClass.hasSubClassEq(RC)) {
 894     BuildMI(MBB, I, DL, get(Hexagon::STriw_mod))
 895       .addFrameIndex(FI).addImm(0)
 896       .addReg(SrcReg, KillFlag).addMemOperand(MMO);
 897   } else if (Hexagon::VecPredRegs128BRegClass.hasSubClassEq(RC)) {
 898     BuildMI(MBB, I, DL, get(Hexagon::PS_vstorerq_ai_128B))
 899       .addFrameIndex(FI).addImm(0)
 900       .addReg(SrcReg, KillFlag).addMemOperand(MMO);
 901   } else if (Hexagon::VecPredRegsRegClass.hasSubClassEq(RC)) {
 902     BuildMI(MBB, I, DL, get(Hexagon::PS_vstorerq_ai))
 903       .addFrameIndex(FI).addImm(0)
 904       .addReg(SrcReg, KillFlag).addMemOperand(MMO);
 905   } else if (Hexagon::VectorRegs128BRegClass.hasSubClassEq(RC)) {
 906     // If there are variable-sized objects, spills will not be aligned.
 907     if (HasAlloca)
 908       Align = HFI.getStackAlignment();
 909     unsigned Opc = Align < 128 ? Hexagon::V6_vS32Ub_ai_128B
 910                                : Hexagon::V6_vS32b_ai_128B;
 911     BuildMI(MBB, I, DL, get(Opc))
 912       .addFrameIndex(FI).addImm(0)
 913       .addReg(SrcReg, KillFlag).addMemOperand(MMO);
 914   } else if (Hexagon::VectorRegsRegClass.hasSubClassEq(RC)) {
 915     // If there are variable-sized objects, spills will not be aligned.
 916     if (HasAlloca)
 917       Align = HFI.getStackAlignment();
 918     unsigned Opc = Align < 64 ? Hexagon::V6_vS32Ub_ai
 919                               : Hexagon::V6_vS32b_ai;
 920     BuildMI(MBB, I, DL, get(Opc))
 921       .addFrameIndex(FI).addImm(0)
 922       .addReg(SrcReg, KillFlag).addMemOperand(MMO);
 923   } else if (Hexagon::VecDblRegsRegClass.hasSubClassEq(RC)) {
 924     // If there are variable-sized objects, spills will not be aligned.
 925     if (HasAlloca)
 926       Align = HFI.getStackAlignment();
 927     unsigned Opc = Align < 64 ? Hexagon::PS_vstorerwu_ai
 928                               : Hexagon::PS_vstorerw_ai;
 929     BuildMI(MBB, I, DL, get(Opc))
 930       .addFrameIndex(FI).addImm(0)
 931       .addReg(SrcReg, KillFlag).addMemOperand(MMO);
 932   } else if (Hexagon::VecDblRegs128BRegClass.hasSubClassEq(RC)) {
 933     // If there are variable-sized objects, spills will not be aligned.
 934     if (HasAlloca)
 935       Align = HFI.getStackAlignment();
 936     unsigned Opc = Align < 128 ? Hexagon::PS_vstorerwu_ai_128B
 937                                : Hexagon::PS_vstorerw_ai_128B;
 938     BuildMI(MBB, I, DL, get(Opc))
 939       .addFrameIndex(FI).addImm(0)
 940       .addReg(SrcReg, KillFlag).addMemOperand(MMO);
 941   } else {
 942     llvm_unreachable("Unimplemented");
 943   }
 944 }
 945
 946 void HexagonInstrInfo::loadRegFromStackSlot(
 947     MachineBasicBlock &MBB, MachineBasicBlock::iterator I, unsigned DestReg,
 948     int FI, const TargetRegisterClass *RC,
 949     const TargetRegisterInfo *TRI) const {
 950   DebugLoc DL = MBB.findDebugLoc(I);
 951   MachineFunction &MF = *MBB.getParent();
 952   MachineFrameInfo &MFI = MF.getFrameInfo();
 953   unsigned Align = MFI.getObjectAlignment(FI);
 954   bool HasAlloca = MFI.hasVarSizedObjects();
 955   const auto &HST = MF.getSubtarget<HexagonSubtarget>();
 956   const HexagonFrameLowering &HFI = *HST.getFrameLowering();
 957
 958   MachineMemOperand *MMO = MF.getMachineMemOperand(
 959       MachinePointerInfo::getFixedStack(MF, FI), MachineMemOperand::MOLoad,
 960       MFI.getObjectSize(FI), Align);
 961
 962   if (Hexagon::IntRegsRegClass.hasSubClassEq(RC)) {
 963     BuildMI(MBB, I, DL, get(Hexagon::L2_loadri_io), DestReg)
 964       .addFrameIndex(FI).addImm(0).addMemOperand(MMO);
 965   } else if (Hexagon::DoubleRegsRegClass.hasSubClassEq(RC)) {
 966     BuildMI(MBB, I, DL, get(Hexagon::L2_loadrd_io), DestReg)
 967       .addFrameIndex(FI).addImm(0).addMemOperand(MMO);
 968   } else if (Hexagon::PredRegsRegClass.hasSubClassEq(RC)) {
 969     BuildMI(MBB, I, DL, get(Hexagon::LDriw_pred), DestReg)
 970       .addFrameIndex(FI).addImm(0).addMemOperand(MMO);
 971   } else if (Hexagon::ModRegsRegClass.hasSubClassEq(RC)) {
 972     BuildMI(MBB, I, DL, get(Hexagon::LDriw_mod), DestReg)
 973       .addFrameIndex(FI).addImm(0).addMemOperand(MMO);
 974   } else if (Hexagon::VecPredRegs128BRegClass.hasSubClassEq(RC)) {
 975     BuildMI(MBB, I, DL, get(Hexagon::PS_vloadrq_ai_128B), DestReg)
 976       .addFrameIndex(FI).addImm(0).addMemOperand(MMO);
 977   } else if (Hexagon::VecPredRegsRegClass.hasSubClassEq(RC)) {
 978     BuildMI(MBB, I, DL, get(Hexagon::PS_vloadrq_ai), DestReg)
 979       .addFrameIndex(FI).addImm(0).addMemOperand(MMO);
 980   } else if (Hexagon::VecDblRegs128BRegClass.hasSubClassEq(RC)) {
 981     // If there are variable-sized objects, spills will not be aligned.
 982     if (HasAlloca)
 983       Align = HFI.getStackAlignment();
 984     unsigned Opc = Align < 128 ? Hexagon::PS_vloadrwu_ai_128B
 985                                : Hexagon::PS_vloadrw_ai_128B;
 986     BuildMI(MBB, I, DL, get(Opc), DestReg)
 987       .addFrameIndex(FI).addImm(0).addMemOperand(MMO);
 988   } else if (Hexagon::VectorRegs128BRegClass.hasSubClassEq(RC)) {
 989     // If there are variable-sized objects, spills will not be aligned.
 990     if (HasAlloca)
 991       Align = HFI.getStackAlignment();
 992     unsigned Opc = Align < 128 ? Hexagon::V6_vL32Ub_ai_128B
 993                                : Hexagon::V6_vL32b_ai_128B;
 994     BuildMI(MBB, I, DL, get(Opc), DestReg)
 995       .addFrameIndex(FI).addImm(0).addMemOperand(MMO);
 996   } else if (Hexagon::VectorRegsRegClass.hasSubClassEq(RC)) {
 997     // If there are variable-sized objects, spills will not be aligned.
 998     if (HasAlloca)
 999       Align = HFI.getStackAlignment();
1000     unsigned Opc = Align < 64 ? Hexagon::V6_vL32Ub_ai
1001                               : Hexagon::V6_vL32b_ai;
1002     BuildMI(MBB, I, DL, get(Opc), DestReg)
1003       .addFrameIndex(FI).addImm(0).addMemOperand(MMO);
1004   } else if (Hexagon::VecDblRegsRegClass.hasSubClassEq(RC)) {
1005     // If there are variable-sized objects, spills will not be aligned.
1006     if (HasAlloca)
1007       Align = HFI.getStackAlignment();
1008     unsigned Opc = Align < 64 ? Hexagon::PS_vloadrwu_ai
1009                               : Hexagon::PS_vloadrw_ai;
1010     BuildMI(MBB, I, DL, get(Opc), DestReg)
1011       .addFrameIndex(FI).addImm(0).addMemOperand(MMO);
1012   } else {
1013     llvm_unreachable("Can't store this register to stack slot");
1014   }
1015 }
1016
1017 static void getLiveRegsAt(LivePhysRegs &Regs, const MachineInstr &MI) {
1018   const MachineBasicBlock &B = *MI.getParent();
1019   Regs.addLiveOuts(B);
1020   auto E = ++MachineBasicBlock::const_iterator(MI.getIterator()).getReverse();
1021   for (auto I = B.rbegin(); I != E; ++I)
1022     Regs.stepBackward(*I);
1023 }
1024
1025 /// expandPostRAPseudo - This function is called for all pseudo instructions
1026 /// that remain after register allocation. Many pseudo instructions are
1027 /// created to help register allocation. This is the place to convert them
1028 /// into real instructions. The target can edit MI in place, or it can insert
1029 /// new instructions and erase MI. The function should return true if
1030 /// anything was changed.
1031 bool HexagonInstrInfo::expandPostRAPseudo(MachineInstr &MI) const {
1032   const HexagonRegisterInfo &HRI = getRegisterInfo();
1033   MachineRegisterInfo &MRI = MI.getParent()->getParent()->getRegInfo();
1034   MachineBasicBlock &MBB = *MI.getParent();
1035   DebugLoc DL = MI.getDebugLoc();
1036   unsigned Opc = MI.getOpcode();
1037   const unsigned VecOffset = 1;
1038
1039   switch (Opc) {
1040     case TargetOpcode::COPY: {
1041       MachineOperand &MD = MI.getOperand(0);
1042       MachineOperand &MS = MI.getOperand(1);
1043       MachineBasicBlock::iterator MBBI = MI.getIterator();
1044       if (MD.getReg() != MS.getReg() && !MS.isUndef()) {
1045         copyPhysReg(MBB, MI, DL, MD.getReg(), MS.getReg(), MS.isKill());
1046         std::prev(MBBI)->copyImplicitOps(*MBB.getParent(), MI);
1047       }
1048       MBB.erase(MBBI);
1049       return true;
1050     }
1051     case Hexagon::PS_aligna:
1052       BuildMI(MBB, MI, DL, get(Hexagon::A2_andir), MI.getOperand(0).getReg())
1053           .addReg(HRI.getFrameRegister())
1054           .addImm(-MI.getOperand(1).getImm());
1055       MBB.erase(MI);
1056       return true;
1057     case Hexagon::V6_vassignp_128B:
1058     case Hexagon::V6_vassignp: {
1059       unsigned SrcReg = MI.getOperand(1).getReg();
1060       unsigned DstReg = MI.getOperand(0).getReg();
1061       unsigned Kill = getKillRegState(MI.getOperand(1).isKill());
1062       BuildMI(MBB, MI, DL, get(Hexagon::V6_vcombine), DstReg)
1063         .addReg(HRI.getSubReg(SrcReg, Hexagon::vsub_hi), Kill)
1064         .addReg(HRI.getSubReg(SrcReg, Hexagon::vsub_lo), Kill);
1065       MBB.erase(MI);
1066       return true;
1067     }
1068     case Hexagon::V6_lo_128B:
1069     case Hexagon::V6_lo: {
1070       unsigned SrcReg = MI.getOperand(1).getReg();
1071       unsigned DstReg = MI.getOperand(0).getReg();
1072       unsigned SrcSubLo = HRI.getSubReg(SrcReg, Hexagon::vsub_lo);
1073       copyPhysReg(MBB, MI, DL, DstReg, SrcSubLo, MI.getOperand(1).isKill());
1074       MBB.erase(MI);
1075       MRI.clearKillFlags(SrcSubLo);
1076       return true;
1077     }
1078     case Hexagon::V6_hi_128B:
1079     case Hexagon::V6_hi: {
1080       unsigned SrcReg = MI.getOperand(1).getReg();
1081       unsigned DstReg = MI.getOperand(0).getReg();
1082       unsigned SrcSubHi = HRI.getSubReg(SrcReg, Hexagon::vsub_hi);
1083       copyPhysReg(MBB, MI, DL, DstReg, SrcSubHi, MI.getOperand(1).isKill());
1084       MBB.erase(MI);
1085       MRI.clearKillFlags(SrcSubHi);
1086       return true;
1087     }
1088     case Hexagon::PS_vstorerw_ai:
1089     case Hexagon::PS_vstorerwu_ai:
1090     case Hexagon::PS_vstorerw_ai_128B:
1091     case Hexagon::PS_vstorerwu_ai_128B: {
1092       bool Is128B = (Opc == Hexagon::PS_vstorerw_ai_128B ||
1093                      Opc == Hexagon::PS_vstorerwu_ai_128B);
1094       bool Aligned = (Opc == Hexagon::PS_vstorerw_ai ||
1095                       Opc == Hexagon::PS_vstorerw_ai_128B);
1096       unsigned SrcReg = MI.getOperand(2).getReg();
1097       unsigned SrcSubHi = HRI.getSubReg(SrcReg, Hexagon::vsub_hi);
1098       unsigned SrcSubLo = HRI.getSubReg(SrcReg, Hexagon::vsub_lo);
1099       unsigned NewOpc;
1100       if (Aligned)
1101         NewOpc = Is128B ? Hexagon::V6_vS32b_ai_128B
1102                         : Hexagon::V6_vS32b_ai;
1103       else
1104         NewOpc = Is128B ? Hexagon::V6_vS32Ub_ai_128B
1105                         : Hexagon::V6_vS32Ub_ai;
1106
1107       unsigned Offset = Is128B ? VecOffset << 7 : VecOffset << 6;
1108       MachineInstr *MI1New =
1109           BuildMI(MBB, MI, DL, get(NewOpc))
1110               .add(MI.getOperand(0))
1111               .addImm(MI.getOperand(1).getImm())
1112               .addReg(SrcSubLo)
1113               .setMemRefs(MI.memoperands_begin(), MI.memoperands_end());
1114       MI1New->getOperand(0).setIsKill(false);
1115       BuildMI(MBB, MI, DL, get(NewOpc))
1116           .add(MI.getOperand(0))
1117           // The Vectors are indexed in multiples of vector size.
1118           .addImm(MI.getOperand(1).getImm() + Offset)
1119           .addReg(SrcSubHi)
1120           .setMemRefs(MI.memoperands_begin(), MI.memoperands_end());
1121       MBB.erase(MI);
1122       return true;
1123     }
1124     case Hexagon::PS_vloadrw_ai:
1125     case Hexagon::PS_vloadrwu_ai:
1126     case Hexagon::PS_vloadrw_ai_128B:
1127     case Hexagon::PS_vloadrwu_ai_128B: {
1128       bool Is128B = (Opc == Hexagon::PS_vloadrw_ai_128B ||
1129                      Opc == Hexagon::PS_vloadrwu_ai_128B);
1130       bool Aligned = (Opc == Hexagon::PS_vloadrw_ai ||
1131                       Opc == Hexagon::PS_vloadrw_ai_128B);
1132       unsigned NewOpc;
1133       if (Aligned)
1134         NewOpc = Is128B ? Hexagon::V6_vL32b_ai_128B
1135                         : Hexagon::V6_vL32b_ai;
1136       else
1137         NewOpc = Is128B ? Hexagon::V6_vL32Ub_ai_128B
1138                         : Hexagon::V6_vL32Ub_ai;
1139
1140       unsigned DstReg = MI.getOperand(0).getReg();
1141       unsigned Offset = Is128B ? VecOffset << 7 : VecOffset << 6;
1142       MachineInstr *MI1New = BuildMI(MBB, MI, DL, get(NewOpc),
1143                                      HRI.getSubReg(DstReg, Hexagon::vsub_lo))
1144               .add(MI.getOperand(1))
1145               .addImm(MI.getOperand(2).getImm())
1146               .setMemRefs(MI.memoperands_begin(), MI.memoperands_end());
1147       MI1New->getOperand(1).setIsKill(false);
1148       BuildMI(MBB, MI, DL, get(NewOpc), HRI.getSubReg(DstReg, Hexagon::vsub_hi))
1149           .add(MI.getOperand(1))
1150           // The Vectors are indexed in multiples of vector size.
1151           .addImm(MI.getOperand(2).getImm() + Offset)
1152           .setMemRefs(MI.memoperands_begin(), MI.memoperands_end());
1153       MBB.erase(MI);
1154       return true;
1155     }
1156     case Hexagon::PS_true: {
1157       unsigned Reg = MI.getOperand(0).getReg();
1158       BuildMI(MBB, MI, DL, get(Hexagon::C2_orn), Reg)
1159         .addReg(Reg, RegState::Undef)
1160         .addReg(Reg, RegState::Undef);
1161       MBB.erase(MI);
1162       return true;
1163     }
1164     case Hexagon::PS_false: {
1165       unsigned Reg = MI.getOperand(0).getReg();
1166       BuildMI(MBB, MI, DL, get(Hexagon::C2_andn), Reg)
1167         .addReg(Reg, RegState::Undef)
1168         .addReg(Reg, RegState::Undef);
1169       MBB.erase(MI);
1170       return true;
1171     }
1172     case Hexagon::PS_vmulw: {
1173       // Expand a 64-bit vector multiply into 2 32-bit scalar multiplies.
1174       unsigned DstReg = MI.getOperand(0).getReg();
1175       unsigned Src1Reg = MI.getOperand(1).getReg();
1176       unsigned Src2Reg = MI.getOperand(2).getReg();
1177       unsigned Src1SubHi = HRI.getSubReg(Src1Reg, Hexagon::isub_hi);
1178       unsigned Src1SubLo = HRI.getSubReg(Src1Reg, Hexagon::isub_lo);
1179       unsigned Src2SubHi = HRI.getSubReg(Src2Reg, Hexagon::isub_hi);
1180       unsigned Src2SubLo = HRI.getSubReg(Src2Reg, Hexagon::isub_lo);
1181       BuildMI(MBB, MI, MI.getDebugLoc(), get(Hexagon::M2_mpyi),
1182               HRI.getSubReg(DstReg, Hexagon::isub_hi))
1183           .addReg(Src1SubHi)
1184           .addReg(Src2SubHi);
1185       BuildMI(MBB, MI, MI.getDebugLoc(), get(Hexagon::M2_mpyi),
1186               HRI.getSubReg(DstReg, Hexagon::isub_lo))
1187           .addReg(Src1SubLo)
1188           .addReg(Src2SubLo);
1189       MBB.erase(MI);
1190       MRI.clearKillFlags(Src1SubHi);
1191       MRI.clearKillFlags(Src1SubLo);
1192       MRI.clearKillFlags(Src2SubHi);
1193       MRI.clearKillFlags(Src2SubLo);
1194       return true;
1195     }
1196     case Hexagon::PS_vmulw_acc: {
1197       // Expand 64-bit vector multiply with addition into 2 scalar multiplies.
1198       unsigned DstReg = MI.getOperand(0).getReg();
1199       unsigned Src1Reg = MI.getOperand(1).getReg();
1200       unsigned Src2Reg = MI.getOperand(2).getReg();
1201       unsigned Src3Reg = MI.getOperand(3).getReg();
1202       unsigned Src1SubHi = HRI.getSubReg(Src1Reg, Hexagon::isub_hi);
1203       unsigned Src1SubLo = HRI.getSubReg(Src1Reg, Hexagon::isub_lo);
1204       unsigned Src2SubHi = HRI.getSubReg(Src2Reg, Hexagon::isub_hi);
1205       unsigned Src2SubLo = HRI.getSubReg(Src2Reg, Hexagon::isub_lo);
1206       unsigned Src3SubHi = HRI.getSubReg(Src3Reg, Hexagon::isub_hi);
1207       unsigned Src3SubLo = HRI.getSubReg(Src3Reg, Hexagon::isub_lo);
1208       BuildMI(MBB, MI, MI.getDebugLoc(), get(Hexagon::M2_maci),
1209               HRI.getSubReg(DstReg, Hexagon::isub_hi))
1210           .addReg(Src1SubHi)
1211           .addReg(Src2SubHi)
1212           .addReg(Src3SubHi);
1213       BuildMI(MBB, MI, MI.getDebugLoc(), get(Hexagon::M2_maci),
1214               HRI.getSubReg(DstReg, Hexagon::isub_lo))
1215           .addReg(Src1SubLo)
1216           .addReg(Src2SubLo)
1217           .addReg(Src3SubLo);
1218       MBB.erase(MI);
1219       MRI.clearKillFlags(Src1SubHi);
1220       MRI.clearKillFlags(Src1SubLo);
1221       MRI.clearKillFlags(Src2SubHi);
1222       MRI.clearKillFlags(Src2SubLo);
1223       MRI.clearKillFlags(Src3SubHi);
1224       MRI.clearKillFlags(Src3SubLo);
1225       return true;
1226     }
1227     case Hexagon::PS_pselect: {
1228       const MachineOperand &Op0 = MI.getOperand(0);
1229       const MachineOperand &Op1 = MI.getOperand(1);
1230       const MachineOperand &Op2 = MI.getOperand(2);
1231       const MachineOperand &Op3 = MI.getOperand(3);
1232       unsigned Rd = Op0.getReg();
1233       unsigned Pu = Op1.getReg();
1234       unsigned Rs = Op2.getReg();
1235       unsigned Rt = Op3.getReg();
1236       DebugLoc DL = MI.getDebugLoc();
1237       unsigned K1 = getKillRegState(Op1.isKill());
1238       unsigned K2 = getKillRegState(Op2.isKill());
1239       unsigned K3 = getKillRegState(Op3.isKill());
1240       if (Rd != Rs)
1241         BuildMI(MBB, MI, DL, get(Hexagon::A2_tfrpt), Rd)
1242           .addReg(Pu, (Rd == Rt) ? K1 : 0)
1243           .addReg(Rs, K2);
1244       if (Rd != Rt)
1245         BuildMI(MBB, MI, DL, get(Hexagon::A2_tfrpf), Rd)
1246           .addReg(Pu, K1)
1247           .addReg(Rt, K3);
1248       MBB.erase(MI);
1249       return true;
1250     }
1251     case Hexagon::PS_vselect:
1252     case Hexagon::PS_vselect_128B: {
1253       const MachineOperand &Op0 = MI.getOperand(0);
1254       const MachineOperand &Op1 = MI.getOperand(1);
1255       const MachineOperand &Op2 = MI.getOperand(2);
1256       const MachineOperand &Op3 = MI.getOperand(3);
1257       LivePhysRegs LiveAtMI(HRI);
1258       getLiveRegsAt(LiveAtMI, MI);
1259       bool IsDestLive = !LiveAtMI.available(MRI, Op0.getReg());
1260       if (Op0.getReg() != Op2.getReg()) {
1261         auto T = BuildMI(MBB, MI, DL, get(Hexagon::V6_vcmov))
1262                      .add(Op0)
1263                      .add(Op1)
1264                      .add(Op2);
1265         if (IsDestLive)
1266           T.addReg(Op0.getReg(), RegState::Implicit);
1267         IsDestLive = true;
1268       }
1269       if (Op0.getReg() != Op3.getReg()) {
1270         auto T = BuildMI(MBB, MI, DL, get(Hexagon::V6_vncmov))
1271                      .add(Op0)
1272                      .add(Op1)
1273                      .add(Op3);
1274         if (IsDestLive)
1275           T.addReg(Op0.getReg(), RegState::Implicit);
1276       }
1277       MBB.erase(MI);
1278       return true;
1279     }
1280     case Hexagon::PS_wselect:
1281     case Hexagon::PS_wselect_128B: {
1282       MachineOperand &Op0 = MI.getOperand(0);
1283       MachineOperand &Op1 = MI.getOperand(1);
1284       MachineOperand &Op2 = MI.getOperand(2);
1285       MachineOperand &Op3 = MI.getOperand(3);
1286       LivePhysRegs LiveAtMI(HRI);
1287       getLiveRegsAt(LiveAtMI, MI);
1288       bool IsDestLive = !LiveAtMI.available(MRI, Op0.getReg());
1289
1290       if (Op0.getReg() != Op2.getReg()) {
1291         unsigned SrcLo = HRI.getSubReg(Op2.getReg(), Hexagon::vsub_lo);
1292         unsigned SrcHi = HRI.getSubReg(Op2.getReg(), Hexagon::vsub_hi);
1293         auto T = BuildMI(MBB, MI, DL, get(Hexagon::V6_vccombine))
1294                      .add(Op0)
1295                      .add(Op1)
1296                      .addReg(SrcHi)
1297                      .addReg(SrcLo);
1298         if (IsDestLive)
1299           T.addReg(Op0.getReg(), RegState::Implicit);
1300         IsDestLive = true;
1301       }
1302       if (Op0.getReg() != Op3.getReg()) {
1303         unsigned SrcLo = HRI.getSubReg(Op3.getReg(), Hexagon::vsub_lo);
1304         unsigned SrcHi = HRI.getSubReg(Op3.getReg(), Hexagon::vsub_hi);
1305         auto T = BuildMI(MBB, MI, DL, get(Hexagon::V6_vnccombine))
1306                      .add(Op0)
1307                      .add(Op1)
1308                      .addReg(SrcHi)
1309                      .addReg(SrcLo);
1310         if (IsDestLive)
1311           T.addReg(Op0.getReg(), RegState::Implicit);
1312       }
1313       MBB.erase(MI);
1314       return true;
1315     }
1316     case Hexagon::PS_tailcall_i:
1317       MI.setDesc(get(Hexagon::J2_jump));
1318       return true;
1319     case Hexagon::PS_tailcall_r:
1320     case Hexagon::PS_jmpret:
1321       MI.setDesc(get(Hexagon::J2_jumpr));
1322       return true;
1323     case Hexagon::PS_jmprett:
1324       MI.setDesc(get(Hexagon::J2_jumprt));
1325       return true;
1326     case Hexagon::PS_jmpretf:
1327       MI.setDesc(get(Hexagon::J2_jumprf));
1328       return true;
1329     case Hexagon::PS_jmprettnewpt:
1330       MI.setDesc(get(Hexagon::J2_jumprtnewpt));
1331       return true;
1332     case Hexagon::PS_jmpretfnewpt:
1333       MI.setDesc(get(Hexagon::J2_jumprfnewpt));
1334       return true;
1335     case Hexagon::PS_jmprettnew:
1336       MI.setDesc(get(Hexagon::J2_jumprtnew));
1337       return true;
1338     case Hexagon::PS_jmpretfnew:
1339       MI.setDesc(get(Hexagon::J2_jumprfnew));
1340       return true;
1341   }
1342
1343   return false;
1344 }
1345
1346 // We indicate that we want to reverse the branch by
1347 // inserting the reversed branching opcode.
1348 bool HexagonInstrInfo::reverseBranchCondition(
1349       SmallVectorImpl<MachineOperand> &Cond) const {
1350   if (Cond.empty())
1351     return true;
1352   assert(Cond[0].isImm() && "First entry in the cond vector not imm-val");
1353   unsigned opcode = Cond[0].getImm();
1354   //unsigned temp;
1355   assert(get(opcode).isBranch() && "Should be a branching condition.");
1356   if (isEndLoopN(opcode))
1357     return true;
1358   unsigned NewOpcode = getInvertedPredicatedOpcode(opcode);
1359   Cond[0].setImm(NewOpcode);
1360   return false;
1361 }
1362
1363 void HexagonInstrInfo::insertNoop(MachineBasicBlock &MBB,
1364       MachineBasicBlock::iterator MI) const {
1365   DebugLoc DL;
1366   BuildMI(MBB, MI, DL, get(Hexagon::A2_nop));
1367 }
1368
1369 bool HexagonInstrInfo::isPostIncrement(const MachineInstr &MI) const {
1370   return getAddrMode(MI) == HexagonII::PostInc;
1371 }
1372
1373 // Returns true if an instruction is predicated irrespective of the predicate
1374 // sense. For example, all of the following will return true.
1375 // if (p0) R1 = add(R2, R3)
1376 // if (!p0) R1 = add(R2, R3)
1377 // if (p0.new) R1 = add(R2, R3)
1378 // if (!p0.new) R1 = add(R2, R3)
1379 // Note: New-value stores are not included here as in the current
1380 // implementation, we don't need to check their predicate sense.
1381 bool HexagonInstrInfo::isPredicated(const MachineInstr &MI) const {
1382   const uint64_t F = MI.getDesc().TSFlags;
1383   return (F >> HexagonII::PredicatedPos) & HexagonII::PredicatedMask;
1384 }
1385
1386 bool HexagonInstrInfo::PredicateInstruction(
1387     MachineInstr &MI, ArrayRef<MachineOperand> Cond) const {
1388   if (Cond.empty() || isNewValueJump(Cond[0].getImm()) ||
1389       isEndLoopN(Cond[0].getImm())) {
1390     DEBUG(dbgs() << "\nCannot predicate:"; MI.dump(););
1391     return false;
1392   }
1393   int Opc = MI.getOpcode();
1394   assert (isPredicable(MI) && "Expected predicable instruction");
1395   bool invertJump = predOpcodeHasNot(Cond);
1396
1397   // We have to predicate MI "in place", i.e. after this function returns,
1398   // MI will need to be transformed into a predicated form. To avoid com-
1399   // plicated manipulations with the operands (handling tied operands,
1400   // etc.), build a new temporary instruction, then overwrite MI with it.
1401
1402   MachineBasicBlock &B = *MI.getParent();
1403   DebugLoc DL = MI.getDebugLoc();
1404   unsigned PredOpc = getCondOpcode(Opc, invertJump);
1405   MachineInstrBuilder T = BuildMI(B, MI, DL, get(PredOpc));
1406   unsigned NOp = 0, NumOps = MI.getNumOperands();
1407   while (NOp < NumOps) {
1408     MachineOperand &Op = MI.getOperand(NOp);
1409     if (!Op.isReg() || !Op.isDef() || Op.isImplicit())
1410       break;
1411     T.add(Op);
1412     NOp++;
1413   }
1414
1415   unsigned PredReg, PredRegPos, PredRegFlags;
1416   bool GotPredReg = getPredReg(Cond, PredReg, PredRegPos, PredRegFlags);
1417   (void)GotPredReg;
1418   assert(GotPredReg);
1419   T.addReg(PredReg, PredRegFlags);
1420   while (NOp < NumOps)
1421     T.add(MI.getOperand(NOp++));
1422
1423   MI.setDesc(get(PredOpc));
1424   while (unsigned n = MI.getNumOperands())
1425     MI.RemoveOperand(n-1);
1426   for (unsigned i = 0, n = T->getNumOperands(); i < n; ++i)
1427     MI.addOperand(T->getOperand(i));
1428
1429   MachineBasicBlock::instr_iterator TI = T->getIterator();
1430   B.erase(TI);
1431
1432   MachineRegisterInfo &MRI = B.getParent()->getRegInfo();
1433   MRI.clearKillFlags(PredReg);
1434   return true;
1435 }
1436
1437 bool HexagonInstrInfo::SubsumesPredicate(ArrayRef<MachineOperand> Pred1,
1438       ArrayRef<MachineOperand> Pred2) const {
1439   // TODO: Fix this
1440   return false;
1441 }
1442
1443 bool HexagonInstrInfo::DefinesPredicate(
1444     MachineInstr &MI, std::vector<MachineOperand> &Pred) const {
1445   auto &HRI = getRegisterInfo();
1446   for (unsigned oper = 0; oper < MI.getNumOperands(); ++oper) {
1447     MachineOperand MO = MI.getOperand(oper);
1448     if (MO.isReg()) {
1449       if (!MO.isDef())
1450         continue;
1451       const TargetRegisterClass* RC = HRI.getMinimalPhysRegClass(MO.getReg());
1452       if (RC == &Hexagon::PredRegsRegClass) {
1453         Pred.push_back(MO);
1454         return true;
1455       }
1456       continue;
1457     } else if (MO.isRegMask()) {
1458       for (unsigned PR : Hexagon::PredRegsRegClass) {
1459         if (!MI.modifiesRegister(PR, &HRI))
1460           continue;
1461         Pred.push_back(MO);
1462         return true;
1463       }
1464     }
1465   }
1466   return false;
1467 }
1468
1469 bool HexagonInstrInfo::isPredicable(const MachineInstr &MI) const {
1470   if (!MI.getDesc().isPredicable())
1471     return false;
1472
1473   if (MI.isCall() || isTailCall(MI)) {
1474     const MachineFunction &MF = *MI.getParent()->getParent();
1475     if (!MF.getSubtarget<HexagonSubtarget>().usePredicatedCalls())
1476       return false;
1477   }
1478   return true;
1479 }
1480
1481 bool HexagonInstrInfo::isSchedulingBoundary(const MachineInstr &MI,
1482                                             const MachineBasicBlock *MBB,
1483                                             const MachineFunction &MF) const {
1484   // Debug info is never a scheduling boundary. It's necessary to be explicit
1485   // due to the special treatment of IT instructions below, otherwise a
1486   // dbg_value followed by an IT will result in the IT instruction being
1487   // considered a scheduling hazard, which is wrong. It should be the actual
1488   // instruction preceding the dbg_value instruction(s), just like it is
1489   // when debug info is not present.
1490   if (MI.isDebugValue())
1491     return false;
1492
1493   // Throwing call is a boundary.
1494   if (MI.isCall()) {
1495     // Don't mess around with no return calls.
1496     if (doesNotReturn(MI))
1497       return true;
1498     // If any of the block's successors is a landing pad, this could be a
1499     // throwing call.
1500     for (auto I : MBB->successors())
1501       if (I->isEHPad())
1502         return true;
1503   }
1504
1505   // Terminators and labels can't be scheduled around.
1506   if (MI.getDesc().isTerminator() || MI.isPosition())
1507     return true;
1508
1509   if (MI.isInlineAsm() && !ScheduleInlineAsm)
1510     return true;
1511
1512   return false;
1513 }
1514
1515 /// Measure the specified inline asm to determine an approximation of its
1516 /// length.
1517 /// Comments (which run till the next SeparatorString or newline) do not
1518 /// count as an instruction.
1519 /// Any other non-whitespace text is considered an instruction, with
1520 /// multiple instructions separated by SeparatorString or newlines.
1521 /// Variable-length instructions are not handled here; this function
1522 /// may be overloaded in the target code to do that.
1523 /// Hexagon counts the number of ##'s and adjust for that many
1524 /// constant exenders.
1525 unsigned HexagonInstrInfo::getInlineAsmLength(const char *Str,
1526       const MCAsmInfo &MAI) const {
1527   StringRef AStr(Str);
1528   // Count the number of instructions in the asm.
1529   bool atInsnStart = true;
1530   unsigned Length = 0;
1531   for (; *Str; ++Str) {
1532     if (*Str == '\n' || strncmp(Str, MAI.getSeparatorString(),
1533                                 strlen(MAI.getSeparatorString())) == 0)
1534       atInsnStart = true;
1535     if (atInsnStart && !std::isspace(static_cast<unsigned char>(*Str))) {
1536       Length += MAI.getMaxInstLength();
1537       atInsnStart = false;
1538     }
1539     if (atInsnStart && strncmp(Str, MAI.getCommentString().data(),
1540                                MAI.getCommentString().size()) == 0)
1541       atInsnStart = false;
1542   }
1543
1544   // Add to size number of constant extenders seen * 4.
1545   StringRef Occ("##");
1546   Length += AStr.count(Occ)*4;
1547   return Length;
1548 }
1549
1550 ScheduleHazardRecognizer*
1551 HexagonInstrInfo::CreateTargetPostRAHazardRecognizer(
1552       const InstrItineraryData *II, const ScheduleDAG *DAG) const {
1553   if (UseDFAHazardRec) {
1554     auto &HST = DAG->MF.getSubtarget<HexagonSubtarget>();
1555     return new HexagonHazardRecognizer(II, this, HST);
1556   }
1557   return TargetInstrInfo::CreateTargetPostRAHazardRecognizer(II, DAG);
1558 }
1559
1560 /// \brief For a comparison instruction, return the source registers in
1561 /// \p SrcReg and \p SrcReg2 if having two register operands, and the value it
1562 /// compares against in CmpValue. Return true if the comparison instruction
1563 /// can be analyzed.
1564 bool HexagonInstrInfo::analyzeCompare(const MachineInstr &MI, unsigned &SrcReg,
1565                                       unsigned &SrcReg2, int &Mask,
1566                                       int &Value) const {
1567   unsigned Opc = MI.getOpcode();
1568
1569   // Set mask and the first source register.
1570   switch (Opc) {
1571     case Hexagon::C2_cmpeq:
1572     case Hexagon::C2_cmpeqp:
1573     case Hexagon::C2_cmpgt:
1574     case Hexagon::C2_cmpgtp:
1575     case Hexagon::C2_cmpgtu:
1576     case Hexagon::C2_cmpgtup:
1577     case Hexagon::C4_cmpneq:
1578     case Hexagon::C4_cmplte:
1579     case Hexagon::C4_cmplteu:
1580     case Hexagon::C2_cmpeqi:
1581     case Hexagon::C2_cmpgti:
1582     case Hexagon::C2_cmpgtui:
1583     case Hexagon::C4_cmpneqi:
1584     case Hexagon::C4_cmplteui:
1585     case Hexagon::C4_cmpltei:
1586       SrcReg = MI.getOperand(1).getReg();
1587       Mask = ~0;
1588       break;
1589     case Hexagon::A4_cmpbeq:
1590     case Hexagon::A4_cmpbgt:
1591     case Hexagon::A4_cmpbgtu:
1592     case Hexagon::A4_cmpbeqi:
1593     case Hexagon::A4_cmpbgti:
1594     case Hexagon::A4_cmpbgtui:
1595       SrcReg = MI.getOperand(1).getReg();
1596       Mask = 0xFF;
1597       break;
1598     case Hexagon::A4_cmpheq:
1599     case Hexagon::A4_cmphgt:
1600     case Hexagon::A4_cmphgtu:
1601     case Hexagon::A4_cmpheqi:
1602     case Hexagon::A4_cmphgti:
1603     case Hexagon::A4_cmphgtui:
1604       SrcReg = MI.getOperand(1).getReg();
1605       Mask = 0xFFFF;
1606       break;
1607   }
1608
1609   // Set the value/second source register.
1610   switch (Opc) {
1611     case Hexagon::C2_cmpeq:
1612     case Hexagon::C2_cmpeqp:
1613     case Hexagon::C2_cmpgt:
1614     case Hexagon::C2_cmpgtp:
1615     case Hexagon::C2_cmpgtu:
1616     case Hexagon::C2_cmpgtup:
1617     case Hexagon::A4_cmpbeq:
1618     case Hexagon::A4_cmpbgt:
1619     case Hexagon::A4_cmpbgtu:
1620     case Hexagon::A4_cmpheq:
1621     case Hexagon::A4_cmphgt:
1622     case Hexagon::A4_cmphgtu:
1623     case Hexagon::C4_cmpneq:
1624     case Hexagon::C4_cmplte:
1625     case Hexagon::C4_cmplteu:
1626       SrcReg2 = MI.getOperand(2).getReg();
1627       return true;
1628
1629     case Hexagon::C2_cmpeqi:
1630     case Hexagon::C2_cmpgtui:
1631     case Hexagon::C2_cmpgti:
1632     case Hexagon::C4_cmpneqi:
1633     case Hexagon::C4_cmplteui:
1634     case Hexagon::C4_cmpltei:
1635     case Hexagon::A4_cmpbeqi:
1636     case Hexagon::A4_cmpbgti:
1637     case Hexagon::A4_cmpbgtui:
1638     case Hexagon::A4_cmpheqi:
1639     case Hexagon::A4_cmphgti:
1640     case Hexagon::A4_cmphgtui:
1641       SrcReg2 = 0;
1642       Value = MI.getOperand(2).getImm();
1643       return true;
1644   }
1645
1646   return false;
1647 }
1648
1649 unsigned HexagonInstrInfo::getInstrLatency(const InstrItineraryData *ItinData,
1650                                            const MachineInstr &MI,
1651                                            unsigned *PredCost) const {
1652   return getInstrTimingClassLatency(ItinData, MI);
1653 }
1654
1655
1656 DFAPacketizer *HexagonInstrInfo::CreateTargetScheduleState(
1657     const TargetSubtargetInfo &STI) const {
1658   const InstrItineraryData *II = STI.getInstrItineraryData();
1659   return static_cast<const HexagonSubtarget&>(STI).createDFAPacketizer(II);
1660 }
1661
1662 // Inspired by this pair:
1663 //  %R13<def> = L2_loadri_io %R29, 136; mem:LD4[FixedStack0]
1664 //  S2_storeri_io %R29, 132, %R1<kill>; flags:  mem:ST4[FixedStack1]
1665 // Currently AA considers the addresses in these instructions to be aliasing.
1666 bool HexagonInstrInfo::areMemAccessesTriviallyDisjoint(
1667     MachineInstr &MIa, MachineInstr &MIb, AliasAnalysis *AA) const {
1668   int OffsetA = 0, OffsetB = 0;
1669   unsigned SizeA = 0, SizeB = 0;
1670
1671   if (MIa.hasUnmodeledSideEffects() || MIb.hasUnmodeledSideEffects() ||
1672       MIa.hasOrderedMemoryRef() || MIb.hasOrderedMemoryRef())
1673     return false;
1674
1675   // Instructions that are pure loads, not loads and stores like memops are not
1676   // dependent.
1677   if (MIa.mayLoad() && !isMemOp(MIa) && MIb.mayLoad() && !isMemOp(MIb))
1678     return true;
1679
1680   // Get base, offset, and access size in MIa.
1681   unsigned BaseRegA = getBaseAndOffset(MIa, OffsetA, SizeA);
1682   if (!BaseRegA || !SizeA)
1683     return false;
1684
1685   // Get base, offset, and access size in MIb.
1686   unsigned BaseRegB = getBaseAndOffset(MIb, OffsetB, SizeB);
1687   if (!BaseRegB || !SizeB)
1688     return false;
1689
1690   if (BaseRegA != BaseRegB)
1691     return false;
1692
1693   // This is a mem access with the same base register and known offsets from it.
1694   // Reason about it.
1695   if (OffsetA > OffsetB) {
1696     uint64_t offDiff = (uint64_t)((int64_t)OffsetA - (int64_t)OffsetB);
1697     return (SizeB <= offDiff);
1698   } else if (OffsetA < OffsetB) {
1699     uint64_t offDiff = (uint64_t)((int64_t)OffsetB - (int64_t)OffsetA);
1700     return (SizeA <= offDiff);
1701   }
1702
1703   return false;
1704 }
1705
1706 /// If the instruction is an increment of a constant value, return the amount.
1707 bool HexagonInstrInfo::getIncrementValue(const MachineInstr &MI,
1708       int &Value) const {
1709   if (isPostIncrement(MI)) {
1710     unsigned AccessSize;
1711     return getBaseAndOffset(MI, Value, AccessSize);
1712   }
1713   if (MI.getOpcode() == Hexagon::A2_addi) {
1714     Value = MI.getOperand(2).getImm();
1715     return true;
1716   }
1717
1718   return false;
1719 }
1720
1721 unsigned HexagonInstrInfo::createVR(MachineFunction *MF, MVT VT) const {
1722   MachineRegisterInfo &MRI = MF->getRegInfo();
1723   const TargetRegisterClass *TRC;
1724   if (VT == MVT::i1) {
1725     TRC = &Hexagon::PredRegsRegClass;
1726   } else if (VT == MVT::i32 || VT == MVT::f32) {
1727     TRC = &Hexagon::IntRegsRegClass;
1728   } else if (VT == MVT::i64 || VT == MVT::f64) {
1729     TRC = &Hexagon::DoubleRegsRegClass;
1730   } else {
1731     llvm_unreachable("Cannot handle this register class");
1732   }
1733
1734   unsigned NewReg = MRI.createVirtualRegister(TRC);
1735   return NewReg;
1736 }
1737
1738 bool HexagonInstrInfo::isAbsoluteSet(const MachineInstr &MI) const {
1739   return (getAddrMode(MI) == HexagonII::AbsoluteSet);
1740 }
1741
1742 bool HexagonInstrInfo::isAccumulator(const MachineInstr &MI) const {
1743   const uint64_t F = MI.getDesc().TSFlags;
1744   return((F >> HexagonII::AccumulatorPos) & HexagonII::AccumulatorMask);
1745 }
1746
1747 bool HexagonInstrInfo::isComplex(const MachineInstr &MI) const {
1748   const MachineFunction *MF = MI.getParent()->getParent();
1749   const TargetInstrInfo *TII = MF->getSubtarget().getInstrInfo();
1750   const HexagonInstrInfo *QII = (const HexagonInstrInfo *) TII;
1751
1752   if (!(isTC1(MI))
1753       && !(QII->isTC2Early(MI))
1754       && !(MI.getDesc().mayLoad())
1755       && !(MI.getDesc().mayStore())
1756       && (MI.getDesc().getOpcode() != Hexagon::S2_allocframe)
1757       && (MI.getDesc().getOpcode() != Hexagon::L2_deallocframe)
1758       && !(QII->isMemOp(MI))
1759       && !(MI.isBranch())
1760       && !(MI.isReturn())
1761       && !MI.isCall())
1762     return true;
1763
1764   return false;
1765 }
1766
1767 // Return true if the instruction is a compund branch instruction.
1768 bool HexagonInstrInfo::isCompoundBranchInstr(const MachineInstr &MI) const {
1769   return getType(MI) == HexagonII::TypeCJ && MI.isBranch();
1770 }
1771
1772 // TODO: In order to have isExtendable for fpimm/f32Ext, we need to handle
1773 // isFPImm and later getFPImm as well.
1774 bool HexagonInstrInfo::isConstExtended(const MachineInstr &MI) const {
1775   const uint64_t F = MI.getDesc().TSFlags;
1776   unsigned isExtended = (F >> HexagonII::ExtendedPos) & HexagonII::ExtendedMask;
1777   if (isExtended) // Instruction must be extended.
1778     return true;
1779
1780   unsigned isExtendable =
1781     (F >> HexagonII::ExtendablePos) & HexagonII::ExtendableMask;
1782   if (!isExtendable)
1783     return false;
1784
1785   if (MI.isCall())
1786     return false;
1787
1788   short ExtOpNum = getCExtOpNum(MI);
1789   const MachineOperand &MO = MI.getOperand(ExtOpNum);
1790   // Use MO operand flags to determine if MO
1791   // has the HMOTF_ConstExtended flag set.
1792   if (MO.getTargetFlags() && HexagonII::HMOTF_ConstExtended)
1793     return true;
1794   // If this is a Machine BB address we are talking about, and it is
1795   // not marked as extended, say so.
1796   if (MO.isMBB())
1797     return false;
1798
1799   // We could be using an instruction with an extendable immediate and shoehorn
1800   // a global address into it. If it is a global address it will be constant
1801   // extended. We do this for COMBINE.
1802   // We currently only handle isGlobal() because it is the only kind of
1803   // object we are going to end up with here for now.
1804   // In the future we probably should add isSymbol(), etc.
1805   if (MO.isGlobal() || MO.isSymbol() || MO.isBlockAddress() ||
1806       MO.isJTI() || MO.isCPI() || MO.isFPImm())
1807     return true;
1808
1809   // If the extendable operand is not 'Immediate' type, the instruction should
1810   // have 'isExtended' flag set.
1811   assert(MO.isImm() && "Extendable operand must be Immediate type");
1812
1813   int MinValue = getMinValue(MI);
1814   int MaxValue = getMaxValue(MI);
1815   int ImmValue = MO.getImm();
1816
1817   return (ImmValue < MinValue || ImmValue > MaxValue);
1818 }
1819
1820 bool HexagonInstrInfo::isDeallocRet(const MachineInstr &MI) const {
1821   switch (MI.getOpcode()) {
1822   case Hexagon::L4_return :
1823   case Hexagon::L4_return_t :
1824   case Hexagon::L4_return_f :
1825   case Hexagon::L4_return_tnew_pnt :
1826   case Hexagon::L4_return_fnew_pnt :
1827   case Hexagon::L4_return_tnew_pt :
1828   case Hexagon::L4_return_fnew_pt :
1829     return true;
1830   }
1831   return false;
1832 }
1833
1834 // Return true when ConsMI uses a register defined by ProdMI.
1835 bool HexagonInstrInfo::isDependent(const MachineInstr &ProdMI,
1836       const MachineInstr &ConsMI) const {
1837   if (!ProdMI.getDesc().getNumDefs())
1838     return false;
1839
1840   auto &HRI = getRegisterInfo();
1841
1842   SmallVector<unsigned, 4> DefsA;
1843   SmallVector<unsigned, 4> DefsB;
1844   SmallVector<unsigned, 8> UsesA;
1845   SmallVector<unsigned, 8> UsesB;
1846
1847   parseOperands(ProdMI, DefsA, UsesA);
1848   parseOperands(ConsMI, DefsB, UsesB);
1849
1850   for (auto &RegA : DefsA)
1851     for (auto &RegB : UsesB) {
1852       // True data dependency.
1853       if (RegA == RegB)
1854         return true;
1855
1856       if (TargetRegisterInfo::isPhysicalRegister(RegA))
1857         for (MCSubRegIterator SubRegs(RegA, &HRI); SubRegs.isValid(); ++SubRegs)
1858           if (RegB == *SubRegs)
1859             return true;
1860
1861       if (TargetRegisterInfo::isPhysicalRegister(RegB))
1862         for (MCSubRegIterator SubRegs(RegB, &HRI); SubRegs.isValid(); ++SubRegs)
1863           if (RegA == *SubRegs)
1864             return true;
1865     }
1866
1867   return false;
1868 }
1869
1870 // Returns true if the instruction is alread a .cur.
1871 bool HexagonInstrInfo::isDotCurInst(const MachineInstr &MI) const {
1872   switch (MI.getOpcode()) {
1873   case Hexagon::V6_vL32b_cur_pi:
1874   case Hexagon::V6_vL32b_cur_ai:
1875   case Hexagon::V6_vL32b_cur_pi_128B:
1876   case Hexagon::V6_vL32b_cur_ai_128B:
1877     return true;
1878   }
1879   return false;
1880 }
1881
1882 // Returns true, if any one of the operands is a dot new
1883 // insn, whether it is predicated dot new or register dot new.
1884 bool HexagonInstrInfo::isDotNewInst(const MachineInstr &MI) const {
1885   if (isNewValueInst(MI) || (isPredicated(MI) && isPredicatedNew(MI)))
1886     return true;
1887
1888   return false;
1889 }
1890
1891 /// Symmetrical. See if these two instructions are fit for duplex pair.
1892 bool HexagonInstrInfo::isDuplexPair(const MachineInstr &MIa,
1893       const MachineInstr &MIb) const {
1894   HexagonII::SubInstructionGroup MIaG = getDuplexCandidateGroup(MIa);
1895   HexagonII::SubInstructionGroup MIbG = getDuplexCandidateGroup(MIb);
1896   return (isDuplexPairMatch(MIaG, MIbG) || isDuplexPairMatch(MIbG, MIaG));
1897 }
1898
1899 bool HexagonInstrInfo::isEarlySourceInstr(const MachineInstr &MI) const {
1900   if (MI.mayLoad() || MI.mayStore() || MI.isCompare())
1901     return true;
1902
1903   // Multiply
1904   unsigned SchedClass = MI.getDesc().getSchedClass();
1905   return is_TC4x(SchedClass) || is_TC3x(SchedClass);
1906 }
1907
1908 bool HexagonInstrInfo::isEndLoopN(unsigned Opcode) const {
1909   return (Opcode == Hexagon::ENDLOOP0 ||
1910           Opcode == Hexagon::ENDLOOP1);
1911 }
1912
1913 bool HexagonInstrInfo::isExpr(unsigned OpType) const {
1914   switch(OpType) {
1915   case MachineOperand::MO_MachineBasicBlock:
1916   case MachineOperand::MO_GlobalAddress:
1917   case MachineOperand::MO_ExternalSymbol:
1918   case MachineOperand::MO_JumpTableIndex:
1919   case MachineOperand::MO_ConstantPoolIndex:
1920   case MachineOperand::MO_BlockAddress:
1921     return true;
1922   default:
1923     return false;
1924   }
1925 }
1926
1927 bool HexagonInstrInfo::isExtendable(const MachineInstr &MI) const {
1928   const MCInstrDesc &MID = MI.getDesc();
1929   const uint64_t F = MID.TSFlags;
1930   if ((F >> HexagonII::ExtendablePos) & HexagonII::ExtendableMask)
1931     return true;
1932
1933   // TODO: This is largely obsolete now. Will need to be removed
1934   // in consecutive patches.
1935   switch (MI.getOpcode()) {
1936     // PS_fi and PS_fia remain special cases.
1937     case Hexagon::PS_fi:
1938     case Hexagon::PS_fia:
1939       return true;
1940     default:
1941       return false;
1942   }
1943   return  false;
1944 }
1945
1946 // This returns true in two cases:
1947 // - The OP code itself indicates that this is an extended instruction.
1948 // - One of MOs has been marked with HMOTF_ConstExtended flag.
1949 bool HexagonInstrInfo::isExtended(const MachineInstr &MI) const {
1950   // First check if this is permanently extended op code.
1951   const uint64_t F = MI.getDesc().TSFlags;
1952   if ((F >> HexagonII::ExtendedPos) & HexagonII::ExtendedMask)
1953     return true;
1954   // Use MO operand flags to determine if one of MI's operands
1955   // has HMOTF_ConstExtended flag set.
1956   for (MachineInstr::const_mop_iterator I = MI.operands_begin(),
1957        E = MI.operands_end(); I != E; ++I) {
1958     if (I->getTargetFlags() && HexagonII::HMOTF_ConstExtended)
1959       return true;
1960   }
1961   return  false;
1962 }
1963
1964 bool HexagonInstrInfo::isFloat(const MachineInstr &MI) const {
1965   unsigned Opcode = MI.getOpcode();
1966   const uint64_t F = get(Opcode).TSFlags;
1967   return (F >> HexagonII::FPPos) & HexagonII::FPMask;
1968 }
1969
1970 // No V60 HVX VMEM with A_INDIRECT.
1971 bool HexagonInstrInfo::isHVXMemWithAIndirect(const MachineInstr &I,
1972       const MachineInstr &J) const {
1973   if (!isHVXVec(I))
1974     return false;
1975   if (!I.mayLoad() && !I.mayStore())
1976     return false;
1977   return J.isIndirectBranch() || isIndirectCall(J) || isIndirectL4Return(J);
1978 }
1979
1980 bool HexagonInstrInfo::isIndirectCall(const MachineInstr &MI) const {
1981   switch (MI.getOpcode()) {
1982   case Hexagon::J2_callr :
1983   case Hexagon::J2_callrf :
1984   case Hexagon::J2_callrt :
1985   case Hexagon::PS_call_nr :
1986     return true;
1987   }
1988   return false;
1989 }
1990
1991 bool HexagonInstrInfo::isIndirectL4Return(const MachineInstr &MI) const {
1992   switch (MI.getOpcode()) {
1993   case Hexagon::L4_return :
1994   case Hexagon::L4_return_t :
1995   case Hexagon::L4_return_f :
1996   case Hexagon::L4_return_fnew_pnt :
1997   case Hexagon::L4_return_fnew_pt :
1998   case Hexagon::L4_return_tnew_pnt :
1999   case Hexagon::L4_return_tnew_pt :
2000     return true;
2001   }
2002   return false;
2003 }
2004
2005 bool HexagonInstrInfo::isJumpR(const MachineInstr &MI) const {
2006   switch (MI.getOpcode()) {
2007   case Hexagon::J2_jumpr :
2008   case Hexagon::J2_jumprt :
2009   case Hexagon::J2_jumprf :
2010   case Hexagon::J2_jumprtnewpt :
2011   case Hexagon::J2_jumprfnewpt  :
2012   case Hexagon::J2_jumprtnew :
2013   case Hexagon::J2_jumprfnew :
2014     return true;
2015   }
2016   return false;
2017 }
2018
2019 // Return true if a given MI can accommodate given offset.
2020 // Use abs estimate as oppose to the exact number.
2021 // TODO: This will need to be changed to use MC level
2022 // definition of instruction extendable field size.
2023 bool HexagonInstrInfo::isJumpWithinBranchRange(const MachineInstr &MI,
2024       unsigned offset) const {
2025   // This selection of jump instructions matches to that what
2026   // analyzeBranch can parse, plus NVJ.
2027   if (isNewValueJump(MI)) // r9:2
2028     return isInt<11>(offset);
2029
2030   switch (MI.getOpcode()) {
2031   // Still missing Jump to address condition on register value.
2032   default:
2033     return false;
2034   case Hexagon::J2_jump: // bits<24> dst; // r22:2
2035   case Hexagon::J2_call:
2036   case Hexagon::PS_call_nr:
2037     return isInt<24>(offset);
2038   case Hexagon::J2_jumpt: //bits<17> dst; // r15:2
2039   case Hexagon::J2_jumpf:
2040   case Hexagon::J2_jumptnew:
2041   case Hexagon::J2_jumptnewpt:
2042   case Hexagon::J2_jumpfnew:
2043   case Hexagon::J2_jumpfnewpt:
2044   case Hexagon::J2_callt:
2045   case Hexagon::J2_callf:
2046     return isInt<17>(offset);
2047   case Hexagon::J2_loop0i:
2048   case Hexagon::J2_loop0iext:
2049   case Hexagon::J2_loop0r:
2050   case Hexagon::J2_loop0rext:
2051   case Hexagon::J2_loop1i:
2052   case Hexagon::J2_loop1iext:
2053   case Hexagon::J2_loop1r:
2054   case Hexagon::J2_loop1rext:
2055     return isInt<9>(offset);
2056   // TODO: Add all the compound branches here. Can we do this in Relation model?
2057   case Hexagon::J4_cmpeqi_tp0_jump_nt:
2058   case Hexagon::J4_cmpeqi_tp1_jump_nt:
2059     return isInt<11>(offset);
2060   }
2061 }
2062
2063 bool HexagonInstrInfo::isLateInstrFeedsEarlyInstr(const MachineInstr &LRMI,
2064       const MachineInstr &ESMI) const {
2065   bool isLate = isLateResultInstr(LRMI);
2066   bool isEarly = isEarlySourceInstr(ESMI);
2067
2068   DEBUG(dbgs() << "V60" <<  (isLate ? "-LR  " : " --  "));
2069   DEBUG(LRMI.dump());
2070   DEBUG(dbgs() << "V60" <<  (isEarly ? "-ES  " : " --  "));
2071   DEBUG(ESMI.dump());
2072
2073   if (isLate && isEarly) {
2074     DEBUG(dbgs() << "++Is Late Result feeding Early Source\n");
2075     return true;
2076   }
2077
2078   return false;
2079 }
2080
2081 bool HexagonInstrInfo::isLateResultInstr(const MachineInstr &MI) const {
2082   switch (MI.getOpcode()) {
2083   case TargetOpcode::EXTRACT_SUBREG:
2084   case TargetOpcode::INSERT_SUBREG:
2085   case TargetOpcode::SUBREG_TO_REG:
2086   case TargetOpcode::REG_SEQUENCE:
2087   case TargetOpcode::IMPLICIT_DEF:
2088   case TargetOpcode::COPY:
2089   case TargetOpcode::INLINEASM:
2090   case TargetOpcode::PHI:
2091     return false;
2092   default:
2093     break;
2094   }
2095
2096   unsigned SchedClass = MI.getDesc().getSchedClass();
2097   return !is_TC1(SchedClass);
2098 }
2099
2100 bool HexagonInstrInfo::isLateSourceInstr(const MachineInstr &MI) const {
2101   // Instructions with iclass A_CVI_VX and attribute A_CVI_LATE uses a multiply
2102   // resource, but all operands can be received late like an ALU instruction.
2103   return getType(MI) == HexagonII::TypeCVI_VX_LATE;
2104 }
2105
2106 bool HexagonInstrInfo::isLoopN(const MachineInstr &MI) const {
2107   unsigned Opcode = MI.getOpcode();
2108   return Opcode == Hexagon::J2_loop0i    ||
2109          Opcode == Hexagon::J2_loop0r    ||
2110          Opcode == Hexagon::J2_loop0iext ||
2111          Opcode == Hexagon::J2_loop0rext ||
2112          Opcode == Hexagon::J2_loop1i    ||
2113          Opcode == Hexagon::J2_loop1r    ||
2114          Opcode == Hexagon::J2_loop1iext ||
2115          Opcode == Hexagon::J2_loop1rext;
2116 }
2117
2118 bool HexagonInstrInfo::isMemOp(const MachineInstr &MI) const {
2119   switch (MI.getOpcode()) {
2120     default: return false;
2121     case Hexagon::L4_iadd_memopw_io :
2122     case Hexagon::L4_isub_memopw_io :
2123     case Hexagon::L4_add_memopw_io :
2124     case Hexagon::L4_sub_memopw_io :
2125     case Hexagon::L4_and_memopw_io :
2126     case Hexagon::L4_or_memopw_io :
2127     case Hexagon::L4_iadd_memoph_io :
2128     case Hexagon::L4_isub_memoph_io :
2129     case Hexagon::L4_add_memoph_io :
2130     case Hexagon::L4_sub_memoph_io :
2131     case Hexagon::L4_and_memoph_io :
2132     case Hexagon::L4_or_memoph_io :
2133     case Hexagon::L4_iadd_memopb_io :
2134     case Hexagon::L4_isub_memopb_io :
2135     case Hexagon::L4_add_memopb_io :
2136     case Hexagon::L4_sub_memopb_io :
2137     case Hexagon::L4_and_memopb_io :
2138     case Hexagon::L4_or_memopb_io :
2139     case Hexagon::L4_ior_memopb_io:
2140     case Hexagon::L4_ior_memoph_io:
2141     case Hexagon::L4_ior_memopw_io:
2142     case Hexagon::L4_iand_memopb_io:
2143     case Hexagon::L4_iand_memoph_io:
2144     case Hexagon::L4_iand_memopw_io:
2145     return true;
2146   }
2147   return false;
2148 }
2149
2150 bool HexagonInstrInfo::isNewValue(const MachineInstr &MI) const {
2151   const uint64_t F = MI.getDesc().TSFlags;
2152   return (F >> HexagonII::NewValuePos) & HexagonII::NewValueMask;
2153 }
2154
2155 bool HexagonInstrInfo::isNewValue(unsigned Opcode) const {
2156   const uint64_t F = get(Opcode).TSFlags;
2157   return (F >> HexagonII::NewValuePos) & HexagonII::NewValueMask;
2158 }
2159
2160 bool HexagonInstrInfo::isNewValueInst(const MachineInstr &MI) const {
2161   return isNewValueJump(MI) || isNewValueStore(MI);
2162 }
2163
2164 bool HexagonInstrInfo::isNewValueJump(const MachineInstr &MI) const {
2165   return isNewValue(MI) && MI.isBranch();
2166 }
2167
2168 bool HexagonInstrInfo::isNewValueJump(unsigned Opcode) const {
2169   return isNewValue(Opcode) && get(Opcode).isBranch() && isPredicated(Opcode);
2170 }
2171
2172 bool HexagonInstrInfo::isNewValueStore(const MachineInstr &MI) const {
2173   const uint64_t F = MI.getDesc().TSFlags;
2174   return (F >> HexagonII::NVStorePos) & HexagonII::NVStoreMask;
2175 }
2176
2177 bool HexagonInstrInfo::isNewValueStore(unsigned Opcode) const {
2178   const uint64_t F = get(Opcode).TSFlags;
2179   return (F >> HexagonII::NVStorePos) & HexagonII::NVStoreMask;
2180 }
2181
2182 // Returns true if a particular operand is extendable for an instruction.
2183 bool HexagonInstrInfo::isOperandExtended(const MachineInstr &MI,
2184     unsigned OperandNum) const {
2185   const uint64_t F = MI.getDesc().TSFlags;
2186   return ((F >> HexagonII::ExtendableOpPos) & HexagonII::ExtendableOpMask)
2187           == OperandNum;
2188 }
2189
2190 bool HexagonInstrInfo::isPredicatedNew(const MachineInstr &MI) const {
2191   const uint64_t F = MI.getDesc().TSFlags;
2192   assert(isPredicated(MI));
2193   return (F >> HexagonII::PredicatedNewPos) & HexagonII::PredicatedNewMask;
2194 }
2195
2196 bool HexagonInstrInfo::isPredicatedNew(unsigned Opcode) const {
2197   const uint64_t F = get(Opcode).TSFlags;
2198   assert(isPredicated(Opcode));
2199   return (F >> HexagonII::PredicatedNewPos) & HexagonII::PredicatedNewMask;
2200 }
2201
2202 bool HexagonInstrInfo::isPredicatedTrue(const MachineInstr &MI) const {
2203   const uint64_t F = MI.getDesc().TSFlags;
2204   return !((F >> HexagonII::PredicatedFalsePos) &
2205            HexagonII::PredicatedFalseMask);
2206 }
2207
2208 bool HexagonInstrInfo::isPredicatedTrue(unsigned Opcode) const {
2209   const uint64_t F = get(Opcode).TSFlags;
2210   // Make sure that the instruction is predicated.
2211   assert((F>> HexagonII::PredicatedPos) & HexagonII::PredicatedMask);
2212   return !((F >> HexagonII::PredicatedFalsePos) &
2213            HexagonII::PredicatedFalseMask);
2214 }
2215
2216 bool HexagonInstrInfo::isPredicated(unsigned Opcode) const {
2217   const uint64_t F = get(Opcode).TSFlags;
2218   return (F >> HexagonII::PredicatedPos) & HexagonII::PredicatedMask;
2219 }
2220
2221 bool HexagonInstrInfo::isPredicateLate(unsigned Opcode) const {
2222   const uint64_t F = get(Opcode).TSFlags;
2223   return ~(F >> HexagonII::PredicateLatePos) & HexagonII::PredicateLateMask;
2224 }
2225
2226 bool HexagonInstrInfo::isPredictedTaken(unsigned Opcode) const {
2227   const uint64_t F = get(Opcode).TSFlags;
2228   assert(get(Opcode).isBranch() &&
2229          (isPredicatedNew(Opcode) || isNewValue(Opcode)));
2230   return (F >> HexagonII::TakenPos) & HexagonII::TakenMask;
2231 }
2232
2233 bool HexagonInstrInfo::isSaveCalleeSavedRegsCall(const MachineInstr &MI) const {
2234   return MI.getOpcode() == Hexagon::SAVE_REGISTERS_CALL_V4 ||
2235          MI.getOpcode() == Hexagon::SAVE_REGISTERS_CALL_V4_EXT ||
2236          MI.getOpcode() == Hexagon::SAVE_REGISTERS_CALL_V4_PIC ||
2237          MI.getOpcode() == Hexagon::SAVE_REGISTERS_CALL_V4_EXT_PIC;
2238 }
2239
2240 bool HexagonInstrInfo::isSignExtendingLoad(const MachineInstr &MI) const {
2241   switch (MI.getOpcode()) {
2242   // Byte
2243   case Hexagon::L2_loadrb_io:
2244   case Hexagon::L4_loadrb_ur:
2245   case Hexagon::L4_loadrb_ap:
2246   case Hexagon::L2_loadrb_pr:
2247   case Hexagon::L2_loadrb_pbr:
2248   case Hexagon::L2_loadrb_pi:
2249   case Hexagon::L2_loadrb_pci:
2250   case Hexagon::L2_loadrb_pcr:
2251   case Hexagon::L2_loadbsw2_io:
2252   case Hexagon::L4_loadbsw2_ur:
2253   case Hexagon::L4_loadbsw2_ap:
2254   case Hexagon::L2_loadbsw2_pr:
2255   case Hexagon::L2_loadbsw2_pbr:
2256   case Hexagon::L2_loadbsw2_pi:
2257   case Hexagon::L2_loadbsw2_pci:
2258   case Hexagon::L2_loadbsw2_pcr:
2259   case Hexagon::L2_loadbsw4_io:
2260   case Hexagon::L4_loadbsw4_ur:
2261   case Hexagon::L4_loadbsw4_ap:
2262   case Hexagon::L2_loadbsw4_pr:
2263   case Hexagon::L2_loadbsw4_pbr:
2264   case Hexagon::L2_loadbsw4_pi:
2265   case Hexagon::L2_loadbsw4_pci:
2266   case Hexagon::L2_loadbsw4_pcr:
2267   case Hexagon::L4_loadrb_rr:
2268   case Hexagon::L2_ploadrbt_io:
2269   case Hexagon::L2_ploadrbt_pi:
2270   case Hexagon::L2_ploadrbf_io:
2271   case Hexagon::L2_ploadrbf_pi:
2272   case Hexagon::L2_ploadrbtnew_io:
2273   case Hexagon::L2_ploadrbfnew_io:
2274   case Hexagon::L4_ploadrbt_rr:
2275   case Hexagon::L4_ploadrbf_rr:
2276   case Hexagon::L4_ploadrbtnew_rr:
2277   case Hexagon::L4_ploadrbfnew_rr:
2278   case Hexagon::L2_ploadrbtnew_pi:
2279   case Hexagon::L2_ploadrbfnew_pi:
2280   case Hexagon::L4_ploadrbt_abs:
2281   case Hexagon::L4_ploadrbf_abs:
2282   case Hexagon::L4_ploadrbtnew_abs:
2283   case Hexagon::L4_ploadrbfnew_abs:
2284   case Hexagon::L2_loadrbgp:
2285   // Half
2286   case Hexagon::L2_loadrh_io:
2287   case Hexagon::L4_loadrh_ur:
2288   case Hexagon::L4_loadrh_ap:
2289   case Hexagon::L2_loadrh_pr:
2290   case Hexagon::L2_loadrh_pbr:
2291   case Hexagon::L2_loadrh_pi:
2292   case Hexagon::L2_loadrh_pci:
2293   case Hexagon::L2_loadrh_pcr:
2294   case Hexagon::L4_loadrh_rr:
2295   case Hexagon::L2_ploadrht_io:
2296   case Hexagon::L2_ploadrht_pi:
2297   case Hexagon::L2_ploadrhf_io:
2298   case Hexagon::L2_ploadrhf_pi:
2299   case Hexagon::L2_ploadrhtnew_io:
2300   case Hexagon::L2_ploadrhfnew_io:
2301   case Hexagon::L4_ploadrht_rr:
2302   case Hexagon::L4_ploadrhf_rr:
2303   case Hexagon::L4_ploadrhtnew_rr:
2304   case Hexagon::L4_ploadrhfnew_rr:
2305   case Hexagon::L2_ploadrhtnew_pi:
2306   case Hexagon::L2_ploadrhfnew_pi:
2307   case Hexagon::L4_ploadrht_abs:
2308   case Hexagon::L4_ploadrhf_abs:
2309   case Hexagon::L4_ploadrhtnew_abs:
2310   case Hexagon::L4_ploadrhfnew_abs:
2311   case Hexagon::L2_loadrhgp:
2312     return true;
2313   default:
2314     return false;
2315   }
2316 }
2317
2318 bool HexagonInstrInfo::isSolo(const MachineInstr &MI) const {
2319   const uint64_t F = MI.getDesc().TSFlags;
2320   return (F >> HexagonII::SoloPos) & HexagonII::SoloMask;
2321 }
2322
2323 bool HexagonInstrInfo::isSpillPredRegOp(const MachineInstr &MI) const {
2324   switch (MI.getOpcode()) {
2325   case Hexagon::STriw_pred :
2326   case Hexagon::LDriw_pred :
2327     return true;
2328   default:
2329     return false;
2330   }
2331 }
2332
2333 bool HexagonInstrInfo::isTailCall(const MachineInstr &MI) const {
2334   if (!MI.isBranch())
2335     return false;
2336
2337   for (auto &Op : MI.operands())
2338     if (Op.isGlobal() || Op.isSymbol())
2339       return true;
2340   return false;
2341 }
2342
2343 // Returns true when SU has a timing class TC1.
2344 bool HexagonInstrInfo::isTC1(const MachineInstr &MI) const {
2345   unsigned SchedClass = MI.getDesc().getSchedClass();
2346   return is_TC1(SchedClass);
2347 }
2348
2349 bool HexagonInstrInfo::isTC2(const MachineInstr &MI) const {
2350   unsigned SchedClass = MI.getDesc().getSchedClass();
2351   return is_TC2(SchedClass);
2352 }
2353
2354 bool HexagonInstrInfo::isTC2Early(const MachineInstr &MI) const {
2355   unsigned SchedClass = MI.getDesc().getSchedClass();
2356   return is_TC2early(SchedClass);
2357 }
2358
2359 bool HexagonInstrInfo::isTC4x(const MachineInstr &MI) const {
2360   unsigned SchedClass = MI.getDesc().getSchedClass();
2361   return is_TC4x(SchedClass);
2362 }
2363
2364 // Schedule this ASAP.
2365 bool HexagonInstrInfo::isToBeScheduledASAP(const MachineInstr &MI1,
2366       const MachineInstr &MI2) const {
2367   if (mayBeCurLoad(MI1)) {
2368     // if (result of SU is used in Next) return true;
2369     unsigned DstReg = MI1.getOperand(0).getReg();
2370     int N = MI2.getNumOperands();
2371     for (int I = 0; I < N; I++)
2372       if (MI2.getOperand(I).isReg() && DstReg == MI2.getOperand(I).getReg())
2373         return true;
2374   }
2375   if (mayBeNewStore(MI2))
2376     if (MI2.getOpcode() == Hexagon::V6_vS32b_pi)
2377       if (MI1.getOperand(0).isReg() && MI2.getOperand(3).isReg() &&
2378           MI1.getOperand(0).getReg() == MI2.getOperand(3).getReg())
2379         return true;
2380   return false;
2381 }
2382
2383 bool HexagonInstrInfo::isHVXVec(const MachineInstr &MI) const {
2384   const uint64_t V = getType(MI);
2385   return HexagonII::TypeCVI_FIRST <= V && V <= HexagonII::TypeCVI_LAST;
2386 }
2387
2388 // Check if the Offset is a valid auto-inc imm by Load/Store Type.
2389 //
2390 bool HexagonInstrInfo::isValidAutoIncImm(const EVT VT, const int Offset) const {
2391   if (VT == MVT::v16i32 || VT == MVT::v8i64 ||
2392       VT == MVT::v32i16 || VT == MVT::v64i8) {
2393       return (Offset >= Hexagon_MEMV_AUTOINC_MIN &&
2394               Offset <= Hexagon_MEMV_AUTOINC_MAX &&
2395               (Offset & 0x3f) == 0);
2396   }
2397   // 128B
2398   if (VT == MVT::v32i32 || VT == MVT::v16i64 ||
2399       VT == MVT::v64i16 || VT == MVT::v128i8) {
2400       return (Offset >= Hexagon_MEMV_AUTOINC_MIN_128B &&
2401               Offset <= Hexagon_MEMV_AUTOINC_MAX_128B &&
2402               (Offset & 0x7f) == 0);
2403   }
2404   if (VT == MVT::i64) {
2405       return (Offset >= Hexagon_MEMD_AUTOINC_MIN &&
2406               Offset <= Hexagon_MEMD_AUTOINC_MAX &&
2407               (Offset & 0x7) == 0);
2408   }
2409   if (VT == MVT::i32) {
2410       return (Offset >= Hexagon_MEMW_AUTOINC_MIN &&
2411               Offset <= Hexagon_MEMW_AUTOINC_MAX &&
2412               (Offset & 0x3) == 0);
2413   }
2414   if (VT == MVT::i16) {
2415       return (Offset >= Hexagon_MEMH_AUTOINC_MIN &&
2416               Offset <= Hexagon_MEMH_AUTOINC_MAX &&
2417               (Offset & 0x1) == 0);
2418   }
2419   if (VT == MVT::i8) {
2420       return (Offset >= Hexagon_MEMB_AUTOINC_MIN &&
2421               Offset <= Hexagon_MEMB_AUTOINC_MAX);
2422   }
2423   llvm_unreachable("Not an auto-inc opc!");
2424 }
2425
2426 bool HexagonInstrInfo::isValidOffset(unsigned Opcode, int Offset,
2427       bool Extend) const {
2428   // This function is to check whether the "Offset" is in the correct range of
2429   // the given "Opcode". If "Offset" is not in the correct range, "A2_addi" is
2430   // inserted to calculate the final address. Due to this reason, the function
2431   // assumes that the "Offset" has correct alignment.
2432   // We used to assert if the offset was not properly aligned, however,
2433   // there are cases where a misaligned pointer recast can cause this
2434   // problem, and we need to allow for it. The front end warns of such
2435   // misaligns with respect to load size.
2436
2437   switch (Opcode) {
2438   case Hexagon::PS_vstorerq_ai:
2439   case Hexagon::PS_vstorerw_ai:
2440   case Hexagon::PS_vloadrq_ai:
2441   case Hexagon::PS_vloadrw_ai:
2442   case Hexagon::V6_vL32b_ai:
2443   case Hexagon::V6_vS32b_ai:
2444   case Hexagon::V6_vL32Ub_ai:
2445   case Hexagon::V6_vS32Ub_ai:
2446     return (Offset >= Hexagon_MEMV_OFFSET_MIN) &&
2447       (Offset <= Hexagon_MEMV_OFFSET_MAX);
2448
2449   case Hexagon::PS_vstorerq_ai_128B:
2450   case Hexagon::PS_vstorerw_ai_128B:
2451   case Hexagon::PS_vloadrq_ai_128B:
2452   case Hexagon::PS_vloadrw_ai_128B:
2453   case Hexagon::V6_vL32b_ai_128B:
2454   case Hexagon::V6_vS32b_ai_128B:
2455   case Hexagon::V6_vL32Ub_ai_128B:
2456   case Hexagon::V6_vS32Ub_ai_128B:
2457     return (Offset >= Hexagon_MEMV_OFFSET_MIN_128B) &&
2458       (Offset <= Hexagon_MEMV_OFFSET_MAX_128B);
2459
2460   case Hexagon::J2_loop0i:
2461   case Hexagon::J2_loop1i:
2462     return isUInt<10>(Offset);
2463
2464   case Hexagon::S4_storeirb_io:
2465   case Hexagon::S4_storeirbt_io:
2466   case Hexagon::S4_storeirbf_io:
2467     return isUInt<6>(Offset);
2468
2469   case Hexagon::S4_storeirh_io:
2470   case Hexagon::S4_storeirht_io:
2471   case Hexagon::S4_storeirhf_io:
2472     return isShiftedUInt<6,1>(Offset);
2473
2474   case Hexagon::S4_storeiri_io:
2475   case Hexagon::S4_storeirit_io:
2476   case Hexagon::S4_storeirif_io:
2477     return isShiftedUInt<6,2>(Offset);
2478   }
2479
2480   if (Extend)
2481     return true;
2482
2483   switch (Opcode) {
2484   case Hexagon::L2_loadri_io:
2485   case Hexagon::S2_storeri_io:
2486     return (Offset >= Hexagon_MEMW_OFFSET_MIN) &&
2487       (Offset <= Hexagon_MEMW_OFFSET_MAX);
2488
2489   case Hexagon::L2_loadrd_io:
2490   case Hexagon::S2_storerd_io:
2491     return (Offset >= Hexagon_MEMD_OFFSET_MIN) &&
2492       (Offset <= Hexagon_MEMD_OFFSET_MAX);
2493
2494   case Hexagon::L2_loadrh_io:
2495   case Hexagon::L2_loadruh_io:
2496   case Hexagon::S2_storerh_io:
2497   case Hexagon::S2_storerf_io:
2498     return (Offset >= Hexagon_MEMH_OFFSET_MIN) &&
2499       (Offset <= Hexagon_MEMH_OFFSET_MAX);
2500
2501   case Hexagon::L2_loadrb_io:
2502   case Hexagon::L2_loadrub_io:
2503   case Hexagon::S2_storerb_io:
2504     return (Offset >= Hexagon_MEMB_OFFSET_MIN) &&
2505       (Offset <= Hexagon_MEMB_OFFSET_MAX);
2506
2507   case Hexagon::A2_addi:
2508     return (Offset >= Hexagon_ADDI_OFFSET_MIN) &&
2509       (Offset <= Hexagon_ADDI_OFFSET_MAX);
2510
2511   case Hexagon::L4_iadd_memopw_io :
2512   case Hexagon::L4_isub_memopw_io :
2513   case Hexagon::L4_add_memopw_io :
2514   case Hexagon::L4_sub_memopw_io :
2515   case Hexagon::L4_and_memopw_io :
2516   case Hexagon::L4_or_memopw_io :
2517     return (0 <= Offset && Offset <= 255);
2518
2519   case Hexagon::L4_iadd_memoph_io :
2520   case Hexagon::L4_isub_memoph_io :
2521   case Hexagon::L4_add_memoph_io :
2522   case Hexagon::L4_sub_memoph_io :
2523   case Hexagon::L4_and_memoph_io :
2524   case Hexagon::L4_or_memoph_io :
2525     return (0 <= Offset && Offset <= 127);
2526
2527   case Hexagon::L4_iadd_memopb_io :
2528   case Hexagon::L4_isub_memopb_io :
2529   case Hexagon::L4_add_memopb_io :
2530   case Hexagon::L4_sub_memopb_io :
2531   case Hexagon::L4_and_memopb_io :
2532   case Hexagon::L4_or_memopb_io :
2533     return (0 <= Offset && Offset <= 63);
2534
2535   // LDriw_xxx and STriw_xxx are pseudo operations, so it has to take offset of
2536   // any size. Later pass knows how to handle it.
2537   case Hexagon::STriw_pred:
2538   case Hexagon::LDriw_pred:
2539   case Hexagon::STriw_mod:
2540   case Hexagon::LDriw_mod:
2541     return true;
2542
2543   case Hexagon::PS_fi:
2544   case Hexagon::PS_fia:
2545   case Hexagon::INLINEASM:
2546     return true;
2547
2548   case Hexagon::L2_ploadrbt_io:
2549   case Hexagon::L2_ploadrbf_io:
2550   case Hexagon::L2_ploadrubt_io:
2551   case Hexagon::L2_ploadrubf_io:
2552   case Hexagon::S2_pstorerbt_io:
2553   case Hexagon::S2_pstorerbf_io:
2554     return isUInt<6>(Offset);
2555
2556   case Hexagon::L2_ploadrht_io:
2557   case Hexagon::L2_ploadrhf_io:
2558   case Hexagon::L2_ploadruht_io:
2559   case Hexagon::L2_ploadruhf_io:
2560   case Hexagon::S2_pstorerht_io:
2561   case Hexagon::S2_pstorerhf_io:
2562     return isShiftedUInt<6,1>(Offset);
2563
2564   case Hexagon::L2_ploadrit_io:
2565   case Hexagon::L2_ploadrif_io:
2566   case Hexagon::S2_pstorerit_io:
2567   case Hexagon::S2_pstorerif_io:
2568     return isShiftedUInt<6,2>(Offset);
2569
2570   case Hexagon::L2_ploadrdt_io:
2571   case Hexagon::L2_ploadrdf_io:
2572   case Hexagon::S2_pstorerdt_io:
2573   case Hexagon::S2_pstorerdf_io:
2574     return isShiftedUInt<6,3>(Offset);
2575   } // switch
2576
2577   llvm_unreachable("No offset range is defined for this opcode. "
2578                    "Please define it in the above switch statement!");
2579 }
2580
2581 bool HexagonInstrInfo::isVecAcc(const MachineInstr &MI) const {
2582   return isHVXVec(MI) && isAccumulator(MI);
2583 }
2584
2585 bool HexagonInstrInfo::isVecALU(const MachineInstr &MI) const {
2586   const uint64_t F = get(MI.getOpcode()).TSFlags;
2587   const uint64_t V = ((F >> HexagonII::TypePos) & HexagonII::TypeMask);
2588   return
2589     V == HexagonII::TypeCVI_VA         ||
2590     V == HexagonII::TypeCVI_VA_DV;
2591 }
2592
2593 bool HexagonInstrInfo::isVecUsableNextPacket(const MachineInstr &ProdMI,
2594       const MachineInstr &ConsMI) const {
2595   if (EnableACCForwarding && isVecAcc(ProdMI) && isVecAcc(ConsMI))
2596     return true;
2597
2598   if (EnableALUForwarding && (isVecALU(ConsMI) || isLateSourceInstr(ConsMI)))
2599     return true;
2600
2601   if (mayBeNewStore(ConsMI))
2602     return true;
2603
2604   return false;
2605 }
2606
2607 bool HexagonInstrInfo::isZeroExtendingLoad(const MachineInstr &MI) const {
2608   switch (MI.getOpcode()) {
2609   // Byte
2610   case Hexagon::L2_loadrub_io:
2611   case Hexagon::L4_loadrub_ur:
2612   case Hexagon::L4_loadrub_ap:
2613   case Hexagon::L2_loadrub_pr:
2614   case Hexagon::L2_loadrub_pbr:
2615   case Hexagon::L2_loadrub_pi:
2616   case Hexagon::L2_loadrub_pci:
2617   case Hexagon::L2_loadrub_pcr:
2618   case Hexagon::L2_loadbzw2_io:
2619   case Hexagon::L4_loadbzw2_ur:
2620   case Hexagon::L4_loadbzw2_ap:
2621   case Hexagon::L2_loadbzw2_pr:
2622   case Hexagon::L2_loadbzw2_pbr:
2623   case Hexagon::L2_loadbzw2_pi:
2624   case Hexagon::L2_loadbzw2_pci:
2625   case Hexagon::L2_loadbzw2_pcr:
2626   case Hexagon::L2_loadbzw4_io:
2627   case Hexagon::L4_loadbzw4_ur:
2628   case Hexagon::L4_loadbzw4_ap:
2629   case Hexagon::L2_loadbzw4_pr:
2630   case Hexagon::L2_loadbzw4_pbr:
2631   case Hexagon::L2_loadbzw4_pi:
2632   case Hexagon::L2_loadbzw4_pci:
2633   case Hexagon::L2_loadbzw4_pcr:
2634   case Hexagon::L4_loadrub_rr:
2635   case Hexagon::L2_ploadrubt_io:
2636   case Hexagon::L2_ploadrubt_pi:
2637   case Hexagon::L2_ploadrubf_io:
2638   case Hexagon::L2_ploadrubf_pi:
2639   case Hexagon::L2_ploadrubtnew_io:
2640   case Hexagon::L2_ploadrubfnew_io:
2641   case Hexagon::L4_ploadrubt_rr:
2642   case Hexagon::L4_ploadrubf_rr:
2643   case Hexagon::L4_ploadrubtnew_rr:
2644   case Hexagon::L4_ploadrubfnew_rr:
2645   case Hexagon::L2_ploadrubtnew_pi:
2646   case Hexagon::L2_ploadrubfnew_pi:
2647   case Hexagon::L4_ploadrubt_abs:
2648   case Hexagon::L4_ploadrubf_abs:
2649   case Hexagon::L4_ploadrubtnew_abs:
2650   case Hexagon::L4_ploadrubfnew_abs:
2651   case Hexagon::L2_loadrubgp:
2652   // Half
2653   case Hexagon::L2_loadruh_io:
2654   case Hexagon::L4_loadruh_ur:
2655   case Hexagon::L4_loadruh_ap:
2656   case Hexagon::L2_loadruh_pr:
2657   case Hexagon::L2_loadruh_pbr:
2658   case Hexagon::L2_loadruh_pi:
2659   case Hexagon::L2_loadruh_pci:
2660   case Hexagon::L2_loadruh_pcr:
2661   case Hexagon::L4_loadruh_rr:
2662   case Hexagon::L2_ploadruht_io:
2663   case Hexagon::L2_ploadruht_pi:
2664   case Hexagon::L2_ploadruhf_io:
2665   case Hexagon::L2_ploadruhf_pi:
2666   case Hexagon::L2_ploadruhtnew_io:
2667   case Hexagon::L2_ploadruhfnew_io:
2668   case Hexagon::L4_ploadruht_rr:
2669   case Hexagon::L4_ploadruhf_rr:
2670   case Hexagon::L4_ploadruhtnew_rr:
2671   case Hexagon::L4_ploadruhfnew_rr:
2672   case Hexagon::L2_ploadruhtnew_pi:
2673   case Hexagon::L2_ploadruhfnew_pi:
2674   case Hexagon::L4_ploadruht_abs:
2675   case Hexagon::L4_ploadruhf_abs:
2676   case Hexagon::L4_ploadruhtnew_abs:
2677   case Hexagon::L4_ploadruhfnew_abs:
2678   case Hexagon::L2_loadruhgp:
2679     return true;
2680   default:
2681     return false;
2682   }
2683 }
2684
2685 // Add latency to instruction.
2686 bool HexagonInstrInfo::addLatencyToSchedule(const MachineInstr &MI1,
2687       const MachineInstr &MI2) const {
2688   if (isHVXVec(MI1) && isHVXVec(MI2))
2689     if (!isVecUsableNextPacket(MI1, MI2))
2690       return true;
2691   return false;
2692 }
2693
2694 /// \brief Get the base register and byte offset of a load/store instr.
2695 bool HexagonInstrInfo::getMemOpBaseRegImmOfs(MachineInstr &LdSt,
2696       unsigned &BaseReg, int64_t &Offset, const TargetRegisterInfo *TRI)
2697       const {
2698   unsigned AccessSize = 0;
2699   int OffsetVal = 0;
2700   BaseReg = getBaseAndOffset(LdSt, OffsetVal, AccessSize);
2701   Offset = OffsetVal;
2702   return BaseReg != 0;
2703 }
2704
2705 /// \brief Can these instructions execute at the same time in a bundle.
2706 bool HexagonInstrInfo::canExecuteInBundle(const MachineInstr &First,
2707       const MachineInstr &Second) const {
2708   if (Second.mayStore() && First.getOpcode() == Hexagon::S2_allocframe) {
2709     const MachineOperand &Op = Second.getOperand(0);
2710     if (Op.isReg() && Op.isUse() && Op.getReg() == Hexagon::R29)
2711       return true;
2712   }
2713   if (DisableNVSchedule)
2714     return false;
2715   if (mayBeNewStore(Second)) {
2716     // Make sure the definition of the first instruction is the value being
2717     // stored.
2718     const MachineOperand &Stored =
2719       Second.getOperand(Second.getNumOperands() - 1);
2720     if (!Stored.isReg())
2721       return false;
2722     for (unsigned i = 0, e = First.getNumOperands(); i < e; ++i) {
2723       const MachineOperand &Op = First.getOperand(i);
2724       if (Op.isReg() && Op.isDef() && Op.getReg() == Stored.getReg())
2725         return true;
2726     }
2727   }
2728   return false;
2729 }
2730
2731 bool HexagonInstrInfo::doesNotReturn(const MachineInstr &CallMI) const {
2732   unsigned Opc = CallMI.getOpcode();
2733   return Opc == Hexagon::PS_call_nr || Opc == Hexagon::PS_callr_nr;
2734 }
2735
2736 bool HexagonInstrInfo::hasEHLabel(const MachineBasicBlock *B) const {
2737   for (auto &I : *B)
2738     if (I.isEHLabel())
2739       return true;
2740   return false;
2741 }
2742
2743 // Returns true if an instruction can be converted into a non-extended
2744 // equivalent instruction.
2745 bool HexagonInstrInfo::hasNonExtEquivalent(const MachineInstr &MI) const {
2746   short NonExtOpcode;
2747   // Check if the instruction has a register form that uses register in place
2748   // of the extended operand, if so return that as the non-extended form.
2749   if (Hexagon::getRegForm(MI.getOpcode()) >= 0)
2750     return true;
2751
2752   if (MI.getDesc().mayLoad() || MI.getDesc().mayStore()) {
2753     // Check addressing mode and retrieve non-ext equivalent instruction.
2754
2755     switch (getAddrMode(MI)) {
2756     case HexagonII::Absolute :
2757       // Load/store with absolute addressing mode can be converted into
2758       // base+offset mode.
2759       NonExtOpcode = Hexagon::getBaseWithImmOffset(MI.getOpcode());
2760       break;
2761     case HexagonII::BaseImmOffset :
2762       // Load/store with base+offset addressing mode can be converted into
2763       // base+register offset addressing mode. However left shift operand should
2764       // be set to 0.
2765       NonExtOpcode = Hexagon::getBaseWithRegOffset(MI.getOpcode());
2766       break;
2767     case HexagonII::BaseLongOffset:
2768       NonExtOpcode = Hexagon::getRegShlForm(MI.getOpcode());
2769       break;
2770     default:
2771       return false;
2772     }
2773     if (NonExtOpcode < 0)
2774       return false;
2775     return true;
2776   }
2777   return false;
2778 }
2779
2780 bool HexagonInstrInfo::hasPseudoInstrPair(const MachineInstr &MI) const {
2781   return Hexagon::getRealHWInstr(MI.getOpcode(),
2782                                  Hexagon::InstrType_Pseudo) >= 0;
2783 }
2784
2785 bool HexagonInstrInfo::hasUncondBranch(const MachineBasicBlock *B)
2786       const {
2787   MachineBasicBlock::const_iterator I = B->getFirstTerminator(), E = B->end();
2788   while (I != E) {
2789     if (I->isBarrier())
2790       return true;
2791     ++I;
2792   }
2793   return false;
2794 }
2795
2796 // Returns true, if a LD insn can be promoted to a cur load.
2797 bool HexagonInstrInfo::mayBeCurLoad(const MachineInstr &MI) const {
2798   auto &HST = MI.getParent()->getParent()->getSubtarget<HexagonSubtarget>();
2799   const uint64_t F = MI.getDesc().TSFlags;
2800   return ((F >> HexagonII::mayCVLoadPos) & HexagonII::mayCVLoadMask) &&
2801          HST.hasV60TOps();
2802 }
2803
2804 // Returns true, if a ST insn can be promoted to a new-value store.
2805 bool HexagonInstrInfo::mayBeNewStore(const MachineInstr &MI) const {
2806   const uint64_t F = MI.getDesc().TSFlags;
2807   return (F >> HexagonII::mayNVStorePos) & HexagonII::mayNVStoreMask;
2808 }
2809
2810 bool HexagonInstrInfo::producesStall(const MachineInstr &ProdMI,
2811       const MachineInstr &ConsMI) const {
2812   // There is no stall when ProdMI is not a V60 vector.
2813   if (!isHVXVec(ProdMI))
2814     return false;
2815
2816   // There is no stall when ProdMI and ConsMI are not dependent.
2817   if (!isDependent(ProdMI, ConsMI))
2818     return false;
2819
2820   // When Forward Scheduling is enabled, there is no stall if ProdMI and ConsMI
2821   // are scheduled in consecutive packets.
2822   if (isVecUsableNextPacket(ProdMI, ConsMI))
2823     return false;
2824
2825   return true;
2826 }
2827
2828 bool HexagonInstrInfo::producesStall(const MachineInstr &MI,
2829       MachineBasicBlock::const_instr_iterator BII) const {
2830   // There is no stall when I is not a V60 vector.
2831   if (!isHVXVec(MI))
2832     return false;
2833
2834   MachineBasicBlock::const_instr_iterator MII = BII;
2835   MachineBasicBlock::const_instr_iterator MIE = MII->getParent()->instr_end();
2836
2837   if (!(*MII).isBundle()) {
2838     const MachineInstr &J = *MII;
2839     return producesStall(J, MI);
2840   }
2841
2842   for (++MII; MII != MIE && MII->isInsideBundle(); ++MII) {
2843     const MachineInstr &J = *MII;
2844     if (producesStall(J, MI))
2845       return true;
2846   }
2847   return false;
2848 }
2849
2850 bool HexagonInstrInfo::predCanBeUsedAsDotNew(const MachineInstr &MI,
2851       unsigned PredReg) const {
2852   for (const MachineOperand &MO : MI.operands()) {
2853     // Predicate register must be explicitly defined.
2854     if (MO.isRegMask() && MO.clobbersPhysReg(PredReg))
2855       return false;
2856     if (MO.isReg() && MO.isDef() && MO.isImplicit() && (MO.getReg() == PredReg))
2857       return false;
2858   }
2859
2860   // Hexagon Programmer's Reference says that decbin, memw_locked, and
2861   // memd_locked cannot be used as .new as well,
2862   // but we don't seem to have these instructions defined.
2863   return MI.getOpcode() != Hexagon::A4_tlbmatch;
2864 }
2865
2866 bool HexagonInstrInfo::PredOpcodeHasJMP_c(unsigned Opcode) const {
2867   return Opcode == Hexagon::J2_jumpt      ||
2868          Opcode == Hexagon::J2_jumptpt    ||
2869          Opcode == Hexagon::J2_jumpf      ||
2870          Opcode == Hexagon::J2_jumpfpt    ||
2871          Opcode == Hexagon::J2_jumptnew   ||
2872          Opcode == Hexagon::J2_jumpfnew   ||
2873          Opcode == Hexagon::J2_jumptnewpt ||
2874          Opcode == Hexagon::J2_jumpfnewpt;
2875 }
2876
2877 bool HexagonInstrInfo::predOpcodeHasNot(ArrayRef<MachineOperand> Cond) const {
2878   if (Cond.empty() || !isPredicated(Cond[0].getImm()))
2879     return false;
2880   return !isPredicatedTrue(Cond[0].getImm());
2881 }
2882
2883 short HexagonInstrInfo::getAbsoluteForm(const MachineInstr &MI) const {
2884   return Hexagon::getAbsoluteForm(MI.getOpcode());
2885 }
2886
2887 unsigned HexagonInstrInfo::getAddrMode(const MachineInstr &MI) const {
2888   const uint64_t F = MI.getDesc().TSFlags;
2889   return (F >> HexagonII::AddrModePos) & HexagonII::AddrModeMask;
2890 }
2891
2892 // Returns the base register in a memory access (load/store). The offset is
2893 // returned in Offset and the access size is returned in AccessSize.
2894 unsigned HexagonInstrInfo::getBaseAndOffset(const MachineInstr &MI,
2895       int &Offset, unsigned &AccessSize) const {
2896   // Return if it is not a base+offset type instruction or a MemOp.
2897   if (getAddrMode(MI) != HexagonII::BaseImmOffset &&
2898       getAddrMode(MI) != HexagonII::BaseLongOffset &&
2899       !isMemOp(MI) && !isPostIncrement(MI))
2900     return 0;
2901
2902   // Since it is a memory access instruction, getMemAccessSize() should never
2903   // return 0.
2904   assert (getMemAccessSize(MI) &&
2905           "BaseImmOffset or BaseLongOffset or MemOp without accessSize");
2906
2907   // Return Values of getMemAccessSize() are
2908   // 0 - Checked in the assert above.
2909   // 1, 2, 3, 4 & 7, 8 - The statement below is correct for all these.
2910   // MemAccessSize is represented as 1+log2(N) where N is size in bits.
2911   AccessSize = (1U << (getMemAccessSize(MI) - 1));
2912
2913   unsigned basePos = 0, offsetPos = 0;
2914   if (!getBaseAndOffsetPosition(MI, basePos, offsetPos))
2915     return 0;
2916
2917   // Post increment updates its EA after the mem access,
2918   // so we need to treat its offset as zero.
2919   if (isPostIncrement(MI))
2920     Offset = 0;
2921   else {
2922     Offset = MI.getOperand(offsetPos).getImm();
2923   }
2924
2925   return MI.getOperand(basePos).getReg();
2926 }
2927
2928 /// Return the position of the base and offset operands for this instruction.
2929 bool HexagonInstrInfo::getBaseAndOffsetPosition(const MachineInstr &MI,
2930       unsigned &BasePos, unsigned &OffsetPos) const {
2931   // Deal with memops first.
2932   if (isMemOp(MI)) {
2933     BasePos = 0;
2934     OffsetPos = 1;
2935   } else if (MI.mayStore()) {
2936     BasePos = 0;
2937     OffsetPos = 1;
2938   } else if (MI.mayLoad()) {
2939     BasePos = 1;
2940     OffsetPos = 2;
2941   } else
2942     return false;
2943
2944   if (isPredicated(MI)) {
2945     BasePos++;
2946     OffsetPos++;
2947   }
2948   if (isPostIncrement(MI)) {
2949     BasePos++;
2950     OffsetPos++;
2951   }
2952
2953   if (!MI.getOperand(BasePos).isReg() || !MI.getOperand(OffsetPos).isImm())
2954     return false;
2955
2956   return true;
2957 }
2958
2959 // Inserts branching instructions in reverse order of their occurrence.
2960 // e.g. jump_t t1 (i1)
2961 // jump t2        (i2)
2962 // Jumpers = {i2, i1}
2963 SmallVector<MachineInstr*, 2> HexagonInstrInfo::getBranchingInstrs(
2964       MachineBasicBlock& MBB) const {
2965   SmallVector<MachineInstr*, 2> Jumpers;
2966   // If the block has no terminators, it just falls into the block after it.
2967   MachineBasicBlock::instr_iterator I = MBB.instr_end();
2968   if (I == MBB.instr_begin())
2969     return Jumpers;
2970
2971   // A basic block may looks like this:
2972   //
2973   //  [   insn
2974   //     EH_LABEL
2975   //      insn
2976   //      insn
2977   //      insn
2978   //     EH_LABEL
2979   //      insn     ]
2980   //
2981   // It has two succs but does not have a terminator
2982   // Don't know how to handle it.
2983   do {
2984     --I;
2985     if (I->isEHLabel())
2986       return Jumpers;
2987   } while (I != MBB.instr_begin());
2988
2989   I = MBB.instr_end();
2990   --I;
2991
2992   while (I->isDebugValue()) {
2993     if (I == MBB.instr_begin())
2994       return Jumpers;
2995     --I;
2996   }
2997   if (!isUnpredicatedTerminator(*I))
2998     return Jumpers;
2999
3000   // Get the last instruction in the block.
3001   MachineInstr *LastInst = &*I;
3002   Jumpers.push_back(LastInst);
3003   MachineInstr *SecondLastInst = nullptr;
3004   // Find one more terminator if present.
3005   do {
3006     if (&*I != LastInst && !I->isBundle() && isUnpredicatedTerminator(*I)) {
3007       if (!SecondLastInst) {
3008         SecondLastInst = &*I;
3009         Jumpers.push_back(SecondLastInst);
3010       } else // This is a third branch.
3011         return Jumpers;
3012     }
3013     if (I == MBB.instr_begin())
3014       break;
3015     --I;
3016   } while (true);
3017   return Jumpers;
3018 }
3019
3020 short HexagonInstrInfo::getBaseWithLongOffset(short Opcode) const {
3021   if (Opcode < 0)
3022     return -1;
3023   return Hexagon::getBaseWithLongOffset(Opcode);
3024 }
3025
3026 short HexagonInstrInfo::getBaseWithLongOffset(const MachineInstr &MI) const {
3027   return Hexagon::getBaseWithLongOffset(MI.getOpcode());
3028 }
3029
3030 short HexagonInstrInfo::getBaseWithRegOffset(const MachineInstr &MI) const {
3031   return Hexagon::getBaseWithRegOffset(MI.getOpcode());
3032 }
3033
3034 // Returns Operand Index for the constant extended instruction.
3035 unsigned HexagonInstrInfo::getCExtOpNum(const MachineInstr &MI) const {
3036   const uint64_t F = MI.getDesc().TSFlags;
3037   return (F >> HexagonII::ExtendableOpPos) & HexagonII::ExtendableOpMask;
3038 }
3039
3040 // See if instruction could potentially be a duplex candidate.
3041 // If so, return its group. Zero otherwise.
3042 HexagonII::CompoundGroup HexagonInstrInfo::getCompoundCandidateGroup(
3043       const MachineInstr &MI) const {
3044   unsigned DstReg, SrcReg, Src1Reg, Src2Reg;
3045
3046   switch (MI.getOpcode()) {
3047   default:
3048     return HexagonII::HCG_None;
3049   //
3050   // Compound pairs.
3051   // "p0=cmp.eq(Rs16,Rt16); if (p0.new) jump:nt #r9:2"
3052   // "Rd16=#U6 ; jump #r9:2"
3053   // "Rd16=Rs16 ; jump #r9:2"
3054   //
3055   case Hexagon::C2_cmpeq:
3056   case Hexagon::C2_cmpgt:
3057   case Hexagon::C2_cmpgtu:
3058     DstReg = MI.getOperand(0).getReg();
3059     Src1Reg = MI.getOperand(1).getReg();
3060     Src2Reg = MI.getOperand(2).getReg();
3061     if (Hexagon::PredRegsRegClass.contains(DstReg) &&
3062         (Hexagon::P0 == DstReg || Hexagon::P1 == DstReg) &&
3063         isIntRegForSubInst(Src1Reg) && isIntRegForSubInst(Src2Reg))
3064       return HexagonII::HCG_A;
3065     break;
3066   case Hexagon::C2_cmpeqi:
3067   case Hexagon::C2_cmpgti:
3068   case Hexagon::C2_cmpgtui:
3069     // P0 = cmp.eq(Rs,#u2)
3070     DstReg = MI.getOperand(0).getReg();
3071     SrcReg = MI.getOperand(1).getReg();
3072     if (Hexagon::PredRegsRegClass.contains(DstReg) &&
3073         (Hexagon::P0 == DstReg || Hexagon::P1 == DstReg) &&
3074         isIntRegForSubInst(SrcReg) && MI.getOperand(2).isImm() &&
3075         ((isUInt<5>(MI.getOperand(2).getImm())) ||
3076          (MI.getOperand(2).getImm() == -1)))
3077       return HexagonII::HCG_A;
3078     break;
3079   case Hexagon::A2_tfr:
3080     // Rd = Rs
3081     DstReg = MI.getOperand(0).getReg();
3082     SrcReg = MI.getOperand(1).getReg();
3083     if (isIntRegForSubInst(DstReg) && isIntRegForSubInst(SrcReg))
3084       return HexagonII::HCG_A;
3085     break;
3086   case Hexagon::A2_tfrsi:
3087     // Rd = #u6
3088     // Do not test for #u6 size since the const is getting extended
3089     // regardless and compound could be formed.
3090     DstReg = MI.getOperand(0).getReg();
3091     if (isIntRegForSubInst(DstReg))
3092       return HexagonII::HCG_A;
3093     break;
3094   case Hexagon::S2_tstbit_i:
3095     DstReg = MI.getOperand(0).getReg();
3096     Src1Reg = MI.getOperand(1).getReg();
3097     if (Hexagon::PredRegsRegClass.contains(DstReg) &&
3098         (Hexagon::P0 == DstReg || Hexagon::P1 == DstReg) &&
3099         MI.getOperand(2).isImm() &&
3100         isIntRegForSubInst(Src1Reg) && (MI.getOperand(2).getImm() == 0))
3101       return HexagonII::HCG_A;
3102     break;
3103   // The fact that .new form is used pretty much guarantees
3104   // that predicate register will match. Nevertheless,
3105   // there could be some false positives without additional
3106   // checking.
3107   case Hexagon::J2_jumptnew:
3108   case Hexagon::J2_jumpfnew:
3109   case Hexagon::J2_jumptnewpt:
3110   case Hexagon::J2_jumpfnewpt:
3111     Src1Reg = MI.getOperand(0).getReg();
3112     if (Hexagon::PredRegsRegClass.contains(Src1Reg) &&
3113         (Hexagon::P0 == Src1Reg || Hexagon::P1 == Src1Reg))
3114       return HexagonII::HCG_B;
3115     break;
3116   // Transfer and jump:
3117   // Rd=#U6 ; jump #r9:2
3118   // Rd=Rs ; jump #r9:2
3119   // Do not test for jump range here.
3120   case Hexagon::J2_jump:
3121   case Hexagon::RESTORE_DEALLOC_RET_JMP_V4:
3122   case Hexagon::RESTORE_DEALLOC_RET_JMP_V4_PIC:
3123     return HexagonII::HCG_C;
3124     break;
3125   }
3126
3127   return HexagonII::HCG_None;
3128 }
3129
3130 // Returns -1 when there is no opcode found.
3131 unsigned HexagonInstrInfo::getCompoundOpcode(const MachineInstr &GA,
3132       const MachineInstr &GB) const {
3133   assert(getCompoundCandidateGroup(GA) == HexagonII::HCG_A);
3134   assert(getCompoundCandidateGroup(GB) == HexagonII::HCG_B);
3135   if ((GA.getOpcode() != Hexagon::C2_cmpeqi) ||
3136       (GB.getOpcode() != Hexagon::J2_jumptnew))
3137     return -1;
3138   unsigned DestReg = GA.getOperand(0).getReg();
3139   if (!GB.readsRegister(DestReg))
3140     return -1;
3141   if (DestReg == Hexagon::P0)
3142     return Hexagon::J4_cmpeqi_tp0_jump_nt;
3143   if (DestReg == Hexagon::P1)
3144     return Hexagon::J4_cmpeqi_tp1_jump_nt;
3145   return -1;
3146 }
3147
3148 int HexagonInstrInfo::getCondOpcode(int Opc, bool invertPredicate) const {
3149   enum Hexagon::PredSense inPredSense;
3150   inPredSense = invertPredicate ? Hexagon::PredSense_false :
3151                                   Hexagon::PredSense_true;
3152   int CondOpcode = Hexagon::getPredOpcode(Opc, inPredSense);
3153   if (CondOpcode >= 0) // Valid Conditional opcode/instruction
3154     return CondOpcode;
3155
3156   llvm_unreachable("Unexpected predicable instruction");
3157 }
3158
3159 // Return the cur value instruction for a given store.
3160 int HexagonInstrInfo::getDotCurOp(const MachineInstr &MI) const {
3161   switch (MI.getOpcode()) {
3162   default: llvm_unreachable("Unknown .cur type");
3163   case Hexagon::V6_vL32b_pi:
3164     return Hexagon::V6_vL32b_cur_pi;
3165   case Hexagon::V6_vL32b_ai:
3166     return Hexagon::V6_vL32b_cur_ai;
3167   //128B
3168   case Hexagon::V6_vL32b_pi_128B:
3169     return Hexagon::V6_vL32b_cur_pi_128B;
3170   case Hexagon::V6_vL32b_ai_128B:
3171     return Hexagon::V6_vL32b_cur_ai_128B;
3172   }
3173   return 0;
3174 }
3175
3176 // Return the regular version of the .cur instruction.
3177 int HexagonInstrInfo::getNonDotCurOp(const MachineInstr &MI) const {
3178   switch (MI.getOpcode()) {
3179   default: llvm_unreachable("Unknown .cur type");
3180   case Hexagon::V6_vL32b_cur_pi:
3181     return Hexagon::V6_vL32b_pi;
3182   case Hexagon::V6_vL32b_cur_ai:
3183     return Hexagon::V6_vL32b_ai;
3184   //128B
3185   case Hexagon::V6_vL32b_cur_pi_128B:
3186     return Hexagon::V6_vL32b_pi_128B;
3187   case Hexagon::V6_vL32b_cur_ai_128B:
3188     return Hexagon::V6_vL32b_ai_128B;
3189   }
3190   return 0;
3191 }
3192
3193
3194 // The diagram below shows the steps involved in the conversion of a predicated
3195 // store instruction to its .new predicated new-value form.
3196 //
3197 // Note: It doesn't include conditional new-value stores as they can't be
3198 // converted to .new predicate.
3199 //
3200 //               p.new NV store [ if(p0.new)memw(R0+#0)=R2.new ]
3201 //                ^           ^
3202 //               /             \ (not OK. it will cause new-value store to be
3203 //              /               X conditional on p0.new while R2 producer is
3204 //             /                 \ on p0)
3205 //            /                   \.
3206 //     p.new store                 p.old NV store
3207 // [if(p0.new)memw(R0+#0)=R2]    [if(p0)memw(R0+#0)=R2.new]
3208 //            ^                  ^
3209 //             \                /
3210 //              \              /
3211 //               \            /
3212 //                 p.old store
3213 //             [if (p0)memw(R0+#0)=R2]
3214 //
3215 // The following set of instructions further explains the scenario where
3216 // conditional new-value store becomes invalid when promoted to .new predicate
3217 // form.
3218 //
3219 // { 1) if (p0) r0 = add(r1, r2)
3220 //   2) p0 = cmp.eq(r3, #0) }
3221 //
3222 //   3) if (p0) memb(r1+#0) = r0  --> this instruction can't be grouped with
3223 // the first two instructions because in instr 1, r0 is conditional on old value
3224 // of p0 but its use in instr 3 is conditional on p0 modified by instr 2 which
3225 // is not valid for new-value stores.
3226 // Predicated new value stores (i.e. if (p0) memw(..)=r0.new) are excluded
3227 // from the "Conditional Store" list. Because a predicated new value store
3228 // would NOT be promoted to a double dot new store. See diagram below:
3229 // This function returns yes for those stores that are predicated but not
3230 // yet promoted to predicate dot new instructions.
3231 //
3232 //                          +---------------------+
3233 //                    /-----| if (p0) memw(..)=r0 |---------\~
3234 //                   ||     +---------------------+         ||
3235 //          promote  ||       /\       /\                   ||  promote
3236 //                   ||      /||\     /||\                  ||
3237 //                  \||/    demote     ||                  \||/
3238 //                   \/       ||       ||                   \/
3239 //       +-------------------------+   ||   +-------------------------+
3240 //       | if (p0.new) memw(..)=r0 |   ||   | if (p0) memw(..)=r0.new |
3241 //       +-------------------------+   ||   +-------------------------+
3242 //                        ||           ||         ||
3243 //                        ||         demote      \||/
3244 //                      promote        ||         \/ NOT possible
3245 //                        ||           ||         /\~
3246 //                       \||/          ||        /||\~
3247 //                        \/           ||         ||
3248 //                      +-----------------------------+
3249 //                      | if (p0.new) memw(..)=r0.new |
3250 //                      +-----------------------------+
3251 //                           Double Dot New Store
3252 //
3253 // Returns the most basic instruction for the .new predicated instructions and
3254 // new-value stores.
3255 // For example, all of the following instructions will be converted back to the
3256 // same instruction:
3257 // 1) if (p0.new) memw(R0+#0) = R1.new  --->
3258 // 2) if (p0) memw(R0+#0)= R1.new      -------> if (p0) memw(R0+#0) = R1
3259 // 3) if (p0.new) memw(R0+#0) = R1      --->
3260 //
3261 // To understand the translation of instruction 1 to its original form, consider
3262 // a packet with 3 instructions.
3263 // { p0 = cmp.eq(R0,R1)
3264 //   if (p0.new) R2 = add(R3, R4)
3265 //   R5 = add (R3, R1)
3266 // }
3267 // if (p0) memw(R5+#0) = R2 <--- trying to include it in the previous packet
3268 //
3269 // This instruction can be part of the previous packet only if both p0 and R2
3270 // are promoted to .new values. This promotion happens in steps, first
3271 // predicate register is promoted to .new and in the next iteration R2 is
3272 // promoted. Therefore, in case of dependence check failure (due to R5) during
3273 // next iteration, it should be converted back to its most basic form.
3274
3275 // Return the new value instruction for a given store.
3276 int HexagonInstrInfo::getDotNewOp(const MachineInstr &MI) const {
3277   int NVOpcode = Hexagon::getNewValueOpcode(MI.getOpcode());
3278   if (NVOpcode >= 0) // Valid new-value store instruction.
3279     return NVOpcode;
3280
3281   switch (MI.getOpcode()) {
3282   default:
3283     llvm::report_fatal_error(std::string("Unknown .new type: ") +
3284       std::to_string(MI.getOpcode()).c_str());
3285   case Hexagon::S4_storerb_ur:
3286     return Hexagon::S4_storerbnew_ur;
3287
3288   case Hexagon::S2_storerb_pci:
3289     return Hexagon::S2_storerb_pci;
3290
3291   case Hexagon::S2_storeri_pci:
3292     return Hexagon::S2_storeri_pci;
3293
3294   case Hexagon::S2_storerh_pci:
3295     return Hexagon::S2_storerh_pci;
3296
3297   case Hexagon::S2_storerd_pci:
3298     return Hexagon::S2_storerd_pci;
3299
3300   case Hexagon::S2_storerf_pci:
3301     return Hexagon::S2_storerf_pci;
3302
3303   case Hexagon::V6_vS32b_ai:
3304     return Hexagon::V6_vS32b_new_ai;
3305
3306   case Hexagon::V6_vS32b_pi:
3307     return Hexagon::V6_vS32b_new_pi;
3308
3309   // 128B
3310   case Hexagon::V6_vS32b_ai_128B:
3311     return Hexagon::V6_vS32b_new_ai_128B;
3312
3313   case Hexagon::V6_vS32b_pi_128B:
3314     return Hexagon::V6_vS32b_new_pi_128B;
3315   }
3316   return 0;
3317 }
3318
3319 // Returns the opcode to use when converting MI, which is a conditional jump,
3320 // into a conditional instruction which uses the .new value of the predicate.
3321 // We also use branch probabilities to add a hint to the jump.
3322 // If MBPI is null, all edges will be treated as equally likely for the
3323 // purposes of establishing a predication hint.
3324 int HexagonInstrInfo::getDotNewPredJumpOp(const MachineInstr &MI,
3325       const MachineBranchProbabilityInfo *MBPI) const {
3326   // We assume that block can have at most two successors.
3327   const MachineBasicBlock *Src = MI.getParent();
3328   const MachineOperand &BrTarget = MI.getOperand(1);
3329   bool Taken = false;
3330   const BranchProbability OneHalf(1, 2);
3331
3332   auto getEdgeProbability = [MBPI] (const MachineBasicBlock *Src,
3333                                     const MachineBasicBlock *Dst) {
3334     if (MBPI)
3335       return MBPI->getEdgeProbability(Src, Dst);
3336     return BranchProbability(1, Src->succ_size());
3337   };
3338
3339   if (BrTarget.isMBB()) {
3340     const MachineBasicBlock *Dst = BrTarget.getMBB();
3341     Taken = getEdgeProbability(Src, Dst) >= OneHalf;
3342   } else {
3343     // The branch target is not a basic block (most likely a function).
3344     // Since BPI only gives probabilities for targets that are basic blocks,
3345     // try to identify another target of this branch (potentially a fall-
3346     // -through) and check the probability of that target.
3347     //
3348     // The only handled branch combinations are:
3349     // - one conditional branch,
3350     // - one conditional branch followed by one unconditional branch.
3351     // Otherwise, assume not-taken.
3352     assert(MI.isConditionalBranch());
3353     const MachineBasicBlock &B = *MI.getParent();
3354     bool SawCond = false, Bad = false;
3355     for (const MachineInstr &I : B) {
3356       if (!I.isBranch())
3357         continue;
3358       if (I.isConditionalBranch()) {
3359         SawCond = true;
3360         if (&I != &MI) {
3361           Bad = true;
3362           break;
3363         }
3364       }
3365       if (I.isUnconditionalBranch() && !SawCond) {
3366         Bad = true;
3367         break;
3368       }
3369     }
3370     if (!Bad) {
3371       MachineBasicBlock::const_instr_iterator It(MI);
3372       MachineBasicBlock::const_instr_iterator NextIt = std::next(It);
3373       if (NextIt == B.instr_end()) {
3374         // If this branch is the last, look for the fall-through block.
3375         for (const MachineBasicBlock *SB : B.successors()) {
3376           if (!B.isLayoutSuccessor(SB))
3377             continue;
3378           Taken = getEdgeProbability(Src, SB) < OneHalf;
3379           break;
3380         }
3381       } else {
3382         assert(NextIt->isUnconditionalBranch());
3383         // Find the first MBB operand and assume it's the target.
3384         const MachineBasicBlock *BT = nullptr;
3385         for (const MachineOperand &Op : NextIt->operands()) {
3386           if (!Op.isMBB())
3387             continue;
3388           BT = Op.getMBB();
3389           break;
3390         }
3391         Taken = BT && getEdgeProbability(Src, BT) < OneHalf;
3392       }
3393     } // if (!Bad)
3394   }
3395
3396   // The Taken flag should be set to something reasonable by this point.
3397
3398   switch (MI.getOpcode()) {
3399   case Hexagon::J2_jumpt:
3400     return Taken ? Hexagon::J2_jumptnewpt : Hexagon::J2_jumptnew;
3401   case Hexagon::J2_jumpf:
3402     return Taken ? Hexagon::J2_jumpfnewpt : Hexagon::J2_jumpfnew;
3403
3404   default:
3405     llvm_unreachable("Unexpected jump instruction.");
3406   }
3407 }
3408
3409 // Return .new predicate version for an instruction.
3410 int HexagonInstrInfo::getDotNewPredOp(const MachineInstr &MI,
3411       const MachineBranchProbabilityInfo *MBPI) const {
3412   switch (MI.getOpcode()) {
3413   // Condtional Jumps
3414   case Hexagon::J2_jumpt:
3415   case Hexagon::J2_jumpf:
3416     return getDotNewPredJumpOp(MI, MBPI);
3417   }
3418
3419   int NewOpcode = Hexagon::getPredNewOpcode(MI.getOpcode());
3420   if (NewOpcode >= 0)
3421     return NewOpcode;
3422   return 0;
3423 }
3424
3425 int HexagonInstrInfo::getDotOldOp(const MachineInstr &MI) const {
3426   const MachineFunction &MF = *MI.getParent()->getParent();
3427   const HexagonSubtarget &HST = MF.getSubtarget<HexagonSubtarget>();
3428   int NewOp = MI.getOpcode();
3429   if (isPredicated(NewOp) && isPredicatedNew(NewOp)) { // Get predicate old form
3430     NewOp = Hexagon::getPredOldOpcode(NewOp);
3431     // All Hexagon architectures have prediction bits on dot-new branches,
3432     // but only Hexagon V60+ has prediction bits on dot-old ones. Make sure
3433     // to pick the right opcode when converting back to dot-old.
3434     if (!HST.getFeatureBits()[Hexagon::ArchV60]) {
3435       switch (NewOp) {
3436       case Hexagon::J2_jumptpt:
3437         NewOp = Hexagon::J2_jumpt;
3438         break;
3439       case Hexagon::J2_jumpfpt:
3440         NewOp = Hexagon::J2_jumpf;
3441         break;
3442       case Hexagon::J2_jumprtpt:
3443         NewOp = Hexagon::J2_jumprt;
3444         break;
3445       case Hexagon::J2_jumprfpt:
3446         NewOp = Hexagon::J2_jumprf;
3447         break;
3448       }
3449     }
3450     assert(NewOp >= 0 &&
3451            "Couldn't change predicate new instruction to its old form.");
3452   }
3453
3454   if (isNewValueStore(NewOp)) { // Convert into non-new-value format
3455     NewOp = Hexagon::getNonNVStore(NewOp);
3456     assert(NewOp >= 0 && "Couldn't change new-value store to its old form.");
3457   }
3458
3459   if (HST.hasV60TOps())
3460     return NewOp;
3461
3462   // Subtargets prior to V60 didn't support 'taken' forms of predicated jumps.
3463   switch (NewOp) {
3464   case Hexagon::J2_jumpfpt:
3465     return Hexagon::J2_jumpf;
3466   case Hexagon::J2_jumptpt:
3467     return Hexagon::J2_jumpt;
3468   case Hexagon::J2_jumprfpt:
3469     return Hexagon::J2_jumprf;
3470   case Hexagon::J2_jumprtpt:
3471     return Hexagon::J2_jumprt;
3472   }
3473   return NewOp;
3474 }
3475
3476 // See if instruction could potentially be a duplex candidate.
3477 // If so, return its group. Zero otherwise.
3478 HexagonII::SubInstructionGroup HexagonInstrInfo::getDuplexCandidateGroup(
3479       const MachineInstr &MI) const {
3480   unsigned DstReg, SrcReg, Src1Reg, Src2Reg;
3481   auto &HRI = getRegisterInfo();
3482
3483   switch (MI.getOpcode()) {
3484   default:
3485     return HexagonII::HSIG_None;
3486   //
3487   // Group L1:
3488   //
3489   // Rd = memw(Rs+#u4:2)
3490   // Rd = memub(Rs+#u4:0)
3491   case Hexagon::L2_loadri_io:
3492     DstReg = MI.getOperand(0).getReg();
3493     SrcReg = MI.getOperand(1).getReg();
3494     // Special case this one from Group L2.
3495     // Rd = memw(r29+#u5:2)
3496     if (isIntRegForSubInst(DstReg)) {
3497       if (Hexagon::IntRegsRegClass.contains(SrcReg) &&
3498           HRI.getStackRegister() == SrcReg &&
3499           MI.getOperand(2).isImm() &&
3500           isShiftedUInt<5,2>(MI.getOperand(2).getImm()))
3501         return HexagonII::HSIG_L2;
3502       // Rd = memw(Rs+#u4:2)
3503       if (isIntRegForSubInst(SrcReg) &&
3504           (MI.getOperand(2).isImm() &&
3505           isShiftedUInt<4,2>(MI.getOperand(2).getImm())))
3506         return HexagonII::HSIG_L1;
3507     }
3508     break;
3509   case Hexagon::L2_loadrub_io:
3510     // Rd = memub(Rs+#u4:0)
3511     DstReg = MI.getOperand(0).getReg();
3512     SrcReg = MI.getOperand(1).getReg();
3513     if (isIntRegForSubInst(DstReg) && isIntRegForSubInst(SrcReg) &&
3514         MI.getOperand(2).isImm() && isUInt<4>(MI.getOperand(2).getImm()))
3515       return HexagonII::HSIG_L1;
3516     break;
3517   //
3518   // Group L2:
3519   //
3520   // Rd = memh/memuh(Rs+#u3:1)
3521   // Rd = memb(Rs+#u3:0)
3522   // Rd = memw(r29+#u5:2) - Handled above.
3523   // Rdd = memd(r29+#u5:3)
3524   // deallocframe
3525   // [if ([!]p0[.new])] dealloc_return
3526   // [if ([!]p0[.new])] jumpr r31
3527   case Hexagon::L2_loadrh_io:
3528   case Hexagon::L2_loadruh_io:
3529     // Rd = memh/memuh(Rs+#u3:1)
3530     DstReg = MI.getOperand(0).getReg();
3531     SrcReg = MI.getOperand(1).getReg();
3532     if (isIntRegForSubInst(DstReg) && isIntRegForSubInst(SrcReg) &&
3533         MI.getOperand(2).isImm() &&
3534         isShiftedUInt<3,1>(MI.getOperand(2).getImm()))
3535       return HexagonII::HSIG_L2;
3536     break;
3537   case Hexagon::L2_loadrb_io:
3538     // Rd = memb(Rs+#u3:0)
3539     DstReg = MI.getOperand(0).getReg();
3540     SrcReg = MI.getOperand(1).getReg();
3541     if (isIntRegForSubInst(DstReg) && isIntRegForSubInst(SrcReg) &&
3542         MI.getOperand(2).isImm() &&
3543         isUInt<3>(MI.getOperand(2).getImm()))
3544       return HexagonII::HSIG_L2;
3545     break;
3546   case Hexagon::L2_loadrd_io:
3547     // Rdd = memd(r29+#u5:3)
3548     DstReg = MI.getOperand(0).getReg();
3549     SrcReg = MI.getOperand(1).getReg();
3550     if (isDblRegForSubInst(DstReg, HRI) &&
3551         Hexagon::IntRegsRegClass.contains(SrcReg) &&
3552         HRI.getStackRegister() == SrcReg &&
3553         MI.getOperand(2).isImm() &&
3554         isShiftedUInt<5,3>(MI.getOperand(2).getImm()))
3555       return HexagonII::HSIG_L2;
3556     break;
3557   // dealloc_return is not documented in Hexagon Manual, but marked
3558   // with A_SUBINSN attribute in iset_v4classic.py.
3559   case Hexagon::RESTORE_DEALLOC_RET_JMP_V4:
3560   case Hexagon::RESTORE_DEALLOC_RET_JMP_V4_PIC:
3561   case Hexagon::L4_return:
3562   case Hexagon::L2_deallocframe:
3563     return HexagonII::HSIG_L2;
3564   case Hexagon::EH_RETURN_JMPR:
3565   case Hexagon::PS_jmpret:
3566     // jumpr r31
3567     // Actual form JMPR %PC<imp-def>, %R31<imp-use>, %R0<imp-use,internal>.
3568     DstReg = MI.getOperand(0).getReg();
3569     if (Hexagon::IntRegsRegClass.contains(DstReg) && (Hexagon::R31 == DstReg))
3570       return HexagonII::HSIG_L2;
3571     break;
3572   case Hexagon::PS_jmprett:
3573   case Hexagon::PS_jmpretf:
3574   case Hexagon::PS_jmprettnewpt:
3575   case Hexagon::PS_jmpretfnewpt:
3576   case Hexagon::PS_jmprettnew:
3577   case Hexagon::PS_jmpretfnew:
3578     DstReg = MI.getOperand(1).getReg();
3579     SrcReg = MI.getOperand(0).getReg();
3580     // [if ([!]p0[.new])] jumpr r31
3581     if ((Hexagon::PredRegsRegClass.contains(SrcReg) &&
3582         (Hexagon::P0 == SrcReg)) &&
3583         (Hexagon::IntRegsRegClass.contains(DstReg) && (Hexagon::R31 == DstReg)))
3584       return HexagonII::HSIG_L2;
3585     break;
3586   case Hexagon::L4_return_t :
3587   case Hexagon::L4_return_f :
3588   case Hexagon::L4_return_tnew_pnt :
3589   case Hexagon::L4_return_fnew_pnt :
3590   case Hexagon::L4_return_tnew_pt :
3591   case Hexagon::L4_return_fnew_pt :
3592     // [if ([!]p0[.new])] dealloc_return
3593     SrcReg = MI.getOperand(0).getReg();
3594     if (Hexagon::PredRegsRegClass.contains(SrcReg) && (Hexagon::P0 == SrcReg))
3595       return HexagonII::HSIG_L2;
3596     break;
3597   //
3598   // Group S1:
3599   //
3600   // memw(Rs+#u4:2) = Rt
3601   // memb(Rs+#u4:0) = Rt
3602   case Hexagon::S2_storeri_io:
3603     // Special case this one from Group S2.
3604     // memw(r29+#u5:2) = Rt
3605     Src1Reg = MI.getOperand(0).getReg();
3606     Src2Reg = MI.getOperand(2).getReg();
3607     if (Hexagon::IntRegsRegClass.contains(Src1Reg) &&
3608         isIntRegForSubInst(Src2Reg) &&
3609         HRI.getStackRegister() == Src1Reg && MI.getOperand(1).isImm() &&
3610         isShiftedUInt<5,2>(MI.getOperand(1).getImm()))
3611       return HexagonII::HSIG_S2;
3612     // memw(Rs+#u4:2) = Rt
3613     if (isIntRegForSubInst(Src1Reg) && isIntRegForSubInst(Src2Reg) &&
3614         MI.getOperand(1).isImm() &&
3615         isShiftedUInt<4,2>(MI.getOperand(1).getImm()))
3616       return HexagonII::HSIG_S1;
3617     break;
3618   case Hexagon::S2_storerb_io:
3619     // memb(Rs+#u4:0) = Rt
3620     Src1Reg = MI.getOperand(0).getReg();
3621     Src2Reg = MI.getOperand(2).getReg();
3622     if (isIntRegForSubInst(Src1Reg) && isIntRegForSubInst(Src2Reg) &&
3623         MI.getOperand(1).isImm() && isUInt<4>(MI.getOperand(1).getImm()))
3624       return HexagonII::HSIG_S1;
3625     break;
3626   //
3627   // Group S2:
3628   //
3629   // memh(Rs+#u3:1) = Rt
3630   // memw(r29+#u5:2) = Rt
3631   // memd(r29+#s6:3) = Rtt
3632   // memw(Rs+#u4:2) = #U1
3633   // memb(Rs+#u4) = #U1
3634   // allocframe(#u5:3)
3635   case Hexagon::S2_storerh_io:
3636     // memh(Rs+#u3:1) = Rt
3637     Src1Reg = MI.getOperand(0).getReg();
3638     Src2Reg = MI.getOperand(2).getReg();
3639     if (isIntRegForSubInst(Src1Reg) && isIntRegForSubInst(Src2Reg) &&
3640         MI.getOperand(1).isImm() &&
3641         isShiftedUInt<3,1>(MI.getOperand(1).getImm()))
3642       return HexagonII::HSIG_S1;
3643     break;
3644   case Hexagon::S2_storerd_io:
3645     // memd(r29+#s6:3) = Rtt
3646     Src1Reg = MI.getOperand(0).getReg();
3647     Src2Reg = MI.getOperand(2).getReg();
3648     if (isDblRegForSubInst(Src2Reg, HRI) &&
3649         Hexagon::IntRegsRegClass.contains(Src1Reg) &&
3650         HRI.getStackRegister() == Src1Reg && MI.getOperand(1).isImm() &&
3651         isShiftedInt<6,3>(MI.getOperand(1).getImm()))
3652       return HexagonII::HSIG_S2;
3653     break;
3654   case Hexagon::S4_storeiri_io:
3655     // memw(Rs+#u4:2) = #U1
3656     Src1Reg = MI.getOperand(0).getReg();
3657     if (isIntRegForSubInst(Src1Reg) && MI.getOperand(1).isImm() &&
3658         isShiftedUInt<4,2>(MI.getOperand(1).getImm()) &&
3659         MI.getOperand(2).isImm() && isUInt<1>(MI.getOperand(2).getImm()))
3660       return HexagonII::HSIG_S2;
3661     break;
3662   case Hexagon::S4_storeirb_io:
3663     // memb(Rs+#u4) = #U1
3664     Src1Reg = MI.getOperand(0).getReg();
3665     if (isIntRegForSubInst(Src1Reg) &&
3666         MI.getOperand(1).isImm() && isUInt<4>(MI.getOperand(1).getImm()) &&
3667         MI.getOperand(2).isImm() && isUInt<1>(MI.getOperand(2).getImm()))
3668       return HexagonII::HSIG_S2;
3669     break;
3670   case Hexagon::S2_allocframe:
3671     if (MI.getOperand(0).isImm() &&
3672         isShiftedUInt<5,3>(MI.getOperand(0).getImm()))
3673       return HexagonII::HSIG_S1;
3674     break;
3675   //
3676   // Group A:
3677   //
3678   // Rx = add(Rx,#s7)
3679   // Rd = Rs
3680   // Rd = #u6
3681   // Rd = #-1
3682   // if ([!]P0[.new]) Rd = #0
3683   // Rd = add(r29,#u6:2)
3684   // Rx = add(Rx,Rs)
3685   // P0 = cmp.eq(Rs,#u2)
3686   // Rdd = combine(#0,Rs)
3687   // Rdd = combine(Rs,#0)
3688   // Rdd = combine(#u2,#U2)
3689   // Rd = add(Rs,#1)
3690   // Rd = add(Rs,#-1)
3691   // Rd = sxth/sxtb/zxtb/zxth(Rs)
3692   // Rd = and(Rs,#1)
3693   case Hexagon::A2_addi:
3694     DstReg = MI.getOperand(0).getReg();
3695     SrcReg = MI.getOperand(1).getReg();
3696     if (isIntRegForSubInst(DstReg)) {
3697       // Rd = add(r29,#u6:2)
3698       if (Hexagon::IntRegsRegClass.contains(SrcReg) &&
3699         HRI.getStackRegister() == SrcReg && MI.getOperand(2).isImm() &&
3700         isShiftedUInt<6,2>(MI.getOperand(2).getImm()))
3701         return HexagonII::HSIG_A;
3702       // Rx = add(Rx,#s7)
3703       if ((DstReg == SrcReg) && MI.getOperand(2).isImm() &&
3704           isInt<7>(MI.getOperand(2).getImm()))
3705         return HexagonII::HSIG_A;
3706       // Rd = add(Rs,#1)
3707       // Rd = add(Rs,#-1)
3708       if (isIntRegForSubInst(SrcReg) && MI.getOperand(2).isImm() &&
3709           ((MI.getOperand(2).getImm() == 1) ||
3710           (MI.getOperand(2).getImm() == -1)))
3711         return HexagonII::HSIG_A;
3712     }
3713     break;
3714   case Hexagon::A2_add:
3715     // Rx = add(Rx,Rs)
3716     DstReg = MI.getOperand(0).getReg();
3717     Src1Reg = MI.getOperand(1).getReg();
3718     Src2Reg = MI.getOperand(2).getReg();
3719     if (isIntRegForSubInst(DstReg) && (DstReg == Src1Reg) &&
3720         isIntRegForSubInst(Src2Reg))
3721       return HexagonII::HSIG_A;
3722     break;
3723   case Hexagon::A2_andir:
3724     // Same as zxtb.
3725     // Rd16=and(Rs16,#255)
3726     // Rd16=and(Rs16,#1)
3727     DstReg = MI.getOperand(0).getReg();
3728     SrcReg = MI.getOperand(1).getReg();
3729     if (isIntRegForSubInst(DstReg) && isIntRegForSubInst(SrcReg) &&
3730         MI.getOperand(2).isImm() &&
3731         ((MI.getOperand(2).getImm() == 1) ||
3732         (MI.getOperand(2).getImm() == 255)))
3733       return HexagonII::HSIG_A;
3734     break;
3735   case Hexagon::A2_tfr:
3736     // Rd = Rs
3737     DstReg = MI.getOperand(0).getReg();
3738     SrcReg = MI.getOperand(1).getReg();
3739     if (isIntRegForSubInst(DstReg) && isIntRegForSubInst(SrcReg))
3740       return HexagonII::HSIG_A;
3741     break;
3742   case Hexagon::A2_tfrsi:
3743     // Rd = #u6
3744     // Do not test for #u6 size since the const is getting extended
3745     // regardless and compound could be formed.
3746     // Rd = #-1
3747     DstReg = MI.getOperand(0).getReg();
3748     if (isIntRegForSubInst(DstReg))
3749       return HexagonII::HSIG_A;
3750     break;
3751   case Hexagon::C2_cmoveit:
3752   case Hexagon::C2_cmovenewit:
3753   case Hexagon::C2_cmoveif:
3754   case Hexagon::C2_cmovenewif:
3755     // if ([!]P0[.new]) Rd = #0
3756     // Actual form:
3757     // %R16<def> = C2_cmovenewit %P0<internal>, 0, %R16<imp-use,undef>;
3758     DstReg = MI.getOperand(0).getReg();
3759     SrcReg = MI.getOperand(1).getReg();
3760     if (isIntRegForSubInst(DstReg) &&
3761         Hexagon::PredRegsRegClass.contains(SrcReg) && Hexagon::P0 == SrcReg &&
3762         MI.getOperand(2).isImm() && MI.getOperand(2).getImm() == 0)
3763       return HexagonII::HSIG_A;
3764     break;
3765   case Hexagon::C2_cmpeqi:
3766     // P0 = cmp.eq(Rs,#u2)
3767     DstReg = MI.getOperand(0).getReg();
3768     SrcReg = MI.getOperand(1).getReg();
3769     if (Hexagon::PredRegsRegClass.contains(DstReg) &&
3770         Hexagon::P0 == DstReg && isIntRegForSubInst(SrcReg) &&
3771         MI.getOperand(2).isImm() && isUInt<2>(MI.getOperand(2).getImm()))
3772       return HexagonII::HSIG_A;
3773     break;
3774   case Hexagon::A2_combineii:
3775   case Hexagon::A4_combineii:
3776     // Rdd = combine(#u2,#U2)
3777     DstReg = MI.getOperand(0).getReg();
3778     if (isDblRegForSubInst(DstReg, HRI) &&
3779         ((MI.getOperand(1).isImm() && isUInt<2>(MI.getOperand(1).getImm())) ||
3780         (MI.getOperand(1).isGlobal() &&
3781         isUInt<2>(MI.getOperand(1).getOffset()))) &&
3782         ((MI.getOperand(2).isImm() && isUInt<2>(MI.getOperand(2).getImm())) ||
3783         (MI.getOperand(2).isGlobal() &&
3784         isUInt<2>(MI.getOperand(2).getOffset()))))
3785       return HexagonII::HSIG_A;
3786     break;
3787   case Hexagon::A4_combineri:
3788     // Rdd = combine(Rs,#0)
3789     DstReg = MI.getOperand(0).getReg();
3790     SrcReg = MI.getOperand(1).getReg();
3791     if (isDblRegForSubInst(DstReg, HRI) && isIntRegForSubInst(SrcReg) &&
3792         ((MI.getOperand(2).isImm() && MI.getOperand(2).getImm() == 0) ||
3793         (MI.getOperand(2).isGlobal() && MI.getOperand(2).getOffset() == 0)))
3794       return HexagonII::HSIG_A;
3795     break;
3796   case Hexagon::A4_combineir:
3797     // Rdd = combine(#0,Rs)
3798     DstReg = MI.getOperand(0).getReg();
3799     SrcReg = MI.getOperand(2).getReg();
3800     if (isDblRegForSubInst(DstReg, HRI) && isIntRegForSubInst(SrcReg) &&
3801         ((MI.getOperand(1).isImm() && MI.getOperand(1).getImm() == 0) ||
3802         (MI.getOperand(1).isGlobal() && MI.getOperand(1).getOffset() == 0)))
3803       return HexagonII::HSIG_A;
3804     break;
3805   case Hexagon::A2_sxtb:
3806   case Hexagon::A2_sxth:
3807   case Hexagon::A2_zxtb:
3808   case Hexagon::A2_zxth:
3809     // Rd = sxth/sxtb/zxtb/zxth(Rs)
3810     DstReg = MI.getOperand(0).getReg();
3811     SrcReg = MI.getOperand(1).getReg();
3812     if (isIntRegForSubInst(DstReg) && isIntRegForSubInst(SrcReg))
3813       return HexagonII::HSIG_A;
3814     break;
3815   }
3816
3817   return HexagonII::HSIG_None;
3818 }
3819
3820 short HexagonInstrInfo::getEquivalentHWInstr(const MachineInstr &MI) const {
3821   return Hexagon::getRealHWInstr(MI.getOpcode(), Hexagon::InstrType_Real);
3822 }
3823
3824 unsigned HexagonInstrInfo::getInstrTimingClassLatency(
3825       const InstrItineraryData *ItinData, const MachineInstr &MI) const {
3826   // Default to one cycle for no itinerary. However, an "empty" itinerary may
3827   // still have a MinLatency property, which getStageLatency checks.
3828   if (!ItinData)
3829     return getInstrLatency(ItinData, MI);
3830
3831   if (MI.isTransient())
3832     return 0;
3833   return ItinData->getStageLatency(MI.getDesc().getSchedClass());
3834 }
3835
3836 /// getOperandLatency - Compute and return the use operand latency of a given
3837 /// pair of def and use.
3838 /// In most cases, the static scheduling itinerary was enough to determine the
3839 /// operand latency. But it may not be possible for instructions with variable
3840 /// number of defs / uses.
3841 ///
3842 /// This is a raw interface to the itinerary that may be directly overriden by
3843 /// a target. Use computeOperandLatency to get the best estimate of latency.
3844 int HexagonInstrInfo::getOperandLatency(const InstrItineraryData *ItinData,
3845                                         const MachineInstr &DefMI,
3846                                         unsigned DefIdx,
3847                                         const MachineInstr &UseMI,
3848                                         unsigned UseIdx) const {
3849   auto &RI = getRegisterInfo();
3850   // Get DefIdx and UseIdx for super registers.
3851   MachineOperand DefMO = DefMI.getOperand(DefIdx);
3852
3853   if (RI.isPhysicalRegister(DefMO.getReg())) {
3854     if (DefMO.isImplicit()) {
3855       for (MCSuperRegIterator SR(DefMO.getReg(), &RI); SR.isValid(); ++SR) {
3856         int Idx = DefMI.findRegisterDefOperandIdx(*SR, false, false, &RI);
3857         if (Idx != -1) {
3858           DefIdx = Idx;
3859           break;
3860         }
3861       }
3862     }
3863
3864     MachineOperand UseMO = UseMI.getOperand(UseIdx);
3865     if (UseMO.isImplicit()) {
3866       for (MCSuperRegIterator SR(UseMO.getReg(), &RI); SR.isValid(); ++SR) {
3867         int Idx = UseMI.findRegisterUseOperandIdx(*SR, false, &RI);
3868         if (Idx != -1) {
3869           UseIdx = Idx;
3870           break;
3871         }
3872       }
3873     }
3874   }
3875
3876   return TargetInstrInfo::getOperandLatency(ItinData, DefMI, DefIdx,
3877                                             UseMI, UseIdx);
3878 }
3879
3880 // inverts the predication logic.
3881 // p -> NotP
3882 // NotP -> P
3883 bool HexagonInstrInfo::getInvertedPredSense(
3884       SmallVectorImpl<MachineOperand> &Cond) const {
3885   if (Cond.empty())
3886     return false;
3887   unsigned Opc = getInvertedPredicatedOpcode(Cond[0].getImm());
3888   Cond[0].setImm(Opc);
3889   return true;
3890 }
3891
3892 unsigned HexagonInstrInfo::getInvertedPredicatedOpcode(const int Opc) const {
3893   int InvPredOpcode;
3894   InvPredOpcode = isPredicatedTrue(Opc) ? Hexagon::getFalsePredOpcode(Opc)
3895                                         : Hexagon::getTruePredOpcode(Opc);
3896   if (InvPredOpcode >= 0) // Valid instruction with the inverted predicate.
3897     return InvPredOpcode;
3898
3899   llvm_unreachable("Unexpected predicated instruction");
3900 }
3901
3902 // Returns the max value that doesn't need to be extended.
3903 int HexagonInstrInfo::getMaxValue(const MachineInstr &MI) const {
3904   const uint64_t F = MI.getDesc().TSFlags;
3905   unsigned isSigned = (F >> HexagonII::ExtentSignedPos)
3906                     & HexagonII::ExtentSignedMask;
3907   unsigned bits =  (F >> HexagonII::ExtentBitsPos)
3908                     & HexagonII::ExtentBitsMask;
3909
3910   if (isSigned) // if value is signed
3911     return ~(-1U << (bits - 1));
3912   else
3913     return ~(-1U << bits);
3914 }
3915
3916 unsigned HexagonInstrInfo::getMemAccessSize(const MachineInstr &MI) const {
3917   const uint64_t F = MI.getDesc().TSFlags;
3918   return (F >> HexagonII::MemAccessSizePos) & HexagonII::MemAccesSizeMask;
3919 }
3920
3921 // Returns the min value that doesn't need to be extended.
3922 int HexagonInstrInfo::getMinValue(const MachineInstr &MI) const {
3923   const uint64_t F = MI.getDesc().TSFlags;
3924   unsigned isSigned = (F >> HexagonII::ExtentSignedPos)
3925                     & HexagonII::ExtentSignedMask;
3926   unsigned bits =  (F >> HexagonII::ExtentBitsPos)
3927                     & HexagonII::ExtentBitsMask;
3928
3929   if (isSigned) // if value is signed
3930     return -1U << (bits - 1);
3931   else
3932     return 0;
3933 }
3934
3935 // Returns opcode of the non-extended equivalent instruction.
3936 short HexagonInstrInfo::getNonExtOpcode(const MachineInstr &MI) const {
3937   // Check if the instruction has a register form that uses register in place
3938   // of the extended operand, if so return that as the non-extended form.
3939   short NonExtOpcode = Hexagon::getRegForm(MI.getOpcode());
3940     if (NonExtOpcode >= 0)
3941       return NonExtOpcode;
3942
3943   if (MI.getDesc().mayLoad() || MI.getDesc().mayStore()) {
3944     // Check addressing mode and retrieve non-ext equivalent instruction.
3945     switch (getAddrMode(MI)) {
3946     case HexagonII::Absolute :
3947       return Hexagon::getBaseWithImmOffset(MI.getOpcode());
3948     case HexagonII::BaseImmOffset :
3949       return Hexagon::getBaseWithRegOffset(MI.getOpcode());
3950     case HexagonII::BaseLongOffset:
3951       return Hexagon::getRegShlForm(MI.getOpcode());
3952
3953     default:
3954       return -1;
3955     }
3956   }
3957   return -1;
3958 }
3959
3960 bool HexagonInstrInfo::getPredReg(ArrayRef<MachineOperand> Cond,
3961       unsigned &PredReg, unsigned &PredRegPos, unsigned &PredRegFlags) const {
3962   if (Cond.empty())
3963     return false;
3964   assert(Cond.size() == 2);
3965   if (isNewValueJump(Cond[0].getImm()) || Cond[1].isMBB()) {
3966     DEBUG(dbgs() << "No predregs for new-value jumps/endloop");
3967     return false;
3968   }
3969   PredReg = Cond[1].getReg();
3970   PredRegPos = 1;
3971   // See IfConversion.cpp why we add RegState::Implicit | RegState::Undef
3972   PredRegFlags = 0;
3973   if (Cond[1].isImplicit())
3974     PredRegFlags = RegState::Implicit;
3975   if (Cond[1].isUndef())
3976     PredRegFlags |= RegState::Undef;
3977   return true;
3978 }
3979
3980 short HexagonInstrInfo::getPseudoInstrPair(const MachineInstr &MI) const {
3981   return Hexagon::getRealHWInstr(MI.getOpcode(), Hexagon::InstrType_Pseudo);
3982 }
3983
3984 short HexagonInstrInfo::getRegForm(const MachineInstr &MI) const {
3985   return Hexagon::getRegForm(MI.getOpcode());
3986 }
3987
3988 // Return the number of bytes required to encode the instruction.
3989 // Hexagon instructions are fixed length, 4 bytes, unless they
3990 // use a constant extender, which requires another 4 bytes.
3991 // For debug instructions and prolog labels, return 0.
3992 unsigned HexagonInstrInfo::getSize(const MachineInstr &MI) const {
3993   if (MI.isDebugValue() || MI.isPosition())
3994     return 0;
3995
3996   unsigned Size = MI.getDesc().getSize();
3997   if (!Size)
3998     // Assume the default insn size in case it cannot be determined
3999     // for whatever reason.
4000     Size = HEXAGON_INSTR_SIZE;
4001
4002   if (isConstExtended(MI) || isExtended(MI))
4003     Size += HEXAGON_INSTR_SIZE;
4004
4005   // Try and compute number of instructions in asm.
4006   if (BranchRelaxAsmLarge && MI.getOpcode() == Hexagon::INLINEASM) {
4007     const MachineBasicBlock &MBB = *MI.getParent();
4008     const MachineFunction *MF = MBB.getParent();
4009     const MCAsmInfo *MAI = MF->getTarget().getMCAsmInfo();
4010
4011     // Count the number of register definitions to find the asm string.
4012     unsigned NumDefs = 0;
4013     for (; MI.getOperand(NumDefs).isReg() && MI.getOperand(NumDefs).isDef();
4014          ++NumDefs)
4015       assert(NumDefs != MI.getNumOperands()-2 && "No asm string?");
4016
4017     assert(MI.getOperand(NumDefs).isSymbol() && "No asm string?");
4018     // Disassemble the AsmStr and approximate number of instructions.
4019     const char *AsmStr = MI.getOperand(NumDefs).getSymbolName();
4020     Size = getInlineAsmLength(AsmStr, *MAI);
4021   }
4022
4023   return Size;
4024 }
4025
4026 uint64_t HexagonInstrInfo::getType(const MachineInstr &MI) const {
4027   const uint64_t F = MI.getDesc().TSFlags;
4028   return (F >> HexagonII::TypePos) & HexagonII::TypeMask;
4029 }
4030
4031 unsigned HexagonInstrInfo::getUnits(const MachineInstr &MI) const {
4032   const TargetSubtargetInfo &ST = MI.getParent()->getParent()->getSubtarget();
4033   const InstrItineraryData &II = *ST.getInstrItineraryData();
4034   const InstrStage &IS = *II.beginStage(MI.getDesc().getSchedClass());
4035
4036   return IS.getUnits();
4037 }
4038
4039 // Calculate size of the basic block without debug instructions.
4040 unsigned HexagonInstrInfo::nonDbgBBSize(const MachineBasicBlock *BB) const {
4041   return nonDbgMICount(BB->instr_begin(), BB->instr_end());
4042 }
4043
4044 unsigned HexagonInstrInfo::nonDbgBundleSize(
4045       MachineBasicBlock::const_iterator BundleHead) const {
4046   assert(BundleHead->isBundle() && "Not a bundle header");
4047   auto MII = BundleHead.getInstrIterator();
4048   // Skip the bundle header.
4049   return nonDbgMICount(++MII, getBundleEnd(BundleHead.getInstrIterator()));
4050 }
4051
4052 /// immediateExtend - Changes the instruction in place to one using an immediate
4053 /// extender.
4054 void HexagonInstrInfo::immediateExtend(MachineInstr &MI) const {
4055   assert((isExtendable(MI)||isConstExtended(MI)) &&
4056                                "Instruction must be extendable");
4057   // Find which operand is extendable.
4058   short ExtOpNum = getCExtOpNum(MI);
4059   MachineOperand &MO = MI.getOperand(ExtOpNum);
4060   // This needs to be something we understand.
4061   assert((MO.isMBB() || MO.isImm()) &&
4062          "Branch with unknown extendable field type");
4063   // Mark given operand as extended.
4064   MO.addTargetFlag(HexagonII::HMOTF_ConstExtended);
4065 }
4066
4067 bool HexagonInstrInfo::invertAndChangeJumpTarget(
4068       MachineInstr &MI, MachineBasicBlock *NewTarget) const {
4069   DEBUG(dbgs() << "\n[invertAndChangeJumpTarget] to BB#"
4070                << NewTarget->getNumber(); MI.dump(););
4071   assert(MI.isBranch());
4072   unsigned NewOpcode = getInvertedPredicatedOpcode(MI.getOpcode());
4073   int TargetPos = MI.getNumOperands() - 1;
4074   // In general branch target is the last operand,
4075   // but some implicit defs added at the end might change it.
4076   while ((TargetPos > -1) && !MI.getOperand(TargetPos).isMBB())
4077     --TargetPos;
4078   assert((TargetPos >= 0) && MI.getOperand(TargetPos).isMBB());
4079   MI.getOperand(TargetPos).setMBB(NewTarget);
4080   if (EnableBranchPrediction && isPredicatedNew(MI)) {
4081     NewOpcode = reversePrediction(NewOpcode);
4082   }
4083   MI.setDesc(get(NewOpcode));
4084   return true;
4085 }
4086
4087 void HexagonInstrInfo::genAllInsnTimingClasses(MachineFunction &MF) const {
4088   /* +++ The code below is used to generate complete set of Hexagon Insn +++ */
4089   MachineFunction::iterator A = MF.begin();
4090   MachineBasicBlock &B = *A;
4091   MachineBasicBlock::iterator I = B.begin();
4092   DebugLoc DL = I->getDebugLoc();
4093   MachineInstr *NewMI;
4094
4095   for (unsigned insn = TargetOpcode::GENERIC_OP_END+1;
4096        insn < Hexagon::INSTRUCTION_LIST_END; ++insn) {
4097     NewMI = BuildMI(B, I, DL, get(insn));
4098     DEBUG(dbgs() << "\n" << getName(NewMI->getOpcode()) <<
4099           "  Class: " << NewMI->getDesc().getSchedClass());
4100     NewMI->eraseFromParent();
4101   }
4102   /* --- The code above is used to generate complete set of Hexagon Insn --- */
4103 }
4104
4105 // inverts the predication logic.
4106 // p -> NotP
4107 // NotP -> P
4108 bool HexagonInstrInfo::reversePredSense(MachineInstr &MI) const {
4109   DEBUG(dbgs() << "\nTrying to reverse pred. sense of:"; MI.dump());
4110   MI.setDesc(get(getInvertedPredicatedOpcode(MI.getOpcode())));
4111   return true;
4112 }
4113
4114 // Reverse the branch prediction.
4115 unsigned HexagonInstrInfo::reversePrediction(unsigned Opcode) const {
4116   int PredRevOpcode = -1;
4117   if (isPredictedTaken(Opcode))
4118     PredRevOpcode = Hexagon::notTakenBranchPrediction(Opcode);
4119   else
4120     PredRevOpcode = Hexagon::takenBranchPrediction(Opcode);
4121   assert(PredRevOpcode > 0);
4122   return PredRevOpcode;
4123 }
4124
4125 // TODO: Add more rigorous validation.
4126 bool HexagonInstrInfo::validateBranchCond(const ArrayRef<MachineOperand> &Cond)
4127       const {
4128   return Cond.empty() || (Cond[0].isImm() && (Cond.size() != 1));
4129 }
4130
4131 short HexagonInstrInfo::xformRegToImmOffset(const MachineInstr &MI) const {
4132   return Hexagon::xformRegToImmOffset(MI.getOpcode());
4133 }