lib/IR/Verifier.cpp

   1 //===-- Verifier.cpp - Implement the Module Verifier -----------------------==//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file defines the function verifier interface, that can be used for some
  11 // sanity checking of input to the system.
  12 //
  13 // Note that this does not provide full `Java style' security and verifications,
  14 // instead it just tries to ensure that code is well-formed.
  15 //
  16 //  * Both of a binary operator's parameters are of the same type
  17 //  * Verify that the indices of mem access instructions match other operands
  18 //  * Verify that arithmetic and other things are only performed on first-class
  19 //    types.  Verify that shifts & logicals only happen on integrals f.e.
  20 //  * All of the constants in a switch statement are of the correct type
  21 //  * The code is in valid SSA form
  22 //  * It should be illegal to put a label into any other type (like a structure)
  23 //    or to return one. [except constant arrays!]
  24 //  * Only phi nodes can be self referential: 'add i32 %0, %0 ; <int>:0' is bad
  25 //  * PHI nodes must have an entry for each predecessor, with no extras.
  26 //  * PHI nodes must be the first thing in a basic block, all grouped together
  27 //  * PHI nodes must have at least one entry
  28 //  * All basic blocks should only end with terminator insts, not contain them
  29 //  * The entry node to a function must not have predecessors
  30 //  * All Instructions must be embedded into a basic block
  31 //  * Functions cannot take a void-typed parameter
  32 //  * Verify that a function's argument list agrees with it's declared type.
  33 //  * It is illegal to specify a name for a void value.
  34 //  * It is illegal to have a internal global value with no initializer
  35 //  * It is illegal to have a ret instruction that returns a value that does not
  36 //    agree with the function return value type.
  37 //  * Function call argument types match the function prototype
  38 //  * A landing pad is defined by a landingpad instruction, and can be jumped to
  39 //    only by the unwind edge of an invoke instruction.
  40 //  * A landingpad instruction must be the first non-PHI instruction in the
  41 //    block.
  42 //  * Landingpad instructions must be in a function with a personality function.
  43 //  * All other things that are tested by asserts spread about the code...
  44 //
  45 //===----------------------------------------------------------------------===//
  46
  47 #include "llvm/IR/Verifier.h"
  48 #include "llvm/ADT/APFloat.h"
  49 #include "llvm/ADT/APInt.h"
  50 #include "llvm/ADT/ArrayRef.h"
  51 #include "llvm/ADT/DenseMap.h"
  52 #include "llvm/ADT/MapVector.h"
  53 #include "llvm/ADT/Optional.h"
  54 #include "llvm/ADT/STLExtras.h"
  55 #include "llvm/ADT/SmallPtrSet.h"
  56 #include "llvm/ADT/SmallSet.h"
  57 #include "llvm/ADT/SmallVector.h"
  58 #include "llvm/ADT/StringExtras.h"
  59 #include "llvm/ADT/StringMap.h"
  60 #include "llvm/ADT/StringRef.h"
  61 #include "llvm/ADT/Twine.h"
  62 #include "llvm/ADT/ilist.h"
  63 #include "llvm/BinaryFormat/Dwarf.h"
  64 #include "llvm/IR/Argument.h"
  65 #include "llvm/IR/Attributes.h"
  66 #include "llvm/IR/BasicBlock.h"
  67 #include "llvm/IR/CFG.h"
  68 #include "llvm/IR/CallSite.h"
  69 #include "llvm/IR/CallingConv.h"
  70 #include "llvm/IR/Comdat.h"
  71 #include "llvm/IR/Constant.h"
  72 #include "llvm/IR/ConstantRange.h"
  73 #include "llvm/IR/Constants.h"
  74 #include "llvm/IR/DataLayout.h"
  75 #include "llvm/IR/DebugInfo.h"
  76 #include "llvm/IR/DebugInfoMetadata.h"
  77 #include "llvm/IR/DebugLoc.h"
  78 #include "llvm/IR/DerivedTypes.h"
  79 #include "llvm/IR/Dominators.h"
  80 #include "llvm/IR/Function.h"
  81 #include "llvm/IR/GlobalAlias.h"
  82 #include "llvm/IR/GlobalValue.h"
  83 #include "llvm/IR/GlobalVariable.h"
  84 #include "llvm/IR/InlineAsm.h"
  85 #include "llvm/IR/InstVisitor.h"
  86 #include "llvm/IR/InstrTypes.h"
  87 #include "llvm/IR/Instruction.h"
  88 #include "llvm/IR/Instructions.h"
  89 #include "llvm/IR/IntrinsicInst.h"
  90 #include "llvm/IR/Intrinsics.h"
  91 #include "llvm/IR/LLVMContext.h"
  92 #include "llvm/IR/Metadata.h"
  93 #include "llvm/IR/Module.h"
  94 #include "llvm/IR/ModuleSlotTracker.h"
  95 #include "llvm/IR/PassManager.h"
  96 #include "llvm/IR/Statepoint.h"
  97 #include "llvm/IR/Type.h"
  98 #include "llvm/IR/Use.h"
  99 #include "llvm/IR/User.h"
 100 #include "llvm/IR/Value.h"
 101 #include "llvm/Pass.h"
 102 #include "llvm/Support/AtomicOrdering.h"
 103 #include "llvm/Support/Casting.h"
 104 #include "llvm/Support/CommandLine.h"
 105 #include "llvm/Support/Debug.h"
 106 #include "llvm/Support/ErrorHandling.h"
 107 #include "llvm/Support/MathExtras.h"
 108 #include "llvm/Support/raw_ostream.h"
 109 #include <algorithm>
 110 #include <cassert>
 111 #include <cstdint>
 112 #include <memory>
 113 #include <string>
 114 #include <utility>
 115
 116 using namespace llvm;
 117
 118 namespace llvm {
 119
 120 struct VerifierSupport {
 121   raw_ostream *OS;
 122   const Module &M;
 123   ModuleSlotTracker MST;
 124   const DataLayout &DL;
 125   LLVMContext &Context;
 126
 127   /// Track the brokenness of the module while recursively visiting.
 128   bool Broken = false;
 129   /// Broken debug info can be "recovered" from by stripping the debug info.
 130   bool BrokenDebugInfo = false;
 131   /// Whether to treat broken debug info as an error.
 132   bool TreatBrokenDebugInfoAsError = true;
 133
 134   explicit VerifierSupport(raw_ostream *OS, const Module &M)
 135       : OS(OS), M(M), MST(&M), DL(M.getDataLayout()), Context(M.getContext()) {}
 136
 137 private:
 138   void Write(const Module *M) {
 139     *OS << "; ModuleID = '" << M->getModuleIdentifier() << "'\n";
 140   }
 141
 142   void Write(const Value *V) {
 143     if (!V)
 144       return;
 145     if (isa<Instruction>(V)) {
 146       V->print(*OS, MST);
 147       *OS << '\n';
 148     } else {
 149       V->printAsOperand(*OS, true, MST);
 150       *OS << '\n';
 151     }
 152   }
 153
 154   void Write(ImmutableCallSite CS) {
 155     Write(CS.getInstruction());
 156   }
 157
 158   void Write(const Metadata *MD) {
 159     if (!MD)
 160       return;
 161     MD->print(*OS, MST, &M);
 162     *OS << '\n';
 163   }
 164
 165   template <class T> void Write(const MDTupleTypedArrayWrapper<T> &MD) {
 166     Write(MD.get());
 167   }
 168
 169   void Write(const NamedMDNode *NMD) {
 170     if (!NMD)
 171       return;
 172     NMD->print(*OS, MST);
 173     *OS << '\n';
 174   }
 175
 176   void Write(Type *T) {
 177     if (!T)
 178       return;
 179     *OS << ' ' << *T;
 180   }
 181
 182   void Write(const Comdat *C) {
 183     if (!C)
 184       return;
 185     *OS << *C;
 186   }
 187
 188   void Write(const APInt *AI) {
 189     if (!AI)
 190       return;
 191     *OS << *AI << '\n';
 192   }
 193
 194   void Write(const unsigned i) { *OS << i << '\n'; }
 195
 196   template <typename T> void Write(ArrayRef<T> Vs) {
 197     for (const T &V : Vs)
 198       Write(V);
 199   }
 200
 201   template <typename T1, typename... Ts>
 202   void WriteTs(const T1 &V1, const Ts &... Vs) {
 203     Write(V1);
 204     WriteTs(Vs...);
 205   }
 206
 207   template <typename... Ts> void WriteTs() {}
 208
 209 public:
 210   /// \brief A check failed, so printout out the condition and the message.
 211   ///
 212   /// This provides a nice place to put a breakpoint if you want to see why
 213   /// something is not correct.
 214   void CheckFailed(const Twine &Message) {
 215     if (OS)
 216       *OS << Message << '\n';
 217     Broken = true;
 218   }
 219
 220   /// \brief A check failed (with values to print).
 221   ///
 222   /// This calls the Message-only version so that the above is easier to set a
 223   /// breakpoint on.
 224   template <typename T1, typename... Ts>
 225   void CheckFailed(const Twine &Message, const T1 &V1, const Ts &... Vs) {
 226     CheckFailed(Message);
 227     if (OS)
 228       WriteTs(V1, Vs...);
 229   }
 230
 231   /// A debug info check failed.
 232   void DebugInfoCheckFailed(const Twine &Message) {
 233     if (OS)
 234       *OS << Message << '\n';
 235     Broken |= TreatBrokenDebugInfoAsError;
 236     BrokenDebugInfo = true;
 237   }
 238
 239   /// A debug info check failed (with values to print).
 240   template <typename T1, typename... Ts>
 241   void DebugInfoCheckFailed(const Twine &Message, const T1 &V1,
 242                             const Ts &... Vs) {
 243     DebugInfoCheckFailed(Message);
 244     if (OS)
 245       WriteTs(V1, Vs...);
 246   }
 247 };
 248
 249 } // namespace llvm
 250
 251 namespace {
 252
 253 class Verifier : public InstVisitor<Verifier>, VerifierSupport {
 254   friend class InstVisitor<Verifier>;
 255
 256   DominatorTree DT;
 257
 258   /// \brief When verifying a basic block, keep track of all of the
 259   /// instructions we have seen so far.
 260   ///
 261   /// This allows us to do efficient dominance checks for the case when an
 262   /// instruction has an operand that is an instruction in the same block.
 263   SmallPtrSet<Instruction *, 16> InstsInThisBlock;
 264
 265   /// \brief Keep track of the metadata nodes that have been checked already.
 266   SmallPtrSet<const Metadata *, 32> MDNodes;
 267
 268   /// Keep track which DISubprogram is attached to which function.
 269   DenseMap<const DISubprogram *, const Function *> DISubprogramAttachments;
 270
 271   /// Track all DICompileUnits visited.
 272   SmallPtrSet<const Metadata *, 2> CUVisited;
 273
 274   /// \brief The result type for a landingpad.
 275   Type *LandingPadResultTy;
 276
 277   /// \brief Whether we've seen a call to @llvm.localescape in this function
 278   /// already.
 279   bool SawFrameEscape;
 280
 281   /// Whether the current function has a DISubprogram attached to it.
 282   bool HasDebugInfo = false;
 283
 284   /// Stores the count of how many objects were passed to llvm.localescape for a
 285   /// given function and the largest index passed to llvm.localrecover.
 286   DenseMap<Function *, std::pair<unsigned, unsigned>> FrameEscapeInfo;
 287
 288   // Maps catchswitches and cleanuppads that unwind to siblings to the
 289   // terminators that indicate the unwind, used to detect cycles therein.
 290   MapVector<Instruction *, TerminatorInst *> SiblingFuncletInfo;
 291
 292   /// Cache of constants visited in search of ConstantExprs.
 293   SmallPtrSet<const Constant *, 32> ConstantExprVisited;
 294
 295   /// Cache of declarations of the llvm.experimental.deoptimize.<ty> intrinsic.
 296   SmallVector<const Function *, 4> DeoptimizeDeclarations;
 297
 298   // Verify that this GlobalValue is only used in this module.
 299   // This map is used to avoid visiting uses twice. We can arrive at a user
 300   // twice, if they have multiple operands. In particular for very large
 301   // constant expressions, we can arrive at a particular user many times.
 302   SmallPtrSet<const Value *, 32> GlobalValueVisited;
 303
 304   // Keeps track of duplicate function argument debug info.
 305   SmallVector<const DILocalVariable *, 16> DebugFnArgs;
 306
 307   TBAAVerifier TBAAVerifyHelper;
 308
 309   void checkAtomicMemAccessSize(Type *Ty, const Instruction *I);
 310
 311 public:
 312   explicit Verifier(raw_ostream *OS, bool ShouldTreatBrokenDebugInfoAsError,
 313                     const Module &M)
 314       : VerifierSupport(OS, M), LandingPadResultTy(nullptr),
 315         SawFrameEscape(false), TBAAVerifyHelper(this) {
 316     TreatBrokenDebugInfoAsError = ShouldTreatBrokenDebugInfoAsError;
 317   }
 318
 319   bool hasBrokenDebugInfo() const { return BrokenDebugInfo; }
 320
 321   bool verify(const Function &F) {
 322     assert(F.getParent() == &M &&
 323            "An instance of this class only works with a specific module!");
 324
 325     // First ensure the function is well-enough formed to compute dominance
 326     // information, and directly compute a dominance tree. We don't rely on the
 327     // pass manager to provide this as it isolates us from a potentially
 328     // out-of-date dominator tree and makes it significantly more complex to run
 329     // this code outside of a pass manager.
 330     // FIXME: It's really gross that we have to cast away constness here.
 331     if (!F.empty())
 332       DT.recalculate(const_cast<Function &>(F));
 333
 334     for (const BasicBlock &BB : F) {
 335       if (!BB.empty() && BB.back().isTerminator())
 336         continue;
 337
 338       if (OS) {
 339         *OS << "Basic Block in function '" << F.getName()
 340             << "' does not have terminator!\n";
 341         BB.printAsOperand(*OS, true, MST);
 342         *OS << "\n";
 343       }
 344       return false;
 345     }
 346
 347     Broken = false;
 348     // FIXME: We strip const here because the inst visitor strips const.
 349     visit(const_cast<Function &>(F));
 350     verifySiblingFuncletUnwinds();
 351     InstsInThisBlock.clear();
 352     DebugFnArgs.clear();
 353     LandingPadResultTy = nullptr;
 354     SawFrameEscape = false;
 355     SiblingFuncletInfo.clear();
 356
 357     return !Broken;
 358   }
 359
 360   /// Verify the module that this instance of \c Verifier was initialized with.
 361   bool verify() {
 362     Broken = false;
 363
 364     // Collect all declarations of the llvm.experimental.deoptimize intrinsic.
 365     for (const Function &F : M)
 366       if (F.getIntrinsicID() == Intrinsic::experimental_deoptimize)
 367         DeoptimizeDeclarations.push_back(&F);
 368
 369     // Now that we've visited every function, verify that we never asked to
 370     // recover a frame index that wasn't escaped.
 371     verifyFrameRecoverIndices();
 372     for (const GlobalVariable &GV : M.globals())
 373       visitGlobalVariable(GV);
 374
 375     for (const GlobalAlias &GA : M.aliases())
 376       visitGlobalAlias(GA);
 377
 378     for (const NamedMDNode &NMD : M.named_metadata())
 379       visitNamedMDNode(NMD);
 380
 381     for (const StringMapEntry<Comdat> &SMEC : M.getComdatSymbolTable())
 382       visitComdat(SMEC.getValue());
 383
 384     visitModuleFlags(M);
 385     visitModuleIdents(M);
 386
 387     verifyCompileUnits();
 388
 389     verifyDeoptimizeCallingConvs();
 390     DISubprogramAttachments.clear();
 391     return !Broken;
 392   }
 393
 394 private:
 395   // Verification methods...
 396   void visitGlobalValue(const GlobalValue &GV);
 397   void visitGlobalVariable(const GlobalVariable &GV);
 398   void visitGlobalAlias(const GlobalAlias &GA);
 399   void visitAliaseeSubExpr(const GlobalAlias &A, const Constant &C);
 400   void visitAliaseeSubExpr(SmallPtrSetImpl<const GlobalAlias *> &Visited,
 401                            const GlobalAlias &A, const Constant &C);
 402   void visitNamedMDNode(const NamedMDNode &NMD);
 403   void visitMDNode(const MDNode &MD);
 404   void visitMetadataAsValue(const MetadataAsValue &MD, Function *F);
 405   void visitValueAsMetadata(const ValueAsMetadata &MD, Function *F);
 406   void visitComdat(const Comdat &C);
 407   void visitModuleIdents(const Module &M);
 408   void visitModuleFlags(const Module &M);
 409   void visitModuleFlag(const MDNode *Op,
 410                        DenseMap<const MDString *, const MDNode *> &SeenIDs,
 411                        SmallVectorImpl<const MDNode *> &Requirements);
 412   void visitFunction(const Function &F);
 413   void visitBasicBlock(BasicBlock &BB);
 414   void visitRangeMetadata(Instruction &I, MDNode *Range, Type *Ty);
 415   void visitDereferenceableMetadata(Instruction &I, MDNode *MD);
 416
 417   template <class Ty> bool isValidMetadataArray(const MDTuple &N);
 418 #define HANDLE_SPECIALIZED_MDNODE_LEAF(CLASS) void visit##CLASS(const CLASS &N);
 419 #include "llvm/IR/Metadata.def"
 420   void visitDIScope(const DIScope &N);
 421   void visitDIVariable(const DIVariable &N);
 422   void visitDILexicalBlockBase(const DILexicalBlockBase &N);
 423   void visitDITemplateParameter(const DITemplateParameter &N);
 424
 425   void visitTemplateParams(const MDNode &N, const Metadata &RawParams);
 426
 427   // InstVisitor overrides...
 428   using InstVisitor<Verifier>::visit;
 429   void visit(Instruction &I);
 430
 431   void visitTruncInst(TruncInst &I);
 432   void visitZExtInst(ZExtInst &I);
 433   void visitSExtInst(SExtInst &I);
 434   void visitFPTruncInst(FPTruncInst &I);
 435   void visitFPExtInst(FPExtInst &I);
 436   void visitFPToUIInst(FPToUIInst &I);
 437   void visitFPToSIInst(FPToSIInst &I);
 438   void visitUIToFPInst(UIToFPInst &I);
 439   void visitSIToFPInst(SIToFPInst &I);
 440   void visitIntToPtrInst(IntToPtrInst &I);
 441   void visitPtrToIntInst(PtrToIntInst &I);
 442   void visitBitCastInst(BitCastInst &I);
 443   void visitAddrSpaceCastInst(AddrSpaceCastInst &I);
 444   void visitPHINode(PHINode &PN);
 445   void visitBinaryOperator(BinaryOperator &B);
 446   void visitICmpInst(ICmpInst &IC);
 447   void visitFCmpInst(FCmpInst &FC);
 448   void visitExtractElementInst(ExtractElementInst &EI);
 449   void visitInsertElementInst(InsertElementInst &EI);
 450   void visitShuffleVectorInst(ShuffleVectorInst &EI);
 451   void visitVAArgInst(VAArgInst &VAA) { visitInstruction(VAA); }
 452   void visitCallInst(CallInst &CI);
 453   void visitInvokeInst(InvokeInst &II);
 454   void visitGetElementPtrInst(GetElementPtrInst &GEP);
 455   void visitLoadInst(LoadInst &LI);
 456   void visitStoreInst(StoreInst &SI);
 457   void verifyDominatesUse(Instruction &I, unsigned i);
 458   void visitInstruction(Instruction &I);
 459   void visitTerminatorInst(TerminatorInst &I);
 460   void visitBranchInst(BranchInst &BI);
 461   void visitReturnInst(ReturnInst &RI);
 462   void visitSwitchInst(SwitchInst &SI);
 463   void visitIndirectBrInst(IndirectBrInst &BI);
 464   void visitSelectInst(SelectInst &SI);
 465   void visitUserOp1(Instruction &I);
 466   void visitUserOp2(Instruction &I) { visitUserOp1(I); }
 467   void visitIntrinsicCallSite(Intrinsic::ID ID, CallSite CS);
 468   void visitConstrainedFPIntrinsic(ConstrainedFPIntrinsic &FPI);
 469   void visitDbgIntrinsic(StringRef Kind, DbgInfoIntrinsic &DII);
 470   void visitAtomicCmpXchgInst(AtomicCmpXchgInst &CXI);
 471   void visitAtomicRMWInst(AtomicRMWInst &RMWI);
 472   void visitFenceInst(FenceInst &FI);
 473   void visitAllocaInst(AllocaInst &AI);
 474   void visitExtractValueInst(ExtractValueInst &EVI);
 475   void visitInsertValueInst(InsertValueInst &IVI);
 476   void visitEHPadPredecessors(Instruction &I);
 477   void visitLandingPadInst(LandingPadInst &LPI);
 478   void visitResumeInst(ResumeInst &RI);
 479   void visitCatchPadInst(CatchPadInst &CPI);
 480   void visitCatchReturnInst(CatchReturnInst &CatchReturn);
 481   void visitCleanupPadInst(CleanupPadInst &CPI);
 482   void visitFuncletPadInst(FuncletPadInst &FPI);
 483   void visitCatchSwitchInst(CatchSwitchInst &CatchSwitch);
 484   void visitCleanupReturnInst(CleanupReturnInst &CRI);
 485
 486   void verifyCallSite(CallSite CS);
 487   void verifySwiftErrorCallSite(CallSite CS, const Value *SwiftErrorVal);
 488   void verifySwiftErrorValue(const Value *SwiftErrorVal);
 489   void verifyMustTailCall(CallInst &CI);
 490   bool performTypeCheck(Intrinsic::ID ID, Function *F, Type *Ty, int VT,
 491                         unsigned ArgNo, std::string &Suffix);
 492   bool verifyAttributeCount(AttributeList Attrs, unsigned Params);
 493   void verifyAttributeTypes(AttributeSet Attrs, bool IsFunction,
 494                             const Value *V);
 495   void verifyParameterAttrs(AttributeSet Attrs, Type *Ty, const Value *V);
 496   void verifyFunctionAttrs(FunctionType *FT, AttributeList Attrs,
 497                            const Value *V);
 498   void verifyFunctionMetadata(ArrayRef<std::pair<unsigned, MDNode *>> MDs);
 499
 500   void visitConstantExprsRecursively(const Constant *EntryC);
 501   void visitConstantExpr(const ConstantExpr *CE);
 502   void verifyStatepoint(ImmutableCallSite CS);
 503   void verifyFrameRecoverIndices();
 504   void verifySiblingFuncletUnwinds();
 505
 506   void verifyFragmentExpression(const DbgInfoIntrinsic &I);
 507   template <typename ValueOrMetadata>
 508   void verifyFragmentExpression(const DIVariable &V,
 509                                 DIExpression::FragmentInfo Fragment,
 510                                 ValueOrMetadata *Desc);
 511   void verifyFnArgs(const DbgInfoIntrinsic &I);
 512
 513   /// Module-level debug info verification...
 514   void verifyCompileUnits();
 515
 516   /// Module-level verification that all @llvm.experimental.deoptimize
 517   /// declarations share the same calling convention.
 518   void verifyDeoptimizeCallingConvs();
 519 };
 520
 521 } // end anonymous namespace
 522
 523 /// We know that cond should be true, if not print an error message.
 524 #define Assert(C, ...) \
 525   do { if (!(C)) { CheckFailed(__VA_ARGS__); return; } } while (false)
 526
 527 /// We know that a debug info condition should be true, if not print
 528 /// an error message.
 529 #define AssertDI(C, ...) \
 530   do { if (!(C)) { DebugInfoCheckFailed(__VA_ARGS__); return; } } while (false)
 531
 532 void Verifier::visit(Instruction &I) {
 533   for (unsigned i = 0, e = I.getNumOperands(); i != e; ++i)
 534     Assert(I.getOperand(i) != nullptr, "Operand is null", &I);
 535   InstVisitor<Verifier>::visit(I);
 536 }
 537
 538 // Helper to recursively iterate over indirect users. By
 539 // returning false, the callback can ask to stop recursing
 540 // further.
 541 static void forEachUser(const Value *User,
 542                         SmallPtrSet<const Value *, 32> &Visited,
 543                         llvm::function_ref<bool(const Value *)> Callback) {
 544   if (!Visited.insert(User).second)
 545     return;
 546   for (const Value *TheNextUser : User->materialized_users())
 547     if (Callback(TheNextUser))
 548       forEachUser(TheNextUser, Visited, Callback);
 549 }
 550
 551 void Verifier::visitGlobalValue(const GlobalValue &GV) {
 552   Assert(!GV.isDeclaration() || GV.hasValidDeclarationLinkage(),
 553          "Global is external, but doesn't have external or weak linkage!", &GV);
 554
 555   Assert(GV.getAlignment() <= Value::MaximumAlignment,
 556          "huge alignment values are unsupported", &GV);
 557   Assert(!GV.hasAppendingLinkage() || isa<GlobalVariable>(GV),
 558          "Only global variables can have appending linkage!", &GV);
 559
 560   if (GV.hasAppendingLinkage()) {
 561     const GlobalVariable *GVar = dyn_cast<GlobalVariable>(&GV);
 562     Assert(GVar && GVar->getValueType()->isArrayTy(),
 563            "Only global arrays can have appending linkage!", GVar);
 564   }
 565
 566   if (GV.isDeclarationForLinker())
 567     Assert(!GV.hasComdat(), "Declaration may not be in a Comdat!", &GV);
 568
 569   if (GV.hasDLLImportStorageClass()) {
 570     Assert(!GV.isDSOLocal(),
 571            "GlobalValue with DLLImport Storage is dso_local!", &GV);
 572
 573     Assert((GV.isDeclaration() && GV.hasExternalLinkage()) ||
 574                GV.hasAvailableExternallyLinkage(),
 575            "Global is marked as dllimport, but not external", &GV);
 576   }
 577
 578   if (GV.hasLocalLinkage())
 579     Assert(GV.isDSOLocal(),
 580            "GlobalValue with private or internal linkage must be dso_local!",
 581            &GV);
 582
 583   if (!GV.hasDefaultVisibility() && !GV.hasExternalWeakLinkage())
 584     Assert(GV.isDSOLocal(),
 585            "GlobalValue with non default visibility must be dso_local!", &GV);
 586
 587   forEachUser(&GV, GlobalValueVisited, [&](const Value *V) -> bool {
 588     if (const Instruction *I = dyn_cast<Instruction>(V)) {
 589       if (!I->getParent() || !I->getParent()->getParent())
 590         CheckFailed("Global is referenced by parentless instruction!", &GV, &M,
 591                     I);
 592       else if (I->getParent()->getParent()->getParent() != &M)
 593         CheckFailed("Global is referenced in a different module!", &GV, &M, I,
 594                     I->getParent()->getParent(),
 595                     I->getParent()->getParent()->getParent());
 596       return false;
 597     } else if (const Function *F = dyn_cast<Function>(V)) {
 598       if (F->getParent() != &M)
 599         CheckFailed("Global is used by function in a different module", &GV, &M,
 600                     F, F->getParent());
 601       return false;
 602     }
 603     return true;
 604   });
 605 }
 606
 607 void Verifier::visitGlobalVariable(const GlobalVariable &GV) {
 608   if (GV.hasInitializer()) {
 609     Assert(GV.getInitializer()->getType() == GV.getValueType(),
 610            "Global variable initializer type does not match global "
 611            "variable type!",
 612            &GV);
 613     // If the global has common linkage, it must have a zero initializer and
 614     // cannot be constant.
 615     if (GV.hasCommonLinkage()) {
 616       Assert(GV.getInitializer()->isNullValue(),
 617              "'common' global must have a zero initializer!", &GV);
 618       Assert(!GV.isConstant(), "'common' global may not be marked constant!",
 619              &GV);
 620       Assert(!GV.hasComdat(), "'common' global may not be in a Comdat!", &GV);
 621     }
 622   }
 623
 624   if (GV.hasName() && (GV.getName() == "llvm.global_ctors" ||
 625                        GV.getName() == "llvm.global_dtors")) {
 626     Assert(!GV.hasInitializer() || GV.hasAppendingLinkage(),
 627            "invalid linkage for intrinsic global variable", &GV);
 628     // Don't worry about emitting an error for it not being an array,
 629     // visitGlobalValue will complain on appending non-array.
 630     if (ArrayType *ATy = dyn_cast<ArrayType>(GV.getValueType())) {
 631       StructType *STy = dyn_cast<StructType>(ATy->getElementType());
 632       PointerType *FuncPtrTy =
 633           FunctionType::get(Type::getVoidTy(Context), false)->getPointerTo();
 634       // FIXME: Reject the 2-field form in LLVM 4.0.
 635       Assert(STy &&
 636                  (STy->getNumElements() == 2 || STy->getNumElements() == 3) &&
 637                  STy->getTypeAtIndex(0u)->isIntegerTy(32) &&
 638                  STy->getTypeAtIndex(1) == FuncPtrTy,
 639              "wrong type for intrinsic global variable", &GV);
 640       if (STy->getNumElements() == 3) {
 641         Type *ETy = STy->getTypeAtIndex(2);
 642         Assert(ETy->isPointerTy() &&
 643                    cast<PointerType>(ETy)->getElementType()->isIntegerTy(8),
 644                "wrong type for intrinsic global variable", &GV);
 645       }
 646     }
 647   }
 648
 649   if (GV.hasName() && (GV.getName() == "llvm.used" ||
 650                        GV.getName() == "llvm.compiler.used")) {
 651     Assert(!GV.hasInitializer() || GV.hasAppendingLinkage(),
 652            "invalid linkage for intrinsic global variable", &GV);
 653     Type *GVType = GV.getValueType();
 654     if (ArrayType *ATy = dyn_cast<ArrayType>(GVType)) {
 655       PointerType *PTy = dyn_cast<PointerType>(ATy->getElementType());
 656       Assert(PTy, "wrong type for intrinsic global variable", &GV);
 657       if (GV.hasInitializer()) {
 658         const Constant *Init = GV.getInitializer();
 659         const ConstantArray *InitArray = dyn_cast<ConstantArray>(Init);
 660         Assert(InitArray, "wrong initalizer for intrinsic global variable",
 661                Init);
 662         for (Value *Op : InitArray->operands()) {
 663           Value *V = Op->stripPointerCastsNoFollowAliases();
 664           Assert(isa<GlobalVariable>(V) || isa<Function>(V) ||
 665                      isa<GlobalAlias>(V),
 666                  "invalid llvm.used member", V);
 667           Assert(V->hasName(), "members of llvm.used must be named", V);
 668         }
 669       }
 670     }
 671   }
 672
 673   // Visit any debug info attachments.
 674   SmallVector<MDNode *, 1> MDs;
 675   GV.getMetadata(LLVMContext::MD_dbg, MDs);
 676   for (auto *MD : MDs) {
 677     if (auto *GVE = dyn_cast<DIGlobalVariableExpression>(MD))
 678       visitDIGlobalVariableExpression(*GVE);
 679     else
 680       AssertDI(false, "!dbg attachment of global variable must be a "
 681                       "DIGlobalVariableExpression");
 682   }
 683
 684   if (!GV.hasInitializer()) {
 685     visitGlobalValue(GV);
 686     return;
 687   }
 688
 689   // Walk any aggregate initializers looking for bitcasts between address spaces
 690   visitConstantExprsRecursively(GV.getInitializer());
 691
 692   visitGlobalValue(GV);
 693 }
 694
 695 void Verifier::visitAliaseeSubExpr(const GlobalAlias &GA, const Constant &C) {
 696   SmallPtrSet<const GlobalAlias*, 4> Visited;
 697   Visited.insert(&GA);
 698   visitAliaseeSubExpr(Visited, GA, C);
 699 }
 700
 701 void Verifier::visitAliaseeSubExpr(SmallPtrSetImpl<const GlobalAlias*> &Visited,
 702                                    const GlobalAlias &GA, const Constant &C) {
 703   if (const auto *GV = dyn_cast<GlobalValue>(&C)) {
 704     Assert(!GV->isDeclarationForLinker(), "Alias must point to a definition",
 705            &GA);
 706
 707     if (const auto *GA2 = dyn_cast<GlobalAlias>(GV)) {
 708       Assert(Visited.insert(GA2).second, "Aliases cannot form a cycle", &GA);
 709
 710       Assert(!GA2->isInterposable(), "Alias cannot point to an interposable alias",
 711              &GA);
 712     } else {
 713       // Only continue verifying subexpressions of GlobalAliases.
 714       // Do not recurse into global initializers.
 715       return;
 716     }
 717   }
 718
 719   if (const auto *CE = dyn_cast<ConstantExpr>(&C))
 720     visitConstantExprsRecursively(CE);
 721
 722   for (const Use &U : C.operands()) {
 723     Value *V = &*U;
 724     if (const auto *GA2 = dyn_cast<GlobalAlias>(V))
 725       visitAliaseeSubExpr(Visited, GA, *GA2->getAliasee());
 726     else if (const auto *C2 = dyn_cast<Constant>(V))
 727       visitAliaseeSubExpr(Visited, GA, *C2);
 728   }
 729 }
 730
 731 void Verifier::visitGlobalAlias(const GlobalAlias &GA) {
 732   Assert(GlobalAlias::isValidLinkage(GA.getLinkage()),
 733          "Alias should have private, internal, linkonce, weak, linkonce_odr, "
 734          "weak_odr, or external linkage!",
 735          &GA);
 736   const Constant *Aliasee = GA.getAliasee();
 737   Assert(Aliasee, "Aliasee cannot be NULL!", &GA);
 738   Assert(GA.getType() == Aliasee->getType(),
 739          "Alias and aliasee types should match!", &GA);
 740
 741   Assert(isa<GlobalValue>(Aliasee) || isa<ConstantExpr>(Aliasee),
 742          "Aliasee should be either GlobalValue or ConstantExpr", &GA);
 743
 744   visitAliaseeSubExpr(GA, *Aliasee);
 745
 746   visitGlobalValue(GA);
 747 }
 748
 749 void Verifier::visitNamedMDNode(const NamedMDNode &NMD) {
 750   // There used to be various other llvm.dbg.* nodes, but we don't support
 751   // upgrading them and we want to reserve the namespace for future uses.
 752   if (NMD.getName().startswith("llvm.dbg."))
 753     AssertDI(NMD.getName() == "llvm.dbg.cu",
 754              "unrecognized named metadata node in the llvm.dbg namespace",
 755              &NMD);
 756   for (const MDNode *MD : NMD.operands()) {
 757     if (NMD.getName() == "llvm.dbg.cu")
 758       AssertDI(MD && isa<DICompileUnit>(MD), "invalid compile unit", &NMD, MD);
 759
 760     if (!MD)
 761       continue;
 762
 763     visitMDNode(*MD);
 764   }
 765 }
 766
 767 void Verifier::visitMDNode(const MDNode &MD) {
 768   // Only visit each node once.  Metadata can be mutually recursive, so this
 769   // avoids infinite recursion here, as well as being an optimization.
 770   if (!MDNodes.insert(&MD).second)
 771     return;
 772
 773   switch (MD.getMetadataID()) {
 774   default:
 775     llvm_unreachable("Invalid MDNode subclass");
 776   case Metadata::MDTupleKind:
 777     break;
 778 #define HANDLE_SPECIALIZED_MDNODE_LEAF(CLASS)                                  \
 779   case Metadata::CLASS##Kind:                                                  \
 780     visit##CLASS(cast<CLASS>(MD));                                             \
 781     break;
 782 #include "llvm/IR/Metadata.def"
 783   }
 784
 785   for (const Metadata *Op : MD.operands()) {
 786     if (!Op)
 787       continue;
 788     Assert(!isa<LocalAsMetadata>(Op), "Invalid operand for global metadata!",
 789            &MD, Op);
 790     if (auto *N = dyn_cast<MDNode>(Op)) {
 791       visitMDNode(*N);
 792       continue;
 793     }
 794     if (auto *V = dyn_cast<ValueAsMetadata>(Op)) {
 795       visitValueAsMetadata(*V, nullptr);
 796       continue;
 797     }
 798   }
 799
 800   // Check these last, so we diagnose problems in operands first.
 801   Assert(!MD.isTemporary(), "Expected no forward declarations!", &MD);
 802   Assert(MD.isResolved(), "All nodes should be resolved!", &MD);
 803 }
 804
 805 void Verifier::visitValueAsMetadata(const ValueAsMetadata &MD, Function *F) {
 806   Assert(MD.getValue(), "Expected valid value", &MD);
 807   Assert(!MD.getValue()->getType()->isMetadataTy(),
 808          "Unexpected metadata round-trip through values", &MD, MD.getValue());
 809
 810   auto *L = dyn_cast<LocalAsMetadata>(&MD);
 811   if (!L)
 812     return;
 813
 814   Assert(F, "function-local metadata used outside a function", L);
 815
 816   // If this was an instruction, bb, or argument, verify that it is in the
 817   // function that we expect.
 818   Function *ActualF = nullptr;
 819   if (Instruction *I = dyn_cast<Instruction>(L->getValue())) {
 820     Assert(I->getParent(), "function-local metadata not in basic block", L, I);
 821     ActualF = I->getParent()->getParent();
 822   } else if (BasicBlock *BB = dyn_cast<BasicBlock>(L->getValue()))
 823     ActualF = BB->getParent();
 824   else if (Argument *A = dyn_cast<Argument>(L->getValue()))
 825     ActualF = A->getParent();
 826   assert(ActualF && "Unimplemented function local metadata case!");
 827
 828   Assert(ActualF == F, "function-local metadata used in wrong function", L);
 829 }
 830
 831 void Verifier::visitMetadataAsValue(const MetadataAsValue &MDV, Function *F) {
 832   Metadata *MD = MDV.getMetadata();
 833   if (auto *N = dyn_cast<MDNode>(MD)) {
 834     visitMDNode(*N);
 835     return;
 836   }
 837
 838   // Only visit each node once.  Metadata can be mutually recursive, so this
 839   // avoids infinite recursion here, as well as being an optimization.
 840   if (!MDNodes.insert(MD).second)
 841     return;
 842
 843   if (auto *V = dyn_cast<ValueAsMetadata>(MD))
 844     visitValueAsMetadata(*V, F);
 845 }
 846
 847 static bool isType(const Metadata *MD) { return !MD || isa<DIType>(MD); }
 848 static bool isScope(const Metadata *MD) { return !MD || isa<DIScope>(MD); }
 849 static bool isDINode(const Metadata *MD) { return !MD || isa<DINode>(MD); }
 850
 851 void Verifier::visitDILocation(const DILocation &N) {
 852   AssertDI(N.getRawScope() && isa<DILocalScope>(N.getRawScope()),
 853            "location requires a valid scope", &N, N.getRawScope());
 854   if (auto *IA = N.getRawInlinedAt())
 855     AssertDI(isa<DILocation>(IA), "inlined-at should be a location", &N, IA);
 856   if (auto *SP = dyn_cast<DISubprogram>(N.getRawScope()))
 857     AssertDI(SP->isDefinition(), "scope points into the type hierarchy", &N);
 858 }
 859
 860 void Verifier::visitGenericDINode(const GenericDINode &N) {
 861   AssertDI(N.getTag(), "invalid tag", &N);
 862 }
 863
 864 void Verifier::visitDIScope(const DIScope &N) {
 865   if (auto *F = N.getRawFile())
 866     AssertDI(isa<DIFile>(F), "invalid file", &N, F);
 867 }
 868
 869 void Verifier::visitDISubrange(const DISubrange &N) {
 870   AssertDI(N.getTag() == dwarf::DW_TAG_subrange_type, "invalid tag", &N);
 871   auto Count = N.getCount();
 872   AssertDI(Count, "Count must either be a signed constant or a DIVariable",
 873            &N);
 874   AssertDI(!Count.is<ConstantInt*>() ||
 875                Count.get<ConstantInt*>()->getSExtValue() >= -1,
 876            "invalid subrange count", &N);
 877 }
 878
 879 void Verifier::visitDIEnumerator(const DIEnumerator &N) {
 880   AssertDI(N.getTag() == dwarf::DW_TAG_enumerator, "invalid tag", &N);
 881 }
 882
 883 void Verifier::visitDIBasicType(const DIBasicType &N) {
 884   AssertDI(N.getTag() == dwarf::DW_TAG_base_type ||
 885                N.getTag() == dwarf::DW_TAG_unspecified_type,
 886            "invalid tag", &N);
 887 }
 888
 889 void Verifier::visitDIDerivedType(const DIDerivedType &N) {
 890   // Common scope checks.
 891   visitDIScope(N);
 892
 893   AssertDI(N.getTag() == dwarf::DW_TAG_typedef ||
 894                N.getTag() == dwarf::DW_TAG_pointer_type ||
 895                N.getTag() == dwarf::DW_TAG_ptr_to_member_type ||
 896                N.getTag() == dwarf::DW_TAG_reference_type ||
 897                N.getTag() == dwarf::DW_TAG_rvalue_reference_type ||
 898                N.getTag() == dwarf::DW_TAG_const_type ||
 899                N.getTag() == dwarf::DW_TAG_volatile_type ||
 900                N.getTag() == dwarf::DW_TAG_restrict_type ||
 901                N.getTag() == dwarf::DW_TAG_atomic_type ||
 902                N.getTag() == dwarf::DW_TAG_member ||
 903                N.getTag() == dwarf::DW_TAG_inheritance ||
 904                N.getTag() == dwarf::DW_TAG_friend,
 905            "invalid tag", &N);
 906   if (N.getTag() == dwarf::DW_TAG_ptr_to_member_type) {
 907     AssertDI(isType(N.getRawExtraData()), "invalid pointer to member type", &N,
 908              N.getRawExtraData());
 909   }
 910
 911   AssertDI(isScope(N.getRawScope()), "invalid scope", &N, N.getRawScope());
 912   AssertDI(isType(N.getRawBaseType()), "invalid base type", &N,
 913            N.getRawBaseType());
 914
 915   if (N.getDWARFAddressSpace()) {
 916     AssertDI(N.getTag() == dwarf::DW_TAG_pointer_type ||
 917                  N.getTag() == dwarf::DW_TAG_reference_type,
 918              "DWARF address space only applies to pointer or reference types",
 919              &N);
 920   }
 921 }
 922
 923 /// Detect mutually exclusive flags.
 924 static bool hasConflictingReferenceFlags(unsigned Flags) {
 925   return ((Flags & DINode::FlagLValueReference) &&
 926           (Flags & DINode::FlagRValueReference)) ||
 927          ((Flags & DINode::FlagTypePassByValue) &&
 928           (Flags & DINode::FlagTypePassByReference));
 929 }
 930
 931 void Verifier::visitTemplateParams(const MDNode &N, const Metadata &RawParams) {
 932   auto *Params = dyn_cast<MDTuple>(&RawParams);
 933   AssertDI(Params, "invalid template params", &N, &RawParams);
 934   for (Metadata *Op : Params->operands()) {
 935     AssertDI(Op && isa<DITemplateParameter>(Op), "invalid template parameter",
 936              &N, Params, Op);
 937   }
 938 }
 939
 940 void Verifier::visitDICompositeType(const DICompositeType &N) {
 941   // Common scope checks.
 942   visitDIScope(N);
 943
 944   AssertDI(N.getTag() == dwarf::DW_TAG_array_type ||
 945                N.getTag() == dwarf::DW_TAG_structure_type ||
 946                N.getTag() == dwarf::DW_TAG_union_type ||
 947                N.getTag() == dwarf::DW_TAG_enumeration_type ||
 948                N.getTag() == dwarf::DW_TAG_class_type ||
 949                N.getTag() == dwarf::DW_TAG_variant_part,
 950            "invalid tag", &N);
 951
 952   AssertDI(isScope(N.getRawScope()), "invalid scope", &N, N.getRawScope());
 953   AssertDI(isType(N.getRawBaseType()), "invalid base type", &N,
 954            N.getRawBaseType());
 955
 956   AssertDI(!N.getRawElements() || isa<MDTuple>(N.getRawElements()),
 957            "invalid composite elements", &N, N.getRawElements());
 958   AssertDI(isType(N.getRawVTableHolder()), "invalid vtable holder", &N,
 959            N.getRawVTableHolder());
 960   AssertDI(!hasConflictingReferenceFlags(N.getFlags()),
 961            "invalid reference flags", &N);
 962
 963   if (N.isVector()) {
 964     const DINodeArray Elements = N.getElements();
 965     AssertDI(Elements.size() == 1 &&
 966              Elements[0]->getTag() == dwarf::DW_TAG_subrange_type,
 967              "invalid vector, expected one element of type subrange", &N);
 968   }
 969
 970   if (auto *Params = N.getRawTemplateParams())
 971     visitTemplateParams(N, *Params);
 972
 973   if (N.getTag() == dwarf::DW_TAG_class_type ||
 974       N.getTag() == dwarf::DW_TAG_union_type) {
 975     AssertDI(N.getFile() && !N.getFile()->getFilename().empty(),
 976              "class/union requires a filename", &N, N.getFile());
 977   }
 978
 979   if (auto *D = N.getRawDiscriminator()) {
 980     AssertDI(isa<DIDerivedType>(D) && N.getTag() == dwarf::DW_TAG_variant_part,
 981              "discriminator can only appear on variant part");
 982   }
 983 }
 984
 985 void Verifier::visitDISubroutineType(const DISubroutineType &N) {
 986   AssertDI(N.getTag() == dwarf::DW_TAG_subroutine_type, "invalid tag", &N);
 987   if (auto *Types = N.getRawTypeArray()) {
 988     AssertDI(isa<MDTuple>(Types), "invalid composite elements", &N, Types);
 989     for (Metadata *Ty : N.getTypeArray()->operands()) {
 990       AssertDI(isType(Ty), "invalid subroutine type ref", &N, Types, Ty);
 991     }
 992   }
 993   AssertDI(!hasConflictingReferenceFlags(N.getFlags()),
 994            "invalid reference flags", &N);
 995 }
 996
 997 void Verifier::visitDIFile(const DIFile &N) {
 998   AssertDI(N.getTag() == dwarf::DW_TAG_file_type, "invalid tag", &N);
 999   Optional<DIFile::ChecksumInfo<StringRef>> Checksum = N.getChecksum();
1000   if (Checksum) {
1001     AssertDI(Checksum->Kind <= DIFile::ChecksumKind::CSK_Last,
1002              "invalid checksum kind", &N);
1003     size_t Size;
1004     switch (Checksum->Kind) {
1005     case DIFile::CSK_MD5:
1006       Size = 32;
1007       break;
1008     case DIFile::CSK_SHA1:
1009       Size = 40;
1010       break;
1011     }
1012     AssertDI(Checksum->Value.size() == Size, "invalid checksum length", &N);
1013     AssertDI(Checksum->Value.find_if_not(llvm::isHexDigit) == StringRef::npos,
1014              "invalid checksum", &N);
1015   }
1016 }
1017
1018 void Verifier::visitDICompileUnit(const DICompileUnit &N) {
1019   AssertDI(N.isDistinct(), "compile units must be distinct", &N);
1020   AssertDI(N.getTag() == dwarf::DW_TAG_compile_unit, "invalid tag", &N);
1021
1022   // Don't bother verifying the compilation directory or producer string
1023   // as those could be empty.
1024   AssertDI(N.getRawFile() && isa<DIFile>(N.getRawFile()), "invalid file", &N,
1025            N.getRawFile());
1026   AssertDI(!N.getFile()->getFilename().empty(), "invalid filename", &N,
1027            N.getFile());
1028
1029   AssertDI((N.getEmissionKind() <= DICompileUnit::LastEmissionKind),
1030            "invalid emission kind", &N);
1031
1032   if (auto *Array = N.getRawEnumTypes()) {
1033     AssertDI(isa<MDTuple>(Array), "invalid enum list", &N, Array);
1034     for (Metadata *Op : N.getEnumTypes()->operands()) {
1035       auto *Enum = dyn_cast_or_null<DICompositeType>(Op);
1036       AssertDI(Enum && Enum->getTag() == dwarf::DW_TAG_enumeration_type,
1037                "invalid enum type", &N, N.getEnumTypes(), Op);
1038     }
1039   }
1040   if (auto *Array = N.getRawRetainedTypes()) {
1041     AssertDI(isa<MDTuple>(Array), "invalid retained type list", &N, Array);
1042     for (Metadata *Op : N.getRetainedTypes()->operands()) {
1043       AssertDI(Op && (isa<DIType>(Op) ||
1044                       (isa<DISubprogram>(Op) &&
1045                        !cast<DISubprogram>(Op)->isDefinition())),
1046                "invalid retained type", &N, Op);
1047     }
1048   }
1049   if (auto *Array = N.getRawGlobalVariables()) {
1050     AssertDI(isa<MDTuple>(Array), "invalid global variable list", &N, Array);
1051     for (Metadata *Op : N.getGlobalVariables()->operands()) {
1052       AssertDI(Op && (isa<DIGlobalVariableExpression>(Op)),
1053                "invalid global variable ref", &N, Op);
1054     }
1055   }
1056   if (auto *Array = N.getRawImportedEntities()) {
1057     AssertDI(isa<MDTuple>(Array), "invalid imported entity list", &N, Array);
1058     for (Metadata *Op : N.getImportedEntities()->operands()) {
1059       AssertDI(Op && isa<DIImportedEntity>(Op), "invalid imported entity ref",
1060                &N, Op);
1061     }
1062   }
1063   if (auto *Array = N.getRawMacros()) {
1064     AssertDI(isa<MDTuple>(Array), "invalid macro list", &N, Array);
1065     for (Metadata *Op : N.getMacros()->operands()) {
1066       AssertDI(Op && isa<DIMacroNode>(Op), "invalid macro ref", &N, Op);
1067     }
1068   }
1069   CUVisited.insert(&N);
1070 }
1071
1072 void Verifier::visitDISubprogram(const DISubprogram &N) {
1073   AssertDI(N.getTag() == dwarf::DW_TAG_subprogram, "invalid tag", &N);
1074   AssertDI(isScope(N.getRawScope()), "invalid scope", &N, N.getRawScope());
1075   if (auto *F = N.getRawFile())
1076     AssertDI(isa<DIFile>(F), "invalid file", &N, F);
1077   else
1078     AssertDI(N.getLine() == 0, "line specified with no file", &N, N.getLine());
1079   if (auto *T = N.getRawType())
1080     AssertDI(isa<DISubroutineType>(T), "invalid subroutine type", &N, T);
1081   AssertDI(isType(N.getRawContainingType()), "invalid containing type", &N,
1082            N.getRawContainingType());
1083   if (auto *Params = N.getRawTemplateParams())
1084     visitTemplateParams(N, *Params);
1085   if (auto *S = N.getRawDeclaration())
1086     AssertDI(isa<DISubprogram>(S) && !cast<DISubprogram>(S)->isDefinition(),
1087              "invalid subprogram declaration", &N, S);
1088   if (auto *RawVars = N.getRawVariables()) {
1089     auto *Vars = dyn_cast<MDTuple>(RawVars);
1090     AssertDI(Vars, "invalid variable list", &N, RawVars);
1091     for (Metadata *Op : Vars->operands()) {
1092       AssertDI(Op && isa<DILocalVariable>(Op), "invalid local variable", &N,
1093                Vars, Op);
1094     }
1095   }
1096   AssertDI(!hasConflictingReferenceFlags(N.getFlags()),
1097            "invalid reference flags", &N);
1098
1099   auto *Unit = N.getRawUnit();
1100   if (N.isDefinition()) {
1101     // Subprogram definitions (not part of the type hierarchy).
1102     AssertDI(N.isDistinct(), "subprogram definitions must be distinct", &N);
1103     AssertDI(Unit, "subprogram definitions must have a compile unit", &N);
1104     AssertDI(isa<DICompileUnit>(Unit), "invalid unit type", &N, Unit);
1105   } else {
1106     // Subprogram declarations (part of the type hierarchy).
1107     AssertDI(!Unit, "subprogram declarations must not have a compile unit", &N);
1108   }
1109
1110   if (auto *RawThrownTypes = N.getRawThrownTypes()) {
1111     auto *ThrownTypes = dyn_cast<MDTuple>(RawThrownTypes);
1112     AssertDI(ThrownTypes, "invalid thrown types list", &N, RawThrownTypes);
1113     for (Metadata *Op : ThrownTypes->operands())
1114       AssertDI(Op && isa<DIType>(Op), "invalid thrown type", &N, ThrownTypes,
1115                Op);
1116   }
1117 }
1118
1119 void Verifier::visitDILexicalBlockBase(const DILexicalBlockBase &N) {
1120   AssertDI(N.getTag() == dwarf::DW_TAG_lexical_block, "invalid tag", &N);
1121   AssertDI(N.getRawScope() && isa<DILocalScope>(N.getRawScope()),
1122            "invalid local scope", &N, N.getRawScope());
1123   if (auto *SP = dyn_cast<DISubprogram>(N.getRawScope()))
1124     AssertDI(SP->isDefinition(), "scope points into the type hierarchy", &N);
1125 }
1126
1127 void Verifier::visitDILexicalBlock(const DILexicalBlock &N) {
1128   visitDILexicalBlockBase(N);
1129
1130   AssertDI(N.getLine() || !N.getColumn(),
1131            "cannot have column info without line info", &N);
1132 }
1133
1134 void Verifier::visitDILexicalBlockFile(const DILexicalBlockFile &N) {
1135   visitDILexicalBlockBase(N);
1136 }
1137
1138 void Verifier::visitDINamespace(const DINamespace &N) {
1139   AssertDI(N.getTag() == dwarf::DW_TAG_namespace, "invalid tag", &N);
1140   if (auto *S = N.getRawScope())
1141     AssertDI(isa<DIScope>(S), "invalid scope ref", &N, S);
1142 }
1143
1144 void Verifier::visitDIMacro(const DIMacro &N) {
1145   AssertDI(N.getMacinfoType() == dwarf::DW_MACINFO_define ||
1146                N.getMacinfoType() == dwarf::DW_MACINFO_undef,
1147            "invalid macinfo type", &N);
1148   AssertDI(!N.getName().empty(), "anonymous macro", &N);
1149   if (!N.getValue().empty()) {
1150     assert(N.getValue().data()[0] != ' ' && "Macro value has a space prefix");
1151   }
1152 }
1153
1154 void Verifier::visitDIMacroFile(const DIMacroFile &N) {
1155   AssertDI(N.getMacinfoType() == dwarf::DW_MACINFO_start_file,
1156            "invalid macinfo type", &N);
1157   if (auto *F = N.getRawFile())
1158     AssertDI(isa<DIFile>(F), "invalid file", &N, F);
1159
1160   if (auto *Array = N.getRawElements()) {
1161     AssertDI(isa<MDTuple>(Array), "invalid macro list", &N, Array);
1162     for (Metadata *Op : N.getElements()->operands()) {
1163       AssertDI(Op && isa<DIMacroNode>(Op), "invalid macro ref", &N, Op);
1164     }
1165   }
1166 }
1167
1168 void Verifier::visitDIModule(const DIModule &N) {
1169   AssertDI(N.getTag() == dwarf::DW_TAG_module, "invalid tag", &N);
1170   AssertDI(!N.getName().empty(), "anonymous module", &N);
1171 }
1172
1173 void Verifier::visitDITemplateParameter(const DITemplateParameter &N) {
1174   AssertDI(isType(N.getRawType()), "invalid type ref", &N, N.getRawType());
1175 }
1176
1177 void Verifier::visitDITemplateTypeParameter(const DITemplateTypeParameter &N) {
1178   visitDITemplateParameter(N);
1179
1180   AssertDI(N.getTag() == dwarf::DW_TAG_template_type_parameter, "invalid tag",
1181            &N);
1182 }
1183
1184 void Verifier::visitDITemplateValueParameter(
1185     const DITemplateValueParameter &N) {
1186   visitDITemplateParameter(N);
1187
1188   AssertDI(N.getTag() == dwarf::DW_TAG_template_value_parameter ||
1189                N.getTag() == dwarf::DW_TAG_GNU_template_template_param ||
1190                N.getTag() == dwarf::DW_TAG_GNU_template_parameter_pack,
1191            "invalid tag", &N);
1192 }
1193
1194 void Verifier::visitDIVariable(const DIVariable &N) {
1195   if (auto *S = N.getRawScope())
1196     AssertDI(isa<DIScope>(S), "invalid scope", &N, S);
1197   if (auto *F = N.getRawFile())
1198     AssertDI(isa<DIFile>(F), "invalid file", &N, F);
1199 }
1200
1201 void Verifier::visitDIGlobalVariable(const DIGlobalVariable &N) {
1202   // Checks common to all variables.
1203   visitDIVariable(N);
1204
1205   AssertDI(N.getTag() == dwarf::DW_TAG_variable, "invalid tag", &N);
1206   AssertDI(!N.getName().empty(), "missing global variable name", &N);
1207   AssertDI(isType(N.getRawType()), "invalid type ref", &N, N.getRawType());
1208   AssertDI(N.getType(), "missing global variable type", &N);
1209   if (auto *Member = N.getRawStaticDataMemberDeclaration()) {
1210     AssertDI(isa<DIDerivedType>(Member),
1211              "invalid static data member declaration", &N, Member);
1212   }
1213 }
1214
1215 void Verifier::visitDILocalVariable(const DILocalVariable &N) {
1216   // Checks common to all variables.
1217   visitDIVariable(N);
1218
1219   AssertDI(isType(N.getRawType()), "invalid type ref", &N, N.getRawType());
1220   AssertDI(N.getTag() == dwarf::DW_TAG_variable, "invalid tag", &N);
1221   AssertDI(N.getRawScope() && isa<DILocalScope>(N.getRawScope()),
1222            "local variable requires a valid scope", &N, N.getRawScope());
1223 }
1224
1225 void Verifier::visitDIExpression(const DIExpression &N) {
1226   AssertDI(N.isValid(), "invalid expression", &N);
1227 }
1228
1229 void Verifier::visitDIGlobalVariableExpression(
1230     const DIGlobalVariableExpression &GVE) {
1231   AssertDI(GVE.getVariable(), "missing variable");
1232   if (auto *Var = GVE.getVariable())
1233     visitDIGlobalVariable(*Var);
1234   if (auto *Expr = GVE.getExpression()) {
1235     visitDIExpression(*Expr);
1236     if (auto Fragment = Expr->getFragmentInfo())
1237       verifyFragmentExpression(*GVE.getVariable(), *Fragment, &GVE);
1238   }
1239 }
1240
1241 void Verifier::visitDIObjCProperty(const DIObjCProperty &N) {
1242   AssertDI(N.getTag() == dwarf::DW_TAG_APPLE_property, "invalid tag", &N);
1243   if (auto *T = N.getRawType())
1244     AssertDI(isType(T), "invalid type ref", &N, T);
1245   if (auto *F = N.getRawFile())
1246     AssertDI(isa<DIFile>(F), "invalid file", &N, F);
1247 }
1248
1249 void Verifier::visitDIImportedEntity(const DIImportedEntity &N) {
1250   AssertDI(N.getTag() == dwarf::DW_TAG_imported_module ||
1251                N.getTag() == dwarf::DW_TAG_imported_declaration,
1252            "invalid tag", &N);
1253   if (auto *S = N.getRawScope())
1254     AssertDI(isa<DIScope>(S), "invalid scope for imported entity", &N, S);
1255   AssertDI(isDINode(N.getRawEntity()), "invalid imported entity", &N,
1256            N.getRawEntity());
1257 }
1258
1259 void Verifier::visitComdat(const Comdat &C) {
1260   // The Module is invalid if the GlobalValue has private linkage.  Entities
1261   // with private linkage don't have entries in the symbol table.
1262   if (const GlobalValue *GV = M.getNamedValue(C.getName()))
1263     Assert(!GV->hasPrivateLinkage(), "comdat global value has private linkage",
1264            GV);
1265 }
1266
1267 void Verifier::visitModuleIdents(const Module &M) {
1268   const NamedMDNode *Idents = M.getNamedMetadata("llvm.ident");
1269   if (!Idents)
1270     return;
1271
1272   // llvm.ident takes a list of metadata entry. Each entry has only one string.
1273   // Scan each llvm.ident entry and make sure that this requirement is met.
1274   for (const MDNode *N : Idents->operands()) {
1275     Assert(N->getNumOperands() == 1,
1276            "incorrect number of operands in llvm.ident metadata", N);
1277     Assert(dyn_cast_or_null<MDString>(N->getOperand(0)),
1278            ("invalid value for llvm.ident metadata entry operand"
1279             "(the operand should be a string)"),
1280            N->getOperand(0));
1281   }
1282 }
1283
1284 void Verifier::visitModuleFlags(const Module &M) {
1285   const NamedMDNode *Flags = M.getModuleFlagsMetadata();
1286   if (!Flags) return;
1287
1288   // Scan each flag, and track the flags and requirements.
1289   DenseMap<const MDString*, const MDNode*> SeenIDs;
1290   SmallVector<const MDNode*, 16> Requirements;
1291   for (const MDNode *MDN : Flags->operands())
1292     visitModuleFlag(MDN, SeenIDs, Requirements);
1293
1294   // Validate that the requirements in the module are valid.
1295   for (const MDNode *Requirement : Requirements) {
1296     const MDString *Flag = cast<MDString>(Requirement->getOperand(0));
1297     const Metadata *ReqValue = Requirement->getOperand(1);
1298
1299     const MDNode *Op = SeenIDs.lookup(Flag);
1300     if (!Op) {
1301       CheckFailed("invalid requirement on flag, flag is not present in module",
1302                   Flag);
1303       continue;
1304     }
1305
1306     if (Op->getOperand(2) != ReqValue) {
1307       CheckFailed(("invalid requirement on flag, "
1308                    "flag does not have the required value"),
1309                   Flag);
1310       continue;
1311     }
1312   }
1313 }
1314
1315 void
1316 Verifier::visitModuleFlag(const MDNode *Op,
1317                           DenseMap<const MDString *, const MDNode *> &SeenIDs,
1318                           SmallVectorImpl<const MDNode *> &Requirements) {
1319   // Each module flag should have three arguments, the merge behavior (a
1320   // constant int), the flag ID (an MDString), and the value.
1321   Assert(Op->getNumOperands() == 3,
1322          "incorrect number of operands in module flag", Op);
1323   Module::ModFlagBehavior MFB;
1324   if (!Module::isValidModFlagBehavior(Op->getOperand(0), MFB)) {
1325     Assert(
1326         mdconst::dyn_extract_or_null<ConstantInt>(Op->getOperand(0)),
1327         "invalid behavior operand in module flag (expected constant integer)",
1328         Op->getOperand(0));
1329     Assert(false,
1330            "invalid behavior operand in module flag (unexpected constant)",
1331            Op->getOperand(0));
1332   }
1333   MDString *ID = dyn_cast_or_null<MDString>(Op->getOperand(1));
1334   Assert(ID, "invalid ID operand in module flag (expected metadata string)",
1335          Op->getOperand(1));
1336
1337   // Sanity check the values for behaviors with additional requirements.
1338   switch (MFB) {
1339   case Module::Error:
1340   case Module::Warning:
1341   case Module::Override:
1342     // These behavior types accept any value.
1343     break;
1344
1345   case Module::Max: {
1346     Assert(mdconst::dyn_extract_or_null<ConstantInt>(Op->getOperand(2)),
1347            "invalid value for 'max' module flag (expected constant integer)",
1348            Op->getOperand(2));
1349     break;
1350   }
1351
1352   case Module::Require: {
1353     // The value should itself be an MDNode with two operands, a flag ID (an
1354     // MDString), and a value.
1355     MDNode *Value = dyn_cast<MDNode>(Op->getOperand(2));
1356     Assert(Value && Value->getNumOperands() == 2,
1357            "invalid value for 'require' module flag (expected metadata pair)",
1358            Op->getOperand(2));
1359     Assert(isa<MDString>(Value->getOperand(0)),
1360            ("invalid value for 'require' module flag "
1361             "(first value operand should be a string)"),
1362            Value->getOperand(0));
1363
1364     // Append it to the list of requirements, to check once all module flags are
1365     // scanned.
1366     Requirements.push_back(Value);
1367     break;
1368   }
1369
1370   case Module::Append:
1371   case Module::AppendUnique: {
1372     // These behavior types require the operand be an MDNode.
1373     Assert(isa<MDNode>(Op->getOperand(2)),
1374            "invalid value for 'append'-type module flag "
1375            "(expected a metadata node)",
1376            Op->getOperand(2));
1377     break;
1378   }
1379   }
1380
1381   // Unless this is a "requires" flag, check the ID is unique.
1382   if (MFB != Module::Require) {
1383     bool Inserted = SeenIDs.insert(std::make_pair(ID, Op)).second;
1384     Assert(Inserted,
1385            "module flag identifiers must be unique (or of 'require' type)", ID);
1386   }
1387
1388   if (ID->getString() == "wchar_size") {
1389     ConstantInt *Value
1390       = mdconst::dyn_extract_or_null<ConstantInt>(Op->getOperand(2));
1391     Assert(Value, "wchar_size metadata requires constant integer argument");
1392   }
1393
1394   if (ID->getString() == "Linker Options") {
1395     // If the llvm.linker.options named metadata exists, we assume that the
1396     // bitcode reader has upgraded the module flag. Otherwise the flag might
1397     // have been created by a client directly.
1398     Assert(M.getNamedMetadata("llvm.linker.options"),
1399            "'Linker Options' named metadata no longer supported");
1400   }
1401 }
1402
1403 /// Return true if this attribute kind only applies to functions.
1404 static bool isFuncOnlyAttr(Attribute::AttrKind Kind) {
1405   switch (Kind) {
1406   case Attribute::NoReturn:
1407   case Attribute::NoCfCheck:
1408   case Attribute::NoUnwind:
1409   case Attribute::NoInline:
1410   case Attribute::AlwaysInline:
1411   case Attribute::OptimizeForSize:
1412   case Attribute::StackProtect:
1413   case Attribute::StackProtectReq:
1414   case Attribute::StackProtectStrong:
1415   case Attribute::SafeStack:
1416   case Attribute::NoRedZone:
1417   case Attribute::NoImplicitFloat:
1418   case Attribute::Naked:
1419   case Attribute::InlineHint:
1420   case Attribute::StackAlignment:
1421   case Attribute::UWTable:
1422   case Attribute::NonLazyBind:
1423   case Attribute::ReturnsTwice:
1424   case Attribute::SanitizeAddress:
1425   case Attribute::SanitizeHWAddress:
1426   case Attribute::SanitizeThread:
1427   case Attribute::SanitizeMemory:
1428   case Attribute::MinSize:
1429   case Attribute::NoDuplicate:
1430   case Attribute::Builtin:
1431   case Attribute::NoBuiltin:
1432   case Attribute::Cold:
1433   case Attribute::OptimizeNone:
1434   case Attribute::JumpTable:
1435   case Attribute::Convergent:
1436   case Attribute::ArgMemOnly:
1437   case Attribute::NoRecurse:
1438   case Attribute::InaccessibleMemOnly:
1439   case Attribute::InaccessibleMemOrArgMemOnly:
1440   case Attribute::AllocSize:
1441   case Attribute::Speculatable:
1442   case Attribute::StrictFP:
1443     return true;
1444   default:
1445     break;
1446   }
1447   return false;
1448 }
1449
1450 /// Return true if this is a function attribute that can also appear on
1451 /// arguments.
1452 static bool isFuncOrArgAttr(Attribute::AttrKind Kind) {
1453   return Kind == Attribute::ReadOnly || Kind == Attribute::WriteOnly ||
1454          Kind == Attribute::ReadNone;
1455 }
1456
1457 void Verifier::verifyAttributeTypes(AttributeSet Attrs, bool IsFunction,
1458                                     const Value *V) {
1459   for (Attribute A : Attrs) {
1460     if (A.isStringAttribute())
1461       continue;
1462
1463     if (isFuncOnlyAttr(A.getKindAsEnum())) {
1464       if (!IsFunction) {
1465         CheckFailed("Attribute '" + A.getAsString() +
1466                         "' only applies to functions!",
1467                     V);
1468         return;
1469       }
1470     } else if (IsFunction && !isFuncOrArgAttr(A.getKindAsEnum())) {
1471       CheckFailed("Attribute '" + A.getAsString() +
1472                       "' does not apply to functions!",
1473                   V);
1474       return;
1475     }
1476   }
1477 }
1478
1479 // VerifyParameterAttrs - Check the given attributes for an argument or return
1480 // value of the specified type.  The value V is printed in error messages.
1481 void Verifier::verifyParameterAttrs(AttributeSet Attrs, Type *Ty,
1482                                     const Value *V) {
1483   if (!Attrs.hasAttributes())
1484     return;
1485
1486   verifyAttributeTypes(Attrs, /*IsFunction=*/false, V);
1487
1488   // Check for mutually incompatible attributes.  Only inreg is compatible with
1489   // sret.
1490   unsigned AttrCount = 0;
1491   AttrCount += Attrs.hasAttribute(Attribute::ByVal);
1492   AttrCount += Attrs.hasAttribute(Attribute::InAlloca);
1493   AttrCount += Attrs.hasAttribute(Attribute::StructRet) ||
1494                Attrs.hasAttribute(Attribute::InReg);
1495   AttrCount += Attrs.hasAttribute(Attribute::Nest);
1496   Assert(AttrCount <= 1, "Attributes 'byval', 'inalloca', 'inreg', 'nest', "
1497                          "and 'sret' are incompatible!",
1498          V);
1499
1500   Assert(!(Attrs.hasAttribute(Attribute::InAlloca) &&
1501            Attrs.hasAttribute(Attribute::ReadOnly)),
1502          "Attributes "
1503          "'inalloca and readonly' are incompatible!",
1504          V);
1505
1506   Assert(!(Attrs.hasAttribute(Attribute::StructRet) &&
1507            Attrs.hasAttribute(Attribute::Returned)),
1508          "Attributes "
1509          "'sret and returned' are incompatible!",
1510          V);
1511
1512   Assert(!(Attrs.hasAttribute(Attribute::ZExt) &&
1513            Attrs.hasAttribute(Attribute::SExt)),
1514          "Attributes "
1515          "'zeroext and signext' are incompatible!",
1516          V);
1517
1518   Assert(!(Attrs.hasAttribute(Attribute::ReadNone) &&
1519            Attrs.hasAttribute(Attribute::ReadOnly)),
1520          "Attributes "
1521          "'readnone and readonly' are incompatible!",
1522          V);
1523
1524   Assert(!(Attrs.hasAttribute(Attribute::ReadNone) &&
1525            Attrs.hasAttribute(Attribute::WriteOnly)),
1526          "Attributes "
1527          "'readnone and writeonly' are incompatible!",
1528          V);
1529
1530   Assert(!(Attrs.hasAttribute(Attribute::ReadOnly) &&
1531            Attrs.hasAttribute(Attribute::WriteOnly)),
1532          "Attributes "
1533          "'readonly and writeonly' are incompatible!",
1534          V);
1535
1536   Assert(!(Attrs.hasAttribute(Attribute::NoInline) &&
1537            Attrs.hasAttribute(Attribute::AlwaysInline)),
1538          "Attributes "
1539          "'noinline and alwaysinline' are incompatible!",
1540          V);
1541
1542   AttrBuilder IncompatibleAttrs = AttributeFuncs::typeIncompatible(Ty);
1543   Assert(!AttrBuilder(Attrs).overlaps(IncompatibleAttrs),
1544          "Wrong types for attribute: " +
1545              AttributeSet::get(Context, IncompatibleAttrs).getAsString(),
1546          V);
1547
1548   if (PointerType *PTy = dyn_cast<PointerType>(Ty)) {
1549     SmallPtrSet<Type*, 4> Visited;
1550     if (!PTy->getElementType()->isSized(&Visited)) {
1551       Assert(!Attrs.hasAttribute(Attribute::ByVal) &&
1552                  !Attrs.hasAttribute(Attribute::InAlloca),
1553              "Attributes 'byval' and 'inalloca' do not support unsized types!",
1554              V);
1555     }
1556     if (!isa<PointerType>(PTy->getElementType()))
1557       Assert(!Attrs.hasAttribute(Attribute::SwiftError),
1558              "Attribute 'swifterror' only applies to parameters "
1559              "with pointer to pointer type!",
1560              V);
1561   } else {
1562     Assert(!Attrs.hasAttribute(Attribute::ByVal),
1563            "Attribute 'byval' only applies to parameters with pointer type!",
1564            V);
1565     Assert(!Attrs.hasAttribute(Attribute::SwiftError),
1566            "Attribute 'swifterror' only applies to parameters "
1567            "with pointer type!",
1568            V);
1569   }
1570 }
1571
1572 // Check parameter attributes against a function type.
1573 // The value V is printed in error messages.
1574 void Verifier::verifyFunctionAttrs(FunctionType *FT, AttributeList Attrs,
1575                                    const Value *V) {
1576   if (Attrs.isEmpty())
1577     return;
1578
1579   bool SawNest = false;
1580   bool SawReturned = false;
1581   bool SawSRet = false;
1582   bool SawSwiftSelf = false;
1583   bool SawSwiftError = false;
1584
1585   // Verify return value attributes.
1586   AttributeSet RetAttrs = Attrs.getRetAttributes();
1587   Assert((!RetAttrs.hasAttribute(Attribute::ByVal) &&
1588           !RetAttrs.hasAttribute(Attribute::Nest) &&
1589           !RetAttrs.hasAttribute(Attribute::StructRet) &&
1590           !RetAttrs.hasAttribute(Attribute::NoCapture) &&
1591           !RetAttrs.hasAttribute(Attribute::Returned) &&
1592           !RetAttrs.hasAttribute(Attribute::InAlloca) &&
1593           !RetAttrs.hasAttribute(Attribute::SwiftSelf) &&
1594           !RetAttrs.hasAttribute(Attribute::SwiftError)),
1595          "Attributes 'byval', 'inalloca', 'nest', 'sret', 'nocapture', "
1596          "'returned', 'swiftself', and 'swifterror' do not apply to return "
1597          "values!",
1598          V);
1599   Assert((!RetAttrs.hasAttribute(Attribute::ReadOnly) &&
1600           !RetAttrs.hasAttribute(Attribute::WriteOnly) &&
1601           !RetAttrs.hasAttribute(Attribute::ReadNone)),
1602          "Attribute '" + RetAttrs.getAsString() +
1603              "' does not apply to function returns",
1604          V);
1605   verifyParameterAttrs(RetAttrs, FT->getReturnType(), V);
1606
1607   // Verify parameter attributes.
1608   for (unsigned i = 0, e = FT->getNumParams(); i != e; ++i) {
1609     Type *Ty = FT->getParamType(i);
1610     AttributeSet ArgAttrs = Attrs.getParamAttributes(i);
1611
1612     verifyParameterAttrs(ArgAttrs, Ty, V);
1613
1614     if (ArgAttrs.hasAttribute(Attribute::Nest)) {
1615       Assert(!SawNest, "More than one parameter has attribute nest!", V);
1616       SawNest = true;
1617     }
1618
1619     if (ArgAttrs.hasAttribute(Attribute::Returned)) {
1620       Assert(!SawReturned, "More than one parameter has attribute returned!",
1621              V);
1622       Assert(Ty->canLosslesslyBitCastTo(FT->getReturnType()),
1623              "Incompatible argument and return types for 'returned' attribute",
1624              V);
1625       SawReturned = true;
1626     }
1627
1628     if (ArgAttrs.hasAttribute(Attribute::StructRet)) {
1629       Assert(!SawSRet, "Cannot have multiple 'sret' parameters!", V);
1630       Assert(i == 0 || i == 1,
1631              "Attribute 'sret' is not on first or second parameter!", V);
1632       SawSRet = true;
1633     }
1634
1635     if (ArgAttrs.hasAttribute(Attribute::SwiftSelf)) {
1636       Assert(!SawSwiftSelf, "Cannot have multiple 'swiftself' parameters!", V);
1637       SawSwiftSelf = true;
1638     }
1639
1640     if (ArgAttrs.hasAttribute(Attribute::SwiftError)) {
1641       Assert(!SawSwiftError, "Cannot have multiple 'swifterror' parameters!",
1642              V);
1643       SawSwiftError = true;
1644     }
1645
1646     if (ArgAttrs.hasAttribute(Attribute::InAlloca)) {
1647       Assert(i == FT->getNumParams() - 1,
1648              "inalloca isn't on the last parameter!", V);
1649     }
1650   }
1651
1652   if (!Attrs.hasAttributes(AttributeList::FunctionIndex))
1653     return;
1654
1655   verifyAttributeTypes(Attrs.getFnAttributes(), /*IsFunction=*/true, V);
1656
1657   Assert(!(Attrs.hasFnAttribute(Attribute::ReadNone) &&
1658            Attrs.hasFnAttribute(Attribute::ReadOnly)),
1659          "Attributes 'readnone and readonly' are incompatible!", V);
1660
1661   Assert(!(Attrs.hasFnAttribute(Attribute::ReadNone) &&
1662            Attrs.hasFnAttribute(Attribute::WriteOnly)),
1663          "Attributes 'readnone and writeonly' are incompatible!", V);
1664
1665   Assert(!(Attrs.hasFnAttribute(Attribute::ReadOnly) &&
1666            Attrs.hasFnAttribute(Attribute::WriteOnly)),
1667          "Attributes 'readonly and writeonly' are incompatible!", V);
1668
1669   Assert(!(Attrs.hasFnAttribute(Attribute::ReadNone) &&
1670            Attrs.hasFnAttribute(Attribute::InaccessibleMemOrArgMemOnly)),
1671          "Attributes 'readnone and inaccessiblemem_or_argmemonly' are "
1672          "incompatible!",
1673          V);
1674
1675   Assert(!(Attrs.hasFnAttribute(Attribute::ReadNone) &&
1676            Attrs.hasFnAttribute(Attribute::InaccessibleMemOnly)),
1677          "Attributes 'readnone and inaccessiblememonly' are incompatible!", V);
1678
1679   Assert(!(Attrs.hasFnAttribute(Attribute::NoInline) &&
1680            Attrs.hasFnAttribute(Attribute::AlwaysInline)),
1681          "Attributes 'noinline and alwaysinline' are incompatible!", V);
1682
1683   if (Attrs.hasFnAttribute(Attribute::OptimizeNone)) {
1684     Assert(Attrs.hasFnAttribute(Attribute::NoInline),
1685            "Attribute 'optnone' requires 'noinline'!", V);
1686
1687     Assert(!Attrs.hasFnAttribute(Attribute::OptimizeForSize),
1688            "Attributes 'optsize and optnone' are incompatible!", V);
1689
1690     Assert(!Attrs.hasFnAttribute(Attribute::MinSize),
1691            "Attributes 'minsize and optnone' are incompatible!", V);
1692   }
1693
1694   if (Attrs.hasFnAttribute(Attribute::JumpTable)) {
1695     const GlobalValue *GV = cast<GlobalValue>(V);
1696     Assert(GV->hasGlobalUnnamedAddr(),
1697            "Attribute 'jumptable' requires 'unnamed_addr'", V);
1698   }
1699
1700   if (Attrs.hasFnAttribute(Attribute::AllocSize)) {
1701     std::pair<unsigned, Optional<unsigned>> Args =
1702         Attrs.getAllocSizeArgs(AttributeList::FunctionIndex);
1703
1704     auto CheckParam = [&](StringRef Name, unsigned ParamNo) {
1705       if (ParamNo >= FT->getNumParams()) {
1706         CheckFailed("'allocsize' " + Name + " argument is out of bounds", V);
1707         return false;
1708       }
1709
1710       if (!FT->getParamType(ParamNo)->isIntegerTy()) {
1711         CheckFailed("'allocsize' " + Name +
1712                         " argument must refer to an integer parameter",
1713                     V);
1714         return false;
1715       }
1716
1717       return true;
1718     };
1719
1720     if (!CheckParam("element size", Args.first))
1721       return;
1722
1723     if (Args.second && !CheckParam("number of elements", *Args.second))
1724       return;
1725   }
1726 }
1727
1728 void Verifier::verifyFunctionMetadata(
1729     ArrayRef<std::pair<unsigned, MDNode *>> MDs) {
1730   for (const auto &Pair : MDs) {
1731     if (Pair.first == LLVMContext::MD_prof) {
1732       MDNode *MD = Pair.second;
1733       Assert(MD->getNumOperands() >= 2,
1734              "!prof annotations should have no less than 2 operands", MD);
1735
1736       // Check first operand.
1737       Assert(MD->getOperand(0) != nullptr, "first operand should not be null",
1738              MD);
1739       Assert(isa<MDString>(MD->getOperand(0)),
1740              "expected string with name of the !prof annotation", MD);
1741       MDString *MDS = cast<MDString>(MD->getOperand(0));
1742       StringRef ProfName = MDS->getString();
1743       Assert(ProfName.equals("function_entry_count") ||
1744                  ProfName.equals("synthetic_function_entry_count"),
1745              "first operand should be 'function_entry_count'"
1746              " or 'synthetic_function_entry_count'",
1747              MD);
1748
1749       // Check second operand.
1750       Assert(MD->getOperand(1) != nullptr, "second operand should not be null",
1751              MD);
1752       Assert(isa<ConstantAsMetadata>(MD->getOperand(1)),
1753              "expected integer argument to function_entry_count", MD);
1754     }
1755   }
1756 }
1757
1758 void Verifier::visitConstantExprsRecursively(const Constant *EntryC) {
1759   if (!ConstantExprVisited.insert(EntryC).second)
1760     return;
1761
1762   SmallVector<const Constant *, 16> Stack;
1763   Stack.push_back(EntryC);
1764
1765   while (!Stack.empty()) {
1766     const Constant *C = Stack.pop_back_val();
1767
1768     // Check this constant expression.
1769     if (const auto *CE = dyn_cast<ConstantExpr>(C))
1770       visitConstantExpr(CE);
1771
1772     if (const auto *GV = dyn_cast<GlobalValue>(C)) {
1773       // Global Values get visited separately, but we do need to make sure
1774       // that the global value is in the correct module
1775       Assert(GV->getParent() == &M, "Referencing global in another module!",
1776              EntryC, &M, GV, GV->getParent());
1777       continue;
1778     }
1779
1780     // Visit all sub-expressions.
1781     for (const Use &U : C->operands()) {
1782       const auto *OpC = dyn_cast<Constant>(U);
1783       if (!OpC)
1784         continue;
1785       if (!ConstantExprVisited.insert(OpC).second)
1786         continue;
1787       Stack.push_back(OpC);
1788     }
1789   }
1790 }
1791
1792 void Verifier::visitConstantExpr(const ConstantExpr *CE) {
1793   if (CE->getOpcode() == Instruction::BitCast)
1794     Assert(CastInst::castIsValid(Instruction::BitCast, CE->getOperand(0),
1795                                  CE->getType()),
1796            "Invalid bitcast", CE);
1797
1798   if (CE->getOpcode() == Instruction::IntToPtr ||
1799       CE->getOpcode() == Instruction::PtrToInt) {
1800     auto *PtrTy = CE->getOpcode() == Instruction::IntToPtr
1801                       ? CE->getType()
1802                       : CE->getOperand(0)->getType();
1803     StringRef Msg = CE->getOpcode() == Instruction::IntToPtr
1804                         ? "inttoptr not supported for non-integral pointers"
1805                         : "ptrtoint not supported for non-integral pointers";
1806     Assert(
1807         !DL.isNonIntegralPointerType(cast<PointerType>(PtrTy->getScalarType())),
1808         Msg);
1809   }
1810 }
1811
1812 bool Verifier::verifyAttributeCount(AttributeList Attrs, unsigned Params) {
1813   // There shouldn't be more attribute sets than there are parameters plus the
1814   // function and return value.
1815   return Attrs.getNumAttrSets() <= Params + 2;
1816 }
1817
1818 /// Verify that statepoint intrinsic is well formed.
1819 void Verifier::verifyStatepoint(ImmutableCallSite CS) {
1820   assert(CS.getCalledFunction() &&
1821          CS.getCalledFunction()->getIntrinsicID() ==
1822            Intrinsic::experimental_gc_statepoint);
1823
1824   const Instruction &CI = *CS.getInstruction();
1825
1826   Assert(!CS.doesNotAccessMemory() && !CS.onlyReadsMemory() &&
1827          !CS.onlyAccessesArgMemory(),
1828          "gc.statepoint must read and write all memory to preserve "
1829          "reordering restrictions required by safepoint semantics",
1830          &CI);
1831
1832   const Value *IDV = CS.getArgument(0);
1833   Assert(isa<ConstantInt>(IDV), "gc.statepoint ID must be a constant integer",
1834          &CI);
1835
1836   const Value *NumPatchBytesV = CS.getArgument(1);
1837   Assert(isa<ConstantInt>(NumPatchBytesV),
1838          "gc.statepoint number of patchable bytes must be a constant integer",
1839          &CI);
1840   const int64_t NumPatchBytes =
1841       cast<ConstantInt>(NumPatchBytesV)->getSExtValue();
1842   assert(isInt<32>(NumPatchBytes) && "NumPatchBytesV is an i32!");
1843   Assert(NumPatchBytes >= 0, "gc.statepoint number of patchable bytes must be "
1844                              "positive",
1845          &CI);
1846
1847   const Value *Target = CS.getArgument(2);
1848   auto *PT = dyn_cast<PointerType>(Target->getType());
1849   Assert(PT && PT->getElementType()->isFunctionTy(),
1850          "gc.statepoint callee must be of function pointer type", &CI, Target);
1851   FunctionType *TargetFuncType = cast<FunctionType>(PT->getElementType());
1852
1853   const Value *NumCallArgsV = CS.getArgument(3);
1854   Assert(isa<ConstantInt>(NumCallArgsV),
1855          "gc.statepoint number of arguments to underlying call "
1856          "must be constant integer",
1857          &CI);
1858   const int NumCallArgs = cast<ConstantInt>(NumCallArgsV)->getZExtValue();
1859   Assert(NumCallArgs >= 0,
1860          "gc.statepoint number of arguments to underlying call "
1861          "must be positive",
1862          &CI);
1863   const int NumParams = (int)TargetFuncType->getNumParams();
1864   if (TargetFuncType->isVarArg()) {
1865     Assert(NumCallArgs >= NumParams,
1866            "gc.statepoint mismatch in number of vararg call args", &CI);
1867
1868     // TODO: Remove this limitation
1869     Assert(TargetFuncType->getReturnType()->isVoidTy(),
1870            "gc.statepoint doesn't support wrapping non-void "
1871            "vararg functions yet",
1872            &CI);
1873   } else
1874     Assert(NumCallArgs == NumParams,
1875            "gc.statepoint mismatch in number of call args", &CI);
1876
1877   const Value *FlagsV = CS.getArgument(4);
1878   Assert(isa<ConstantInt>(FlagsV),
1879          "gc.statepoint flags must be constant integer", &CI);
1880   const uint64_t Flags = cast<ConstantInt>(FlagsV)->getZExtValue();
1881   Assert((Flags & ~(uint64_t)StatepointFlags::MaskAll) == 0,
1882          "unknown flag used in gc.statepoint flags argument", &CI);
1883
1884   // Verify that the types of the call parameter arguments match
1885   // the type of the wrapped callee.
1886   for (int i = 0; i < NumParams; i++) {
1887     Type *ParamType = TargetFuncType->getParamType(i);
1888     Type *ArgType = CS.getArgument(5 + i)->getType();
1889     Assert(ArgType == ParamType,
1890            "gc.statepoint call argument does not match wrapped "
1891            "function type",
1892            &CI);
1893   }
1894
1895   const int EndCallArgsInx = 4 + NumCallArgs;
1896
1897   const Value *NumTransitionArgsV = CS.getArgument(EndCallArgsInx+1);
1898   Assert(isa<ConstantInt>(NumTransitionArgsV),
1899          "gc.statepoint number of transition arguments "
1900          "must be constant integer",
1901          &CI);
1902   const int NumTransitionArgs =
1903       cast<ConstantInt>(NumTransitionArgsV)->getZExtValue();
1904   Assert(NumTransitionArgs >= 0,
1905          "gc.statepoint number of transition arguments must be positive", &CI);
1906   const int EndTransitionArgsInx = EndCallArgsInx + 1 + NumTransitionArgs;
1907
1908   const Value *NumDeoptArgsV = CS.getArgument(EndTransitionArgsInx+1);
1909   Assert(isa<ConstantInt>(NumDeoptArgsV),
1910          "gc.statepoint number of deoptimization arguments "
1911          "must be constant integer",
1912          &CI);
1913   const int NumDeoptArgs = cast<ConstantInt>(NumDeoptArgsV)->getZExtValue();
1914   Assert(NumDeoptArgs >= 0, "gc.statepoint number of deoptimization arguments "
1915                             "must be positive",
1916          &CI);
1917
1918   const int ExpectedNumArgs =
1919       7 + NumCallArgs + NumTransitionArgs + NumDeoptArgs;
1920   Assert(ExpectedNumArgs <= (int)CS.arg_size(),
1921          "gc.statepoint too few arguments according to length fields", &CI);
1922
1923   // Check that the only uses of this gc.statepoint are gc.result or
1924   // gc.relocate calls which are tied to this statepoint and thus part
1925   // of the same statepoint sequence
1926   for (const User *U : CI.users()) {
1927     const CallInst *Call = dyn_cast<const CallInst>(U);
1928     Assert(Call, "illegal use of statepoint token", &CI, U);
1929     if (!Call) continue;
1930     Assert(isa<GCRelocateInst>(Call) || isa<GCResultInst>(Call),
1931            "gc.result or gc.relocate are the only value uses "
1932            "of a gc.statepoint",
1933            &CI, U);
1934     if (isa<GCResultInst>(Call)) {
1935       Assert(Call->getArgOperand(0) == &CI,
1936              "gc.result connected to wrong gc.statepoint", &CI, Call);
1937     } else if (isa<GCRelocateInst>(Call)) {
1938       Assert(Call->getArgOperand(0) == &CI,
1939              "gc.relocate connected to wrong gc.statepoint", &CI, Call);
1940     }
1941   }
1942
1943   // Note: It is legal for a single derived pointer to be listed multiple
1944   // times.  It's non-optimal, but it is legal.  It can also happen after
1945   // insertion if we strip a bitcast away.
1946   // Note: It is really tempting to check that each base is relocated and
1947   // that a derived pointer is never reused as a base pointer.  This turns
1948   // out to be problematic since optimizations run after safepoint insertion
1949   // can recognize equality properties that the insertion logic doesn't know
1950   // about.  See example statepoint.ll in the verifier subdirectory
1951 }
1952
1953 void Verifier::verifyFrameRecoverIndices() {
1954   for (auto &Counts : FrameEscapeInfo) {
1955     Function *F = Counts.first;
1956     unsigned EscapedObjectCount = Counts.second.first;
1957     unsigned MaxRecoveredIndex = Counts.second.second;
1958     Assert(MaxRecoveredIndex <= EscapedObjectCount,
1959            "all indices passed to llvm.localrecover must be less than the "
1960            "number of arguments passed ot llvm.localescape in the parent "
1961            "function",
1962            F);
1963   }
1964 }
1965
1966 static Instruction *getSuccPad(TerminatorInst *Terminator) {
1967   BasicBlock *UnwindDest;
1968   if (auto *II = dyn_cast<InvokeInst>(Terminator))
1969     UnwindDest = II->getUnwindDest();
1970   else if (auto *CSI = dyn_cast<CatchSwitchInst>(Terminator))
1971     UnwindDest = CSI->getUnwindDest();
1972   else
1973     UnwindDest = cast<CleanupReturnInst>(Terminator)->getUnwindDest();
1974   return UnwindDest->getFirstNonPHI();
1975 }
1976
1977 void Verifier::verifySiblingFuncletUnwinds() {
1978   SmallPtrSet<Instruction *, 8> Visited;
1979   SmallPtrSet<Instruction *, 8> Active;
1980   for (const auto &Pair : SiblingFuncletInfo) {
1981     Instruction *PredPad = Pair.first;
1982     if (Visited.count(PredPad))
1983       continue;
1984     Active.insert(PredPad);
1985     TerminatorInst *Terminator = Pair.second;
1986     do {
1987       Instruction *SuccPad = getSuccPad(Terminator);
1988       if (Active.count(SuccPad)) {
1989         // Found a cycle; report error
1990         Instruction *CyclePad = SuccPad;
1991         SmallVector<Instruction *, 8> CycleNodes;
1992         do {
1993           CycleNodes.push_back(CyclePad);
1994           TerminatorInst *CycleTerminator = SiblingFuncletInfo[CyclePad];
1995           if (CycleTerminator != CyclePad)
1996             CycleNodes.push_back(CycleTerminator);
1997           CyclePad = getSuccPad(CycleTerminator);
1998         } while (CyclePad != SuccPad);
1999         Assert(false, "EH pads can't handle each other's exceptions",
2000                ArrayRef<Instruction *>(CycleNodes));
2001       }
2002       // Don't re-walk a node we've already checked
2003       if (!Visited.insert(SuccPad).second)
2004         break;
2005       // Walk to this successor if it has a map entry.
2006       PredPad = SuccPad;
2007       auto TermI = SiblingFuncletInfo.find(PredPad);
2008       if (TermI == SiblingFuncletInfo.end())
2009         break;
2010       Terminator = TermI->second;
2011       Active.insert(PredPad);
2012     } while (true);
2013     // Each node only has one successor, so we've walked all the active
2014     // nodes' successors.
2015     Active.clear();
2016   }
2017 }
2018
2019 // visitFunction - Verify that a function is ok.
2020 //
2021 void Verifier::visitFunction(const Function &F) {
2022   visitGlobalValue(F);
2023
2024   // Check function arguments.
2025   FunctionType *FT = F.getFunctionType();
2026   unsigned NumArgs = F.arg_size();
2027
2028   Assert(&Context == &F.getContext(),
2029          "Function context does not match Module context!", &F);
2030
2031   Assert(!F.hasCommonLinkage(), "Functions may not have common linkage", &F);
2032   Assert(FT->getNumParams() == NumArgs,
2033          "# formal arguments must match # of arguments for function type!", &F,
2034          FT);
2035   Assert(F.getReturnType()->isFirstClassType() ||
2036              F.getReturnType()->isVoidTy() || F.getReturnType()->isStructTy(),
2037          "Functions cannot return aggregate values!", &F);
2038
2039   Assert(!F.hasStructRetAttr() || F.getReturnType()->isVoidTy(),
2040          "Invalid struct return type!", &F);
2041
2042   AttributeList Attrs = F.getAttributes();
2043
2044   Assert(verifyAttributeCount(Attrs, FT->getNumParams()),
2045          "Attribute after last parameter!", &F);
2046
2047   // Check function attributes.
2048   verifyFunctionAttrs(FT, Attrs, &F);
2049
2050   // On function declarations/definitions, we do not support the builtin
2051   // attribute. We do not check this in VerifyFunctionAttrs since that is
2052   // checking for Attributes that can/can not ever be on functions.
2053   Assert(!Attrs.hasFnAttribute(Attribute::Builtin),
2054          "Attribute 'builtin' can only be applied to a callsite.", &F);
2055
2056   // Check that this function meets the restrictions on this calling convention.
2057   // Sometimes varargs is used for perfectly forwarding thunks, so some of these
2058   // restrictions can be lifted.
2059   switch (F.getCallingConv()) {
2060   default:
2061   case CallingConv::C:
2062     break;
2063   case CallingConv::AMDGPU_KERNEL:
2064   case CallingConv::SPIR_KERNEL:
2065     Assert(F.getReturnType()->isVoidTy(),
2066            "Calling convention requires void return type", &F);
2067     LLVM_FALLTHROUGH;
2068   case CallingConv::AMDGPU_VS:
2069   case CallingConv::AMDGPU_HS:
2070   case CallingConv::AMDGPU_GS:
2071   case CallingConv::AMDGPU_PS:
2072   case CallingConv::AMDGPU_CS:
2073     Assert(!F.hasStructRetAttr(),
2074            "Calling convention does not allow sret", &F);
2075     LLVM_FALLTHROUGH;
2076   case CallingConv::Fast:
2077   case CallingConv::Cold:
2078   case CallingConv::Intel_OCL_BI:
2079   case CallingConv::PTX_Kernel:
2080   case CallingConv::PTX_Device:
2081     Assert(!F.isVarArg(), "Calling convention does not support varargs or "
2082                           "perfect forwarding!",
2083            &F);
2084     break;
2085   }
2086
2087   bool isLLVMdotName = F.getName().size() >= 5 &&
2088                        F.getName().substr(0, 5) == "llvm.";
2089
2090   // Check that the argument values match the function type for this function...
2091   unsigned i = 0;
2092   for (const Argument &Arg : F.args()) {
2093     Assert(Arg.getType() == FT->getParamType(i),
2094            "Argument value does not match function argument type!", &Arg,
2095            FT->getParamType(i));
2096     Assert(Arg.getType()->isFirstClassType(),
2097            "Function arguments must have first-class types!", &Arg);
2098     if (!isLLVMdotName) {
2099       Assert(!Arg.getType()->isMetadataTy(),
2100              "Function takes metadata but isn't an intrinsic", &Arg, &F);
2101       Assert(!Arg.getType()->isTokenTy(),
2102              "Function takes token but isn't an intrinsic", &Arg, &F);
2103     }
2104
2105     // Check that swifterror argument is only used by loads and stores.
2106     if (Attrs.hasParamAttribute(i, Attribute::SwiftError)) {
2107       verifySwiftErrorValue(&Arg);
2108     }
2109     ++i;
2110   }
2111
2112   if (!isLLVMdotName)
2113     Assert(!F.getReturnType()->isTokenTy(),
2114            "Functions returns a token but isn't an intrinsic", &F);
2115
2116   // Get the function metadata attachments.
2117   SmallVector<std::pair<unsigned, MDNode *>, 4> MDs;
2118   F.getAllMetadata(MDs);
2119   assert(F.hasMetadata() != MDs.empty() && "Bit out-of-sync");
2120   verifyFunctionMetadata(MDs);
2121
2122   // Check validity of the personality function
2123   if (F.hasPersonalityFn()) {
2124     auto *Per = dyn_cast<Function>(F.getPersonalityFn()->stripPointerCasts());
2125     if (Per)
2126       Assert(Per->getParent() == F.getParent(),
2127              "Referencing personality function in another module!",
2128              &F, F.getParent(), Per, Per->getParent());
2129   }
2130
2131   if (F.isMaterializable()) {
2132     // Function has a body somewhere we can't see.
2133     Assert(MDs.empty(), "unmaterialized function cannot have metadata", &F,
2134            MDs.empty() ? nullptr : MDs.front().second);
2135   } else if (F.isDeclaration()) {
2136     for (const auto &I : MDs) {
2137       AssertDI(I.first != LLVMContext::MD_dbg,
2138                "function declaration may not have a !dbg attachment", &F);
2139       Assert(I.first != LLVMContext::MD_prof,
2140              "function declaration may not have a !prof attachment", &F);
2141
2142       // Verify the metadata itself.
2143       visitMDNode(*I.second);
2144     }
2145     Assert(!F.hasPersonalityFn(),
2146            "Function declaration shouldn't have a personality routine", &F);
2147   } else {
2148     // Verify that this function (which has a body) is not named "llvm.*".  It
2149     // is not legal to define intrinsics.
2150     Assert(!isLLVMdotName, "llvm intrinsics cannot be defined!", &F);
2151
2152     // Check the entry node
2153     const BasicBlock *Entry = &F.getEntryBlock();
2154     Assert(pred_empty(Entry),
2155            "Entry block to function must not have predecessors!", Entry);
2156
2157     // The address of the entry block cannot be taken, unless it is dead.
2158     if (Entry->hasAddressTaken()) {
2159       Assert(!BlockAddress::lookup(Entry)->isConstantUsed(),
2160              "blockaddress may not be used with the entry block!", Entry);
2161     }
2162
2163     unsigned NumDebugAttachments = 0, NumProfAttachments = 0;
2164     // Visit metadata attachments.
2165     for (const auto &I : MDs) {
2166       // Verify that the attachment is legal.
2167       switch (I.first) {
2168       default:
2169         break;
2170       case LLVMContext::MD_dbg: {
2171         ++NumDebugAttachments;
2172         AssertDI(NumDebugAttachments == 1,
2173                  "function must have a single !dbg attachment", &F, I.second);
2174         AssertDI(isa<DISubprogram>(I.second),
2175                  "function !dbg attachment must be a subprogram", &F, I.second);
2176         auto *SP = cast<DISubprogram>(I.second);
2177         const Function *&AttachedTo = DISubprogramAttachments[SP];
2178         AssertDI(!AttachedTo || AttachedTo == &F,
2179                  "DISubprogram attached to more than one function", SP, &F);
2180         AttachedTo = &F;
2181         break;
2182       }
2183       case LLVMContext::MD_prof:
2184         ++NumProfAttachments;
2185         Assert(NumProfAttachments == 1,
2186                "function must have a single !prof attachment", &F, I.second);
2187         break;
2188       }
2189
2190       // Verify the metadata itself.
2191       visitMDNode(*I.second);
2192     }
2193   }
2194
2195   // If this function is actually an intrinsic, verify that it is only used in
2196   // direct call/invokes, never having its "address taken".
2197   // Only do this if the module is materialized, otherwise we don't have all the
2198   // uses.
2199   if (F.getIntrinsicID() && F.getParent()->isMaterialized()) {
2200     const User *U;
2201     if (F.hasAddressTaken(&U))
2202       Assert(false, "Invalid user of intrinsic instruction!", U);
2203   }
2204
2205   auto *N = F.getSubprogram();
2206   HasDebugInfo = (N != nullptr);
2207   if (!HasDebugInfo)
2208     return;
2209
2210   // Check that all !dbg attachments lead to back to N (or, at least, another
2211   // subprogram that describes the same function).
2212   //
2213   // FIXME: Check this incrementally while visiting !dbg attachments.
2214   // FIXME: Only check when N is the canonical subprogram for F.
2215   SmallPtrSet<const MDNode *, 32> Seen;
2216   for (auto &BB : F)
2217     for (auto &I : BB) {
2218       // Be careful about using DILocation here since we might be dealing with
2219       // broken code (this is the Verifier after all).
2220       DILocation *DL =
2221           dyn_cast_or_null<DILocation>(I.getDebugLoc().getAsMDNode());
2222       if (!DL)
2223         continue;
2224       if (!Seen.insert(DL).second)
2225         continue;
2226
2227       DILocalScope *Scope = DL->getInlinedAtScope();
2228       if (Scope && !Seen.insert(Scope).second)
2229         continue;
2230
2231       DISubprogram *SP = Scope ? Scope->getSubprogram() : nullptr;
2232
2233       // Scope and SP could be the same MDNode and we don't want to skip
2234       // validation in that case
2235       if (SP && ((Scope != SP) && !Seen.insert(SP).second))
2236         continue;
2237
2238       // FIXME: Once N is canonical, check "SP == &N".
2239       AssertDI(SP->describes(&F),
2240                "!dbg attachment points at wrong subprogram for function", N, &F,
2241                &I, DL, Scope, SP);
2242     }
2243 }
2244
2245 // verifyBasicBlock - Verify that a basic block is well formed...
2246 //
2247 void Verifier::visitBasicBlock(BasicBlock &BB) {
2248   InstsInThisBlock.clear();
2249
2250   // Ensure that basic blocks have terminators!
2251   Assert(BB.getTerminator(), "Basic Block does not have terminator!", &BB);
2252
2253   // Check constraints that this basic block imposes on all of the PHI nodes in
2254   // it.
2255   if (isa<PHINode>(BB.front())) {
2256     SmallVector<BasicBlock*, 8> Preds(pred_begin(&BB), pred_end(&BB));
2257     SmallVector<std::pair<BasicBlock*, Value*>, 8> Values;
2258     std::sort(Preds.begin(), Preds.end());
2259     for (const PHINode &PN : BB.phis()) {
2260       // Ensure that PHI nodes have at least one entry!
2261       Assert(PN.getNumIncomingValues() != 0,
2262              "PHI nodes must have at least one entry.  If the block is dead, "
2263              "the PHI should be removed!",
2264              &PN);
2265       Assert(PN.getNumIncomingValues() == Preds.size(),
2266              "PHINode should have one entry for each predecessor of its "
2267              "parent basic block!",
2268              &PN);
2269
2270       // Get and sort all incoming values in the PHI node...
2271       Values.clear();
2272       Values.reserve(PN.getNumIncomingValues());
2273       for (unsigned i = 0, e = PN.getNumIncomingValues(); i != e; ++i)
2274         Values.push_back(
2275             std::make_pair(PN.getIncomingBlock(i), PN.getIncomingValue(i)));
2276       std::sort(Values.begin(), Values.end());
2277
2278       for (unsigned i = 0, e = Values.size(); i != e; ++i) {
2279         // Check to make sure that if there is more than one entry for a
2280         // particular basic block in this PHI node, that the incoming values are
2281         // all identical.
2282         //
2283         Assert(i == 0 || Values[i].first != Values[i - 1].first ||
2284                    Values[i].second == Values[i - 1].second,
2285                "PHI node has multiple entries for the same basic block with "
2286                "different incoming values!",
2287                &PN, Values[i].first, Values[i].second, Values[i - 1].second);
2288
2289         // Check to make sure that the predecessors and PHI node entries are
2290         // matched up.
2291         Assert(Values[i].first == Preds[i],
2292                "PHI node entries do not match predecessors!", &PN,
2293                Values[i].first, Preds[i]);
2294       }
2295     }
2296   }
2297
2298   // Check that all instructions have their parent pointers set up correctly.
2299   for (auto &I : BB)
2300   {
2301     Assert(I.getParent() == &BB, "Instruction has bogus parent pointer!");
2302   }
2303 }
2304
2305 void Verifier::visitTerminatorInst(TerminatorInst &I) {
2306   // Ensure that terminators only exist at the end of the basic block.
2307   Assert(&I == I.getParent()->getTerminator(),
2308          "Terminator found in the middle of a basic block!", I.getParent());
2309   visitInstruction(I);
2310 }
2311
2312 void Verifier::visitBranchInst(BranchInst &BI) {
2313   if (BI.isConditional()) {
2314     Assert(BI.getCondition()->getType()->isIntegerTy(1),
2315            "Branch condition is not 'i1' type!", &BI, BI.getCondition());
2316   }
2317   visitTerminatorInst(BI);
2318 }
2319
2320 void Verifier::visitReturnInst(ReturnInst &RI) {
2321   Function *F = RI.getParent()->getParent();
2322   unsigned N = RI.getNumOperands();
2323   if (F->getReturnType()->isVoidTy())
2324     Assert(N == 0,
2325            "Found return instr that returns non-void in Function of void "
2326            "return type!",
2327            &RI, F->getReturnType());
2328   else
2329     Assert(N == 1 && F->getReturnType() == RI.getOperand(0)->getType(),
2330            "Function return type does not match operand "
2331            "type of return inst!",
2332            &RI, F->getReturnType());
2333
2334   // Check to make sure that the return value has necessary properties for
2335   // terminators...
2336   visitTerminatorInst(RI);
2337 }
2338
2339 void Verifier::visitSwitchInst(SwitchInst &SI) {
2340   // Check to make sure that all of the constants in the switch instruction
2341   // have the same type as the switched-on value.
2342   Type *SwitchTy = SI.getCondition()->getType();
2343   SmallPtrSet<ConstantInt*, 32> Constants;
2344   for (auto &Case : SI.cases()) {
2345     Assert(Case.getCaseValue()->getType() == SwitchTy,
2346            "Switch constants must all be same type as switch value!", &SI);
2347     Assert(Constants.insert(Case.getCaseValue()).second,
2348            "Duplicate integer as switch case", &SI, Case.getCaseValue());
2349   }
2350
2351   visitTerminatorInst(SI);
2352 }
2353
2354 void Verifier::visitIndirectBrInst(IndirectBrInst &BI) {
2355   Assert(BI.getAddress()->getType()->isPointerTy(),
2356          "Indirectbr operand must have pointer type!", &BI);
2357   for (unsigned i = 0, e = BI.getNumDestinations(); i != e; ++i)
2358     Assert(BI.getDestination(i)->getType()->isLabelTy(),
2359            "Indirectbr destinations must all have pointer type!", &BI);
2360
2361   visitTerminatorInst(BI);
2362 }
2363
2364 void Verifier::visitSelectInst(SelectInst &SI) {
2365   Assert(!SelectInst::areInvalidOperands(SI.getOperand(0), SI.getOperand(1),
2366                                          SI.getOperand(2)),
2367          "Invalid operands for select instruction!", &SI);
2368
2369   Assert(SI.getTrueValue()->getType() == SI.getType(),
2370          "Select values must have same type as select instruction!", &SI);
2371   visitInstruction(SI);
2372 }
2373
2374 /// visitUserOp1 - User defined operators shouldn't live beyond the lifetime of
2375 /// a pass, if any exist, it's an error.
2376 ///
2377 void Verifier::visitUserOp1(Instruction &I) {
2378   Assert(false, "User-defined operators should not live outside of a pass!", &I);
2379 }
2380
2381 void Verifier::visitTruncInst(TruncInst &I) {
2382   // Get the source and destination types
2383   Type *SrcTy = I.getOperand(0)->getType();
2384   Type *DestTy = I.getType();
2385
2386   // Get the size of the types in bits, we'll need this later
2387   unsigned SrcBitSize = SrcTy->getScalarSizeInBits();
2388   unsigned DestBitSize = DestTy->getScalarSizeInBits();
2389
2390   Assert(SrcTy->isIntOrIntVectorTy(), "Trunc only operates on integer", &I);
2391   Assert(DestTy->isIntOrIntVectorTy(), "Trunc only produces integer", &I);
2392   Assert(SrcTy->isVectorTy() == DestTy->isVectorTy(),
2393          "trunc source and destination must both be a vector or neither", &I);
2394   Assert(SrcBitSize > DestBitSize, "DestTy too big for Trunc", &I);
2395
2396   visitInstruction(I);
2397 }
2398
2399 void Verifier::visitZExtInst(ZExtInst &I) {
2400   // Get the source and destination types
2401   Type *SrcTy = I.getOperand(0)->getType();
2402   Type *DestTy = I.getType();
2403
2404   // Get the size of the types in bits, we'll need this later
2405   Assert(SrcTy->isIntOrIntVectorTy(), "ZExt only operates on integer", &I);
2406   Assert(DestTy->isIntOrIntVectorTy(), "ZExt only produces an integer", &I);
2407   Assert(SrcTy->isVectorTy() == DestTy->isVectorTy(),
2408          "zext source and destination must both be a vector or neither", &I);
2409   unsigned SrcBitSize = SrcTy->getScalarSizeInBits();
2410   unsigned DestBitSize = DestTy->getScalarSizeInBits();
2411
2412   Assert(SrcBitSize < DestBitSize, "Type too small for ZExt", &I);
2413
2414   visitInstruction(I);
2415 }
2416
2417 void Verifier::visitSExtInst(SExtInst &I) {
2418   // Get the source and destination types
2419   Type *SrcTy = I.getOperand(0)->getType();
2420   Type *DestTy = I.getType();
2421
2422   // Get the size of the types in bits, we'll need this later
2423   unsigned SrcBitSize = SrcTy->getScalarSizeInBits();
2424   unsigned DestBitSize = DestTy->getScalarSizeInBits();
2425
2426   Assert(SrcTy->isIntOrIntVectorTy(), "SExt only operates on integer", &I);
2427   Assert(DestTy->isIntOrIntVectorTy(), "SExt only produces an integer", &I);
2428   Assert(SrcTy->isVectorTy() == DestTy->isVectorTy(),
2429          "sext source and destination must both be a vector or neither", &I);
2430   Assert(SrcBitSize < DestBitSize, "Type too small for SExt", &I);
2431
2432   visitInstruction(I);
2433 }
2434
2435 void Verifier::visitFPTruncInst(FPTruncInst &I) {
2436   // Get the source and destination types
2437   Type *SrcTy = I.getOperand(0)->getType();
2438   Type *DestTy = I.getType();
2439   // Get the size of the types in bits, we'll need this later
2440   unsigned SrcBitSize = SrcTy->getScalarSizeInBits();
2441   unsigned DestBitSize = DestTy->getScalarSizeInBits();
2442
2443   Assert(SrcTy->isFPOrFPVectorTy(), "FPTrunc only operates on FP", &I);
2444   Assert(DestTy->isFPOrFPVectorTy(), "FPTrunc only produces an FP", &I);
2445   Assert(SrcTy->isVectorTy() == DestTy->isVectorTy(),
2446          "fptrunc source and destination must both be a vector or neither", &I);
2447   Assert(SrcBitSize > DestBitSize, "DestTy too big for FPTrunc", &I);
2448
2449   visitInstruction(I);
2450 }
2451
2452 void Verifier::visitFPExtInst(FPExtInst &I) {
2453   // Get the source and destination types
2454   Type *SrcTy = I.getOperand(0)->getType();
2455   Type *DestTy = I.getType();
2456
2457   // Get the size of the types in bits, we'll need this later
2458   unsigned SrcBitSize = SrcTy->getScalarSizeInBits();
2459   unsigned DestBitSize = DestTy->getScalarSizeInBits();
2460
2461   Assert(SrcTy->isFPOrFPVectorTy(), "FPExt only operates on FP", &I);
2462   Assert(DestTy->isFPOrFPVectorTy(), "FPExt only produces an FP", &I);
2463   Assert(SrcTy->isVectorTy() == DestTy->isVectorTy(),
2464          "fpext source and destination must both be a vector or neither", &I);
2465   Assert(SrcBitSize < DestBitSize, "DestTy too small for FPExt", &I);
2466
2467   visitInstruction(I);
2468 }
2469
2470 void Verifier::visitUIToFPInst(UIToFPInst &I) {
2471   // Get the source and destination types
2472   Type *SrcTy = I.getOperand(0)->getType();
2473   Type *DestTy = I.getType();
2474
2475   bool SrcVec = SrcTy->isVectorTy();
2476   bool DstVec = DestTy->isVectorTy();
2477
2478   Assert(SrcVec == DstVec,
2479          "UIToFP source and dest must both be vector or scalar", &I);
2480   Assert(SrcTy->isIntOrIntVectorTy(),
2481          "UIToFP source must be integer or integer vector", &I);
2482   Assert(DestTy->isFPOrFPVectorTy(), "UIToFP result must be FP or FP vector",
2483          &I);
2484
2485   if (SrcVec && DstVec)
2486     Assert(cast<VectorType>(SrcTy)->getNumElements() ==
2487                cast<VectorType>(DestTy)->getNumElements(),
2488            "UIToFP source and dest vector length mismatch", &I);
2489
2490   visitInstruction(I);
2491 }
2492
2493 void Verifier::visitSIToFPInst(SIToFPInst &I) {
2494   // Get the source and destination types
2495   Type *SrcTy = I.getOperand(0)->getType();
2496   Type *DestTy = I.getType();
2497
2498   bool SrcVec = SrcTy->isVectorTy();
2499   bool DstVec = DestTy->isVectorTy();
2500
2501   Assert(SrcVec == DstVec,
2502          "SIToFP source and dest must both be vector or scalar", &I);
2503   Assert(SrcTy->isIntOrIntVectorTy(),
2504          "SIToFP source must be integer or integer vector", &I);
2505   Assert(DestTy->isFPOrFPVectorTy(), "SIToFP result must be FP or FP vector",
2506          &I);
2507
2508   if (SrcVec && DstVec)
2509     Assert(cast<VectorType>(SrcTy)->getNumElements() ==
2510                cast<VectorType>(DestTy)->getNumElements(),
2511            "SIToFP source and dest vector length mismatch", &I);
2512
2513   visitInstruction(I);
2514 }
2515
2516 void Verifier::visitFPToUIInst(FPToUIInst &I) {
2517   // Get the source and destination types
2518   Type *SrcTy = I.getOperand(0)->getType();
2519   Type *DestTy = I.getType();
2520
2521   bool SrcVec = SrcTy->isVectorTy();
2522   bool DstVec = DestTy->isVectorTy();
2523
2524   Assert(SrcVec == DstVec,
2525          "FPToUI source and dest must both be vector or scalar", &I);
2526   Assert(SrcTy->isFPOrFPVectorTy(), "FPToUI source must be FP or FP vector",
2527          &I);
2528   Assert(DestTy->isIntOrIntVectorTy(),
2529          "FPToUI result must be integer or integer vector", &I);
2530
2531   if (SrcVec && DstVec)
2532     Assert(cast<VectorType>(SrcTy)->getNumElements() ==
2533                cast<VectorType>(DestTy)->getNumElements(),
2534            "FPToUI source and dest vector length mismatch", &I);
2535
2536   visitInstruction(I);
2537 }
2538
2539 void Verifier::visitFPToSIInst(FPToSIInst &I) {
2540   // Get the source and destination types
2541   Type *SrcTy = I.getOperand(0)->getType();
2542   Type *DestTy = I.getType();
2543
2544   bool SrcVec = SrcTy->isVectorTy();
2545   bool DstVec = DestTy->isVectorTy();
2546
2547   Assert(SrcVec == DstVec,
2548          "FPToSI source and dest must both be vector or scalar", &I);
2549   Assert(SrcTy->isFPOrFPVectorTy(), "FPToSI source must be FP or FP vector",
2550          &I);
2551   Assert(DestTy->isIntOrIntVectorTy(),
2552          "FPToSI result must be integer or integer vector", &I);
2553
2554   if (SrcVec && DstVec)
2555     Assert(cast<VectorType>(SrcTy)->getNumElements() ==
2556                cast<VectorType>(DestTy)->getNumElements(),
2557            "FPToSI source and dest vector length mismatch", &I);
2558
2559   visitInstruction(I);
2560 }
2561
2562 void Verifier::visitPtrToIntInst(PtrToIntInst &I) {
2563   // Get the source and destination types
2564   Type *SrcTy = I.getOperand(0)->getType();
2565   Type *DestTy = I.getType();
2566
2567   Assert(SrcTy->isPtrOrPtrVectorTy(), "PtrToInt source must be pointer", &I);
2568
2569   if (auto *PTy = dyn_cast<PointerType>(SrcTy->getScalarType()))
2570     Assert(!DL.isNonIntegralPointerType(PTy),
2571            "ptrtoint not supported for non-integral pointers");
2572
2573   Assert(DestTy->isIntOrIntVectorTy(), "PtrToInt result must be integral", &I);
2574   Assert(SrcTy->isVectorTy() == DestTy->isVectorTy(), "PtrToInt type mismatch",
2575          &I);
2576
2577   if (SrcTy->isVectorTy()) {
2578     VectorType *VSrc = dyn_cast<VectorType>(SrcTy);
2579     VectorType *VDest = dyn_cast<VectorType>(DestTy);
2580     Assert(VSrc->getNumElements() == VDest->getNumElements(),
2581            "PtrToInt Vector width mismatch", &I);
2582   }
2583
2584   visitInstruction(I);
2585 }
2586
2587 void Verifier::visitIntToPtrInst(IntToPtrInst &I) {
2588   // Get the source and destination types
2589   Type *SrcTy = I.getOperand(0)->getType();
2590   Type *DestTy = I.getType();
2591
2592   Assert(SrcTy->isIntOrIntVectorTy(),
2593          "IntToPtr source must be an integral", &I);
2594   Assert(DestTy->isPtrOrPtrVectorTy(), "IntToPtr result must be a pointer", &I);
2595
2596   if (auto *PTy = dyn_cast<PointerType>(DestTy->getScalarType()))
2597     Assert(!DL.isNonIntegralPointerType(PTy),
2598            "inttoptr not supported for non-integral pointers");
2599
2600   Assert(SrcTy->isVectorTy() == DestTy->isVectorTy(), "IntToPtr type mismatch",
2601          &I);
2602   if (SrcTy->isVectorTy()) {
2603     VectorType *VSrc = dyn_cast<VectorType>(SrcTy);
2604     VectorType *VDest = dyn_cast<VectorType>(DestTy);
2605     Assert(VSrc->getNumElements() == VDest->getNumElements(),
2606            "IntToPtr Vector width mismatch", &I);
2607   }
2608   visitInstruction(I);
2609 }
2610
2611 void Verifier::visitBitCastInst(BitCastInst &I) {
2612   Assert(
2613       CastInst::castIsValid(Instruction::BitCast, I.getOperand(0), I.getType()),
2614       "Invalid bitcast", &I);
2615   visitInstruction(I);
2616 }
2617
2618 void Verifier::visitAddrSpaceCastInst(AddrSpaceCastInst &I) {
2619   Type *SrcTy = I.getOperand(0)->getType();
2620   Type *DestTy = I.getType();
2621
2622   Assert(SrcTy->isPtrOrPtrVectorTy(), "AddrSpaceCast source must be a pointer",
2623          &I);
2624   Assert(DestTy->isPtrOrPtrVectorTy(), "AddrSpaceCast result must be a pointer",
2625          &I);
2626   Assert(SrcTy->getPointerAddressSpace() != DestTy->getPointerAddressSpace(),
2627          "AddrSpaceCast must be between different address spaces", &I);
2628   if (SrcTy->isVectorTy())
2629     Assert(SrcTy->getVectorNumElements() == DestTy->getVectorNumElements(),
2630            "AddrSpaceCast vector pointer number of elements mismatch", &I);
2631   visitInstruction(I);
2632 }
2633
2634 /// visitPHINode - Ensure that a PHI node is well formed.
2635 ///
2636 void Verifier::visitPHINode(PHINode &PN) {
2637   // Ensure that the PHI nodes are all grouped together at the top of the block.
2638   // This can be tested by checking whether the instruction before this is
2639   // either nonexistent (because this is begin()) or is a PHI node.  If not,
2640   // then there is some other instruction before a PHI.
2641   Assert(&PN == &PN.getParent()->front() ||
2642              isa<PHINode>(--BasicBlock::iterator(&PN)),
2643          "PHI nodes not grouped at top of basic block!", &PN, PN.getParent());
2644
2645   // Check that a PHI doesn't yield a Token.
2646   Assert(!PN.getType()->isTokenTy(), "PHI nodes cannot have token type!");
2647
2648   // Check that all of the values of the PHI node have the same type as the
2649   // result, and that the incoming blocks are really basic blocks.
2650   for (Value *IncValue : PN.incoming_values()) {
2651     Assert(PN.getType() == IncValue->getType(),
2652            "PHI node operands are not the same type as the result!", &PN);
2653   }
2654
2655   // All other PHI node constraints are checked in the visitBasicBlock method.
2656
2657   visitInstruction(PN);
2658 }
2659
2660 void Verifier::verifyCallSite(CallSite CS) {
2661   Instruction *I = CS.getInstruction();
2662
2663   Assert(CS.getCalledValue()->getType()->isPointerTy(),
2664          "Called function must be a pointer!", I);
2665   PointerType *FPTy = cast<PointerType>(CS.getCalledValue()->getType());
2666
2667   Assert(FPTy->getElementType()->isFunctionTy(),
2668          "Called function is not pointer to function type!", I);
2669
2670   Assert(FPTy->getElementType() == CS.getFunctionType(),
2671          "Called function is not the same type as the call!", I);
2672
2673   FunctionType *FTy = CS.getFunctionType();
2674
2675   // Verify that the correct number of arguments are being passed
2676   if (FTy->isVarArg())
2677     Assert(CS.arg_size() >= FTy->getNumParams(),
2678            "Called function requires more parameters than were provided!", I);
2679   else
2680     Assert(CS.arg_size() == FTy->getNumParams(),
2681            "Incorrect number of arguments passed to called function!", I);
2682
2683   // Verify that all arguments to the call match the function type.
2684   for (unsigned i = 0, e = FTy->getNumParams(); i != e; ++i)
2685     Assert(CS.getArgument(i)->getType() == FTy->getParamType(i),
2686            "Call parameter type does not match function signature!",
2687            CS.getArgument(i), FTy->getParamType(i), I);
2688
2689   AttributeList Attrs = CS.getAttributes();
2690
2691   Assert(verifyAttributeCount(Attrs, CS.arg_size()),
2692          "Attribute after last parameter!", I);
2693
2694   if (Attrs.hasAttribute(AttributeList::FunctionIndex, Attribute::Speculatable)) {
2695     // Don't allow speculatable on call sites, unless the underlying function
2696     // declaration is also speculatable.
2697     Function *Callee
2698       = dyn_cast<Function>(CS.getCalledValue()->stripPointerCasts());
2699     Assert(Callee && Callee->isSpeculatable(),
2700            "speculatable attribute may not apply to call sites", I);
2701   }
2702
2703   // Verify call attributes.
2704   verifyFunctionAttrs(FTy, Attrs, I);
2705
2706   // Conservatively check the inalloca argument.
2707   // We have a bug if we can find that there is an underlying alloca without
2708   // inalloca.
2709   if (CS.hasInAllocaArgument()) {
2710     Value *InAllocaArg = CS.getArgument(FTy->getNumParams() - 1);
2711     if (auto AI = dyn_cast<AllocaInst>(InAllocaArg->stripInBoundsOffsets()))
2712       Assert(AI->isUsedWithInAlloca(),
2713              "inalloca argument for call has mismatched alloca", AI, I);
2714   }
2715
2716   // For each argument of the callsite, if it has the swifterror argument,
2717   // make sure the underlying alloca/parameter it comes from has a swifterror as
2718   // well.
2719   for (unsigned i = 0, e = FTy->getNumParams(); i != e; ++i)
2720     if (CS.paramHasAttr(i, Attribute::SwiftError)) {
2721       Value *SwiftErrorArg = CS.getArgument(i);
2722       if (auto AI = dyn_cast<AllocaInst>(SwiftErrorArg->stripInBoundsOffsets())) {
2723         Assert(AI->isSwiftError(),
2724                "swifterror argument for call has mismatched alloca", AI, I);
2725         continue;
2726       }
2727       auto ArgI = dyn_cast<Argument>(SwiftErrorArg);
2728       Assert(ArgI, "swifterror argument should come from an alloca or parameter", SwiftErrorArg, I);
2729       Assert(ArgI->hasSwiftErrorAttr(),
2730              "swifterror argument for call has mismatched parameter", ArgI, I);
2731     }
2732
2733   if (FTy->isVarArg()) {
2734     // FIXME? is 'nest' even legal here?
2735     bool SawNest = false;
2736     bool SawReturned = false;
2737
2738     for (unsigned Idx = 0; Idx < FTy->getNumParams(); ++Idx) {
2739       if (Attrs.hasParamAttribute(Idx, Attribute::Nest))
2740         SawNest = true;
2741       if (Attrs.hasParamAttribute(Idx, Attribute::Returned))
2742         SawReturned = true;
2743     }
2744
2745     // Check attributes on the varargs part.
2746     for (unsigned Idx = FTy->getNumParams(); Idx < CS.arg_size(); ++Idx) {
2747       Type *Ty = CS.getArgument(Idx)->getType();
2748       AttributeSet ArgAttrs = Attrs.getParamAttributes(Idx);
2749       verifyParameterAttrs(ArgAttrs, Ty, I);
2750
2751       if (ArgAttrs.hasAttribute(Attribute::Nest)) {
2752         Assert(!SawNest, "More than one parameter has attribute nest!", I);
2753         SawNest = true;
2754       }
2755
2756       if (ArgAttrs.hasAttribute(Attribute::Returned)) {
2757         Assert(!SawReturned, "More than one parameter has attribute returned!",
2758                I);
2759         Assert(Ty->canLosslesslyBitCastTo(FTy->getReturnType()),
2760                "Incompatible argument and return types for 'returned' "
2761                "attribute",
2762                I);
2763         SawReturned = true;
2764       }
2765
2766       Assert(!ArgAttrs.hasAttribute(Attribute::StructRet),
2767              "Attribute 'sret' cannot be used for vararg call arguments!", I);
2768
2769       if (ArgAttrs.hasAttribute(Attribute::InAlloca))
2770         Assert(Idx == CS.arg_size() - 1, "inalloca isn't on the last argument!",
2771                I);
2772     }
2773   }
2774
2775   // Verify that there's no metadata unless it's a direct call to an intrinsic.
2776   if (CS.getCalledFunction() == nullptr ||
2777       !CS.getCalledFunction()->getName().startswith("llvm.")) {
2778     for (Type *ParamTy : FTy->params()) {
2779       Assert(!ParamTy->isMetadataTy(),
2780              "Function has metadata parameter but isn't an intrinsic", I);
2781       Assert(!ParamTy->isTokenTy(),
2782              "Function has token parameter but isn't an intrinsic", I);
2783     }
2784   }
2785
2786   // Verify that indirect calls don't return tokens.
2787   if (CS.getCalledFunction() == nullptr)
2788     Assert(!FTy->getReturnType()->isTokenTy(),
2789            "Return type cannot be token for indirect call!");
2790
2791   if (Function *F = CS.getCalledFunction())
2792     if (Intrinsic::ID ID = (Intrinsic::ID)F->getIntrinsicID())
2793       visitIntrinsicCallSite(ID, CS);
2794
2795   // Verify that a callsite has at most one "deopt", at most one "funclet" and
2796   // at most one "gc-transition" operand bundle.
2797   bool FoundDeoptBundle = false, FoundFuncletBundle = false,
2798        FoundGCTransitionBundle = false;
2799   for (unsigned i = 0, e = CS.getNumOperandBundles(); i < e; ++i) {
2800     OperandBundleUse BU = CS.getOperandBundleAt(i);
2801     uint32_t Tag = BU.getTagID();
2802     if (Tag == LLVMContext::OB_deopt) {
2803       Assert(!FoundDeoptBundle, "Multiple deopt operand bundles", I);
2804       FoundDeoptBundle = true;
2805     } else if (Tag == LLVMContext::OB_gc_transition) {
2806       Assert(!FoundGCTransitionBundle, "Multiple gc-transition operand bundles",
2807              I);
2808       FoundGCTransitionBundle = true;
2809     } else if (Tag == LLVMContext::OB_funclet) {
2810       Assert(!FoundFuncletBundle, "Multiple funclet operand bundles", I);
2811       FoundFuncletBundle = true;
2812       Assert(BU.Inputs.size() == 1,
2813              "Expected exactly one funclet bundle operand", I);
2814       Assert(isa<FuncletPadInst>(BU.Inputs.front()),
2815              "Funclet bundle operands should correspond to a FuncletPadInst",
2816              I);
2817     }
2818   }
2819
2820   // Verify that each inlinable callsite of a debug-info-bearing function in a
2821   // debug-info-bearing function has a debug location attached to it. Failure to
2822   // do so causes assertion failures when the inliner sets up inline scope info.
2823   if (I->getFunction()->getSubprogram() && CS.getCalledFunction() &&
2824       CS.getCalledFunction()->getSubprogram())
2825     AssertDI(I->getDebugLoc(), "inlinable function call in a function with "
2826                                "debug info must have a !dbg location",
2827              I);
2828
2829   visitInstruction(*I);
2830 }
2831
2832 /// Two types are "congruent" if they are identical, or if they are both pointer
2833 /// types with different pointee types and the same address space.
2834 static bool isTypeCongruent(Type *L, Type *R) {
2835   if (L == R)
2836     return true;
2837   PointerType *PL = dyn_cast<PointerType>(L);
2838   PointerType *PR = dyn_cast<PointerType>(R);
2839   if (!PL || !PR)
2840     return false;
2841   return PL->getAddressSpace() == PR->getAddressSpace();
2842 }
2843
2844 static AttrBuilder getParameterABIAttributes(int I, AttributeList Attrs) {
2845   static const Attribute::AttrKind ABIAttrs[] = {
2846       Attribute::StructRet, Attribute::ByVal, Attribute::InAlloca,
2847       Attribute::InReg, Attribute::Returned, Attribute::SwiftSelf,
2848       Attribute::SwiftError};
2849   AttrBuilder Copy;
2850   for (auto AK : ABIAttrs) {
2851     if (Attrs.hasParamAttribute(I, AK))
2852       Copy.addAttribute(AK);
2853   }
2854   if (Attrs.hasParamAttribute(I, Attribute::Alignment))
2855     Copy.addAlignmentAttr(Attrs.getParamAlignment(I));
2856   return Copy;
2857 }
2858
2859 void Verifier::verifyMustTailCall(CallInst &CI) {
2860   Assert(!CI.isInlineAsm(), "cannot use musttail call with inline asm", &CI);
2861
2862   // - The caller and callee prototypes must match.  Pointer types of
2863   //   parameters or return types may differ in pointee type, but not
2864   //   address space.
2865   Function *F = CI.getParent()->getParent();
2866   FunctionType *CallerTy = F->getFunctionType();
2867   FunctionType *CalleeTy = CI.getFunctionType();
2868   if (!CI.getCalledFunction() || !CI.getCalledFunction()->isIntrinsic()) {
2869     Assert(CallerTy->getNumParams() == CalleeTy->getNumParams(),
2870            "cannot guarantee tail call due to mismatched parameter counts",
2871            &CI);
2872     for (int I = 0, E = CallerTy->getNumParams(); I != E; ++I) {
2873       Assert(
2874           isTypeCongruent(CallerTy->getParamType(I), CalleeTy->getParamType(I)),
2875           "cannot guarantee tail call due to mismatched parameter types", &CI);
2876     }
2877   }
2878   Assert(CallerTy->isVarArg() == CalleeTy->isVarArg(),
2879          "cannot guarantee tail call due to mismatched varargs", &CI);
2880   Assert(isTypeCongruent(CallerTy->getReturnType(), CalleeTy->getReturnType()),
2881          "cannot guarantee tail call due to mismatched return types", &CI);
2882
2883   // - The calling conventions of the caller and callee must match.
2884   Assert(F->getCallingConv() == CI.getCallingConv(),
2885          "cannot guarantee tail call due to mismatched calling conv", &CI);
2886
2887   // - All ABI-impacting function attributes, such as sret, byval, inreg,
2888   //   returned, and inalloca, must match.
2889   AttributeList CallerAttrs = F->getAttributes();
2890   AttributeList CalleeAttrs = CI.getAttributes();
2891   for (int I = 0, E = CallerTy->getNumParams(); I != E; ++I) {
2892     AttrBuilder CallerABIAttrs = getParameterABIAttributes(I, CallerAttrs);
2893     AttrBuilder CalleeABIAttrs = getParameterABIAttributes(I, CalleeAttrs);
2894     Assert(CallerABIAttrs == CalleeABIAttrs,
2895            "cannot guarantee tail call due to mismatched ABI impacting "
2896            "function attributes",
2897            &CI, CI.getOperand(I));
2898   }
2899
2900   // - The call must immediately precede a :ref:`ret <i_ret>` instruction,
2901   //   or a pointer bitcast followed by a ret instruction.
2902   // - The ret instruction must return the (possibly bitcasted) value
2903   //   produced by the call or void.
2904   Value *RetVal = &CI;
2905   Instruction *Next = CI.getNextNode();
2906
2907   // Handle the optional bitcast.
2908   if (BitCastInst *BI = dyn_cast_or_null<BitCastInst>(Next)) {
2909     Assert(BI->getOperand(0) == RetVal,
2910            "bitcast following musttail call must use the call", BI);
2911     RetVal = BI;
2912     Next = BI->getNextNode();
2913   }
2914
2915   // Check the return.
2916   ReturnInst *Ret = dyn_cast_or_null<ReturnInst>(Next);
2917   Assert(Ret, "musttail call must be precede a ret with an optional bitcast",
2918          &CI);
2919   Assert(!Ret->getReturnValue() || Ret->getReturnValue() == RetVal,
2920          "musttail call result must be returned", Ret);
2921 }
2922
2923 void Verifier::visitCallInst(CallInst &CI) {
2924   verifyCallSite(&CI);
2925
2926   if (CI.isMustTailCall())
2927     verifyMustTailCall(CI);
2928 }
2929
2930 void Verifier::visitInvokeInst(InvokeInst &II) {
2931   verifyCallSite(&II);
2932
2933   // Verify that the first non-PHI instruction of the unwind destination is an
2934   // exception handling instruction.
2935   Assert(
2936       II.getUnwindDest()->isEHPad(),
2937       "The unwind destination does not have an exception handling instruction!",
2938       &II);
2939
2940   visitTerminatorInst(II);
2941 }
2942
2943 /// visitBinaryOperator - Check that both arguments to the binary operator are
2944 /// of the same type!
2945 ///
2946 void Verifier::visitBinaryOperator(BinaryOperator &B) {
2947   Assert(B.getOperand(0)->getType() == B.getOperand(1)->getType(),
2948          "Both operands to a binary operator are not of the same type!", &B);
2949
2950   switch (B.getOpcode()) {
2951   // Check that integer arithmetic operators are only used with
2952   // integral operands.
2953   case Instruction::Add:
2954   case Instruction::Sub:
2955   case Instruction::Mul:
2956   case Instruction::SDiv:
2957   case Instruction::UDiv:
2958   case Instruction::SRem:
2959   case Instruction::URem:
2960     Assert(B.getType()->isIntOrIntVectorTy(),
2961            "Integer arithmetic operators only work with integral types!", &B);
2962     Assert(B.getType() == B.getOperand(0)->getType(),
2963            "Integer arithmetic operators must have same type "
2964            "for operands and result!",
2965            &B);
2966     break;
2967   // Check that floating-point arithmetic operators are only used with
2968   // floating-point operands.
2969   case Instruction::FAdd:
2970   case Instruction::FSub:
2971   case Instruction::FMul:
2972   case Instruction::FDiv:
2973   case Instruction::FRem:
2974     Assert(B.getType()->isFPOrFPVectorTy(),
2975            "Floating-point arithmetic operators only work with "
2976            "floating-point types!",
2977            &B);
2978     Assert(B.getType() == B.getOperand(0)->getType(),
2979            "Floating-point arithmetic operators must have same type "
2980            "for operands and result!",
2981            &B);
2982     break;
2983   // Check that logical operators are only used with integral operands.
2984   case Instruction::And:
2985   case Instruction::Or:
2986   case Instruction::Xor:
2987     Assert(B.getType()->isIntOrIntVectorTy(),
2988            "Logical operators only work with integral types!", &B);
2989     Assert(B.getType() == B.getOperand(0)->getType(),
2990            "Logical operators must have same type for operands and result!",
2991            &B);
2992     break;
2993   case Instruction::Shl:
2994   case Instruction::LShr:
2995   case Instruction::AShr:
2996     Assert(B.getType()->isIntOrIntVectorTy(),
2997            "Shifts only work with integral types!", &B);
2998     Assert(B.getType() == B.getOperand(0)->getType(),
2999            "Shift return type must be same as operands!", &B);
3000     break;
3001   default:
3002     llvm_unreachable("Unknown BinaryOperator opcode!");
3003   }
3004
3005   visitInstruction(B);
3006 }
3007
3008 void Verifier::visitICmpInst(ICmpInst &IC) {
3009   // Check that the operands are the same type
3010   Type *Op0Ty = IC.getOperand(0)->getType();
3011   Type *Op1Ty = IC.getOperand(1)->getType();
3012   Assert(Op0Ty == Op1Ty,
3013          "Both operands to ICmp instruction are not of the same type!", &IC);
3014   // Check that the operands are the right type
3015   Assert(Op0Ty->isIntOrIntVectorTy() || Op0Ty->isPtrOrPtrVectorTy(),
3016          "Invalid operand types for ICmp instruction", &IC);
3017   // Check that the predicate is valid.
3018   Assert(IC.isIntPredicate(),
3019          "Invalid predicate in ICmp instruction!", &IC);
3020
3021   visitInstruction(IC);
3022 }
3023
3024 void Verifier::visitFCmpInst(FCmpInst &FC) {
3025   // Check that the operands are the same type
3026   Type *Op0Ty = FC.getOperand(0)->getType();
3027   Type *Op1Ty = FC.getOperand(1)->getType();
3028   Assert(Op0Ty == Op1Ty,
3029          "Both operands to FCmp instruction are not of the same type!", &FC);
3030   // Check that the operands are the right type
3031   Assert(Op0Ty->isFPOrFPVectorTy(),
3032          "Invalid operand types for FCmp instruction", &FC);
3033   // Check that the predicate is valid.
3034   Assert(FC.isFPPredicate(),
3035          "Invalid predicate in FCmp instruction!", &FC);
3036
3037   visitInstruction(FC);
3038 }
3039
3040 void Verifier::visitExtractElementInst(ExtractElementInst &EI) {
3041   Assert(
3042       ExtractElementInst::isValidOperands(EI.getOperand(0), EI.getOperand(1)),
3043       "Invalid extractelement operands!", &EI);
3044   visitInstruction(EI);
3045 }
3046
3047 void Verifier::visitInsertElementInst(InsertElementInst &IE) {
3048   Assert(InsertElementInst::isValidOperands(IE.getOperand(0), IE.getOperand(1),
3049                                             IE.getOperand(2)),
3050          "Invalid insertelement operands!", &IE);
3051   visitInstruction(IE);
3052 }
3053
3054 void Verifier::visitShuffleVectorInst(ShuffleVectorInst &SV) {
3055   Assert(ShuffleVectorInst::isValidOperands(SV.getOperand(0), SV.getOperand(1),
3056                                             SV.getOperand(2)),
3057          "Invalid shufflevector operands!", &SV);
3058   visitInstruction(SV);
3059 }
3060
3061 void Verifier::visitGetElementPtrInst(GetElementPtrInst &GEP) {
3062   Type *TargetTy = GEP.getPointerOperandType()->getScalarType();
3063
3064   Assert(isa<PointerType>(TargetTy),
3065          "GEP base pointer is not a vector or a vector of pointers", &GEP);
3066   Assert(GEP.getSourceElementType()->isSized(), "GEP into unsized type!", &GEP);
3067
3068   SmallVector<Value*, 16> Idxs(GEP.idx_begin(), GEP.idx_end());
3069   Assert(all_of(
3070       Idxs, [](Value* V) { return V->getType()->isIntOrIntVectorTy(); }),
3071       "GEP indexes must be integers", &GEP);
3072   Type *ElTy =
3073       GetElementPtrInst::getIndexedType(GEP.getSourceElementType(), Idxs);
3074   Assert(ElTy, "Invalid indices for GEP pointer type!", &GEP);
3075
3076   Assert(GEP.getType()->isPtrOrPtrVectorTy() &&
3077              GEP.getResultElementType() == ElTy,
3078          "GEP is not of right type for indices!", &GEP, ElTy);
3079
3080   if (GEP.getType()->isVectorTy()) {
3081     // Additional checks for vector GEPs.
3082     unsigned GEPWidth = GEP.getType()->getVectorNumElements();
3083     if (GEP.getPointerOperandType()->isVectorTy())
3084       Assert(GEPWidth == GEP.getPointerOperandType()->getVectorNumElements(),
3085              "Vector GEP result width doesn't match operand's", &GEP);
3086     for (Value *Idx : Idxs) {
3087       Type *IndexTy = Idx->getType();
3088       if (IndexTy->isVectorTy()) {
3089         unsigned IndexWidth = IndexTy->getVectorNumElements();
3090         Assert(IndexWidth == GEPWidth, "Invalid GEP index vector width", &GEP);
3091       }
3092       Assert(IndexTy->isIntOrIntVectorTy(),
3093              "All GEP indices should be of integer type");
3094     }
3095   }
3096   visitInstruction(GEP);
3097 }
3098
3099 static bool isContiguous(const ConstantRange &A, const ConstantRange &B) {
3100   return A.getUpper() == B.getLower() || A.getLower() == B.getUpper();
3101 }
3102
3103 void Verifier::visitRangeMetadata(Instruction &I, MDNode *Range, Type *Ty) {
3104   assert(Range && Range == I.getMetadata(LLVMContext::MD_range) &&
3105          "precondition violation");
3106
3107   unsigned NumOperands = Range->getNumOperands();
3108   Assert(NumOperands % 2 == 0, "Unfinished range!", Range);
3109   unsigned NumRanges = NumOperands / 2;
3110   Assert(NumRanges >= 1, "It should have at least one range!", Range);
3111
3112   ConstantRange LastRange(1); // Dummy initial value
3113   for (unsigned i = 0; i < NumRanges; ++i) {
3114     ConstantInt *Low =
3115         mdconst::dyn_extract<ConstantInt>(Range->getOperand(2 * i));
3116     Assert(Low, "The lower limit must be an integer!", Low);
3117     ConstantInt *High =
3118         mdconst::dyn_extract<ConstantInt>(Range->getOperand(2 * i + 1));
3119     Assert(High, "The upper limit must be an integer!", High);
3120     Assert(High->getType() == Low->getType() && High->getType() == Ty,
3121            "Range types must match instruction type!", &I);
3122
3123     APInt HighV = High->getValue();
3124     APInt LowV = Low->getValue();
3125     ConstantRange CurRange(LowV, HighV);
3126     Assert(!CurRange.isEmptySet() && !CurRange.isFullSet(),
3127            "Range must not be empty!", Range);
3128     if (i != 0) {
3129       Assert(CurRange.intersectWith(LastRange).isEmptySet(),
3130              "Intervals are overlapping", Range);
3131       Assert(LowV.sgt(LastRange.getLower()), "Intervals are not in order",
3132              Range);
3133       Assert(!isContiguous(CurRange, LastRange), "Intervals are contiguous",
3134              Range);
3135     }
3136     LastRange = ConstantRange(LowV, HighV);
3137   }
3138   if (NumRanges > 2) {
3139     APInt FirstLow =
3140         mdconst::dyn_extract<ConstantInt>(Range->getOperand(0))->getValue();
3141     APInt FirstHigh =
3142         mdconst::dyn_extract<ConstantInt>(Range->getOperand(1))->getValue();
3143     ConstantRange FirstRange(FirstLow, FirstHigh);
3144     Assert(FirstRange.intersectWith(LastRange).isEmptySet(),
3145            "Intervals are overlapping", Range);
3146     Assert(!isContiguous(FirstRange, LastRange), "Intervals are contiguous",
3147            Range);
3148   }
3149 }
3150
3151 void Verifier::checkAtomicMemAccessSize(Type *Ty, const Instruction *I) {
3152   unsigned Size = DL.getTypeSizeInBits(Ty);
3153   Assert(Size >= 8, "atomic memory access' size must be byte-sized", Ty, I);
3154   Assert(!(Size & (Size - 1)),
3155          "atomic memory access' operand must have a power-of-two size", Ty, I);
3156 }
3157
3158 void Verifier::visitLoadInst(LoadInst &LI) {
3159   PointerType *PTy = dyn_cast<PointerType>(LI.getOperand(0)->getType());
3160   Assert(PTy, "Load operand must be a pointer.", &LI);
3161   Type *ElTy = LI.getType();
3162   Assert(LI.getAlignment() <= Value::MaximumAlignment,
3163          "huge alignment values are unsupported", &LI);
3164   Assert(ElTy->isSized(), "loading unsized types is not allowed", &LI);
3165   if (LI.isAtomic()) {
3166     Assert(LI.getOrdering() != AtomicOrdering::Release &&
3167                LI.getOrdering() != AtomicOrdering::AcquireRelease,
3168            "Load cannot have Release ordering", &LI);
3169     Assert(LI.getAlignment() != 0,
3170            "Atomic load must specify explicit alignment", &LI);
3171     Assert(ElTy->isIntegerTy() || ElTy->isPointerTy() ||
3172                ElTy->isFloatingPointTy(),
3173            "atomic load operand must have integer, pointer, or floating point "
3174            "type!",
3175            ElTy, &LI);
3176     checkAtomicMemAccessSize(ElTy, &LI);
3177   } else {
3178     Assert(LI.getSyncScopeID() == SyncScope::System,
3179            "Non-atomic load cannot have SynchronizationScope specified", &LI);
3180   }
3181
3182   visitInstruction(LI);
3183 }
3184
3185 void Verifier::visitStoreInst(StoreInst &SI) {
3186   PointerType *PTy = dyn_cast<PointerType>(SI.getOperand(1)->getType());
3187   Assert(PTy, "Store operand must be a pointer.", &SI);
3188   Type *ElTy = PTy->getElementType();
3189   Assert(ElTy == SI.getOperand(0)->getType(),
3190          "Stored value type does not match pointer operand type!", &SI, ElTy);
3191   Assert(SI.getAlignment() <= Value::MaximumAlignment,
3192          "huge alignment values are unsupported", &SI);
3193   Assert(ElTy->isSized(), "storing unsized types is not allowed", &SI);
3194   if (SI.isAtomic()) {
3195     Assert(SI.getOrdering() != AtomicOrdering::Acquire &&
3196                SI.getOrdering() != AtomicOrdering::AcquireRelease,
3197            "Store cannot have Acquire ordering", &SI);
3198     Assert(SI.getAlignment() != 0,
3199            "Atomic store must specify explicit alignment", &SI);
3200     Assert(ElTy->isIntegerTy() || ElTy->isPointerTy() ||
3201                ElTy->isFloatingPointTy(),
3202            "atomic store operand must have integer, pointer, or floating point "
3203            "type!",
3204            ElTy, &SI);
3205     checkAtomicMemAccessSize(ElTy, &SI);
3206   } else {
3207     Assert(SI.getSyncScopeID() == SyncScope::System,
3208            "Non-atomic store cannot have SynchronizationScope specified", &SI);
3209   }
3210   visitInstruction(SI);
3211 }
3212
3213 /// Check that SwiftErrorVal is used as a swifterror argument in CS.
3214 void Verifier::verifySwiftErrorCallSite(CallSite CS,
3215                                         const Value *SwiftErrorVal) {
3216   unsigned Idx = 0;
3217   for (CallSite::arg_iterator I = CS.arg_begin(), E = CS.arg_end();
3218        I != E; ++I, ++Idx) {
3219     if (*I == SwiftErrorVal) {
3220       Assert(CS.paramHasAttr(Idx, Attribute::SwiftError),
3221              "swifterror value when used in a callsite should be marked "
3222              "with swifterror attribute",
3223               SwiftErrorVal, CS);
3224     }
3225   }
3226 }
3227
3228 void Verifier::verifySwiftErrorValue(const Value *SwiftErrorVal) {
3229   // Check that swifterror value is only used by loads, stores, or as
3230   // a swifterror argument.
3231   for (const User *U : SwiftErrorVal->users()) {
3232     Assert(isa<LoadInst>(U) || isa<StoreInst>(U) || isa<CallInst>(U) ||
3233            isa<InvokeInst>(U),
3234            "swifterror value can only be loaded and stored from, or "
3235            "as a swifterror argument!",
3236            SwiftErrorVal, U);
3237     // If it is used by a store, check it is the second operand.
3238     if (auto StoreI = dyn_cast<StoreInst>(U))
3239       Assert(StoreI->getOperand(1) == SwiftErrorVal,
3240              "swifterror value should be the second operand when used "
3241              "by stores", SwiftErrorVal, U);
3242     if (auto CallI = dyn_cast<CallInst>(U))
3243       verifySwiftErrorCallSite(const_cast<CallInst*>(CallI), SwiftErrorVal);
3244     if (auto II = dyn_cast<InvokeInst>(U))
3245       verifySwiftErrorCallSite(const_cast<InvokeInst*>(II), SwiftErrorVal);
3246   }
3247 }
3248
3249 void Verifier::visitAllocaInst(AllocaInst &AI) {
3250   SmallPtrSet<Type*, 4> Visited;
3251   PointerType *PTy = AI.getType();
3252   // TODO: Relax this restriction?
3253   Assert(PTy->getAddressSpace() == DL.getAllocaAddrSpace(),
3254          "Allocation instruction pointer not in the stack address space!",
3255          &AI);
3256   Assert(AI.getAllocatedType()->isSized(&Visited),
3257          "Cannot allocate unsized type", &AI);
3258   Assert(AI.getArraySize()->getType()->isIntegerTy(),
3259          "Alloca array size must have integer type", &AI);
3260   Assert(AI.getAlignment() <= Value::MaximumAlignment,
3261          "huge alignment values are unsupported", &AI);
3262
3263   if (AI.isSwiftError()) {
3264     verifySwiftErrorValue(&AI);
3265   }
3266
3267   visitInstruction(AI);
3268 }
3269
3270 void Verifier::visitAtomicCmpXchgInst(AtomicCmpXchgInst &CXI) {
3271
3272   // FIXME: more conditions???
3273   Assert(CXI.getSuccessOrdering() != AtomicOrdering::NotAtomic,
3274          "cmpxchg instructions must be atomic.", &CXI);
3275   Assert(CXI.getFailureOrdering() != AtomicOrdering::NotAtomic,
3276          "cmpxchg instructions must be atomic.", &CXI);
3277   Assert(CXI.getSuccessOrdering() != AtomicOrdering::Unordered,
3278          "cmpxchg instructions cannot be unordered.", &CXI);
3279   Assert(CXI.getFailureOrdering() != AtomicOrdering::Unordered,
3280          "cmpxchg instructions cannot be unordered.", &CXI);
3281   Assert(!isStrongerThan(CXI.getFailureOrdering(), CXI.getSuccessOrdering()),
3282          "cmpxchg instructions failure argument shall be no stronger than the "
3283          "success argument",
3284          &CXI);
3285   Assert(CXI.getFailureOrdering() != AtomicOrdering::Release &&
3286              CXI.getFailureOrdering() != AtomicOrdering::AcquireRelease,
3287          "cmpxchg failure ordering cannot include release semantics", &CXI);
3288
3289   PointerType *PTy = dyn_cast<PointerType>(CXI.getOperand(0)->getType());
3290   Assert(PTy, "First cmpxchg operand must be a pointer.", &CXI);
3291   Type *ElTy = PTy->getElementType();
3292   Assert(ElTy->isIntegerTy() || ElTy->isPointerTy(),
3293         "cmpxchg operand must have integer or pointer type",
3294          ElTy, &CXI);
3295   checkAtomicMemAccessSize(ElTy, &CXI);
3296   Assert(ElTy == CXI.getOperand(1)->getType(),
3297          "Expected value type does not match pointer operand type!", &CXI,
3298          ElTy);
3299   Assert(ElTy == CXI.getOperand(2)->getType(),
3300          "Stored value type does not match pointer operand type!", &CXI, ElTy);
3301   visitInstruction(CXI);
3302 }
3303
3304 void Verifier::visitAtomicRMWInst(AtomicRMWInst &RMWI) {
3305   Assert(RMWI.getOrdering() != AtomicOrdering::NotAtomic,
3306          "atomicrmw instructions must be atomic.", &RMWI);
3307   Assert(RMWI.getOrdering() != AtomicOrdering::Unordered,
3308          "atomicrmw instructions cannot be unordered.", &RMWI);
3309   PointerType *PTy = dyn_cast<PointerType>(RMWI.getOperand(0)->getType());
3310   Assert(PTy, "First atomicrmw operand must be a pointer.", &RMWI);
3311   Type *ElTy = PTy->getElementType();
3312   Assert(ElTy->isIntegerTy(), "atomicrmw operand must have integer type!",
3313          &RMWI, ElTy);
3314   checkAtomicMemAccessSize(ElTy, &RMWI);
3315   Assert(ElTy == RMWI.getOperand(1)->getType(),
3316          "Argument value type does not match pointer operand type!", &RMWI,
3317          ElTy);
3318   Assert(AtomicRMWInst::FIRST_BINOP <= RMWI.getOperation() &&
3319              RMWI.getOperation() <= AtomicRMWInst::LAST_BINOP,
3320          "Invalid binary operation!", &RMWI);
3321   visitInstruction(RMWI);
3322 }
3323
3324 void Verifier::visitFenceInst(FenceInst &FI) {
3325   const AtomicOrdering Ordering = FI.getOrdering();
3326   Assert(Ordering == AtomicOrdering::Acquire ||
3327              Ordering == AtomicOrdering::Release ||
3328              Ordering == AtomicOrdering::AcquireRelease ||
3329              Ordering == AtomicOrdering::SequentiallyConsistent,
3330          "fence instructions may only have acquire, release, acq_rel, or "
3331          "seq_cst ordering.",
3332          &FI);
3333   visitInstruction(FI);
3334 }
3335
3336 void Verifier::visitExtractValueInst(ExtractValueInst &EVI) {
3337   Assert(ExtractValueInst::getIndexedType(EVI.getAggregateOperand()->getType(),
3338                                           EVI.getIndices()) == EVI.getType(),
3339          "Invalid ExtractValueInst operands!", &EVI);
3340
3341   visitInstruction(EVI);
3342 }
3343
3344 void Verifier::visitInsertValueInst(InsertValueInst &IVI) {
3345   Assert(ExtractValueInst::getIndexedType(IVI.getAggregateOperand()->getType(),
3346                                           IVI.getIndices()) ==
3347              IVI.getOperand(1)->getType(),
3348          "Invalid InsertValueInst operands!", &IVI);
3349
3350   visitInstruction(IVI);
3351 }
3352
3353 static Value *getParentPad(Value *EHPad) {
3354   if (auto *FPI = dyn_cast<FuncletPadInst>(EHPad))
3355     return FPI->getParentPad();
3356
3357   return cast<CatchSwitchInst>(EHPad)->getParentPad();
3358 }
3359
3360 void Verifier::visitEHPadPredecessors(Instruction &I) {
3361   assert(I.isEHPad());
3362
3363   BasicBlock *BB = I.getParent();
3364   Function *F = BB->getParent();
3365
3366   Assert(BB != &F->getEntryBlock(), "EH pad cannot be in entry block.", &I);
3367
3368   if (auto *LPI = dyn_cast<LandingPadInst>(&I)) {
3369     // The landingpad instruction defines its parent as a landing pad block. The
3370     // landing pad block may be branched to only by the unwind edge of an
3371     // invoke.
3372     for (BasicBlock *PredBB : predecessors(BB)) {
3373       const auto *II = dyn_cast<InvokeInst>(PredBB->getTerminator());
3374       Assert(II && II->getUnwindDest() == BB && II->getNormalDest() != BB,
3375              "Block containing LandingPadInst must be jumped to "
3376              "only by the unwind edge of an invoke.",
3377              LPI);
3378     }
3379     return;
3380   }
3381   if (auto *CPI = dyn_cast<CatchPadInst>(&I)) {
3382     if (!pred_empty(BB))
3383       Assert(BB->getUniquePredecessor() == CPI->getCatchSwitch()->getParent(),
3384              "Block containg CatchPadInst must be jumped to "
3385              "only by its catchswitch.",
3386              CPI);
3387     Assert(BB != CPI->getCatchSwitch()->getUnwindDest(),
3388            "Catchswitch cannot unwind to one of its catchpads",
3389            CPI->getCatchSwitch(), CPI);
3390     return;
3391   }
3392
3393   // Verify that each pred has a legal terminator with a legal to/from EH
3394   // pad relationship.
3395   Instruction *ToPad = &I;
3396   Value *ToPadParent = getParentPad(ToPad);
3397   for (BasicBlock *PredBB : predecessors(BB)) {
3398     TerminatorInst *TI = PredBB->getTerminator();
3399     Value *FromPad;
3400     if (auto *II = dyn_cast<InvokeInst>(TI)) {
3401       Assert(II->getUnwindDest() == BB && II->getNormalDest() != BB,
3402              "EH pad must be jumped to via an unwind edge", ToPad, II);
3403       if (auto Bundle = II->getOperandBundle(LLVMContext::OB_funclet))
3404         FromPad = Bundle->Inputs[0];
3405       else
3406         FromPad = ConstantTokenNone::get(II->getContext());
3407     } else if (auto *CRI = dyn_cast<CleanupReturnInst>(TI)) {
3408       FromPad = CRI->getOperand(0);
3409       Assert(FromPad != ToPadParent, "A cleanupret must exit its cleanup", CRI);
3410     } else if (auto *CSI = dyn_cast<CatchSwitchInst>(TI)) {
3411       FromPad = CSI;
3412     } else {
3413       Assert(false, "EH pad must be jumped to via an unwind edge", ToPad, TI);
3414     }
3415
3416     // The edge may exit from zero or more nested pads.
3417     SmallSet<Value *, 8> Seen;
3418     for (;; FromPad = getParentPad(FromPad)) {
3419       Assert(FromPad != ToPad,
3420              "EH pad cannot handle exceptions raised within it", FromPad, TI);
3421       if (FromPad == ToPadParent) {
3422         // This is a legal unwind edge.
3423         break;
3424       }
3425       Assert(!isa<ConstantTokenNone>(FromPad),
3426              "A single unwind edge may only enter one EH pad", TI);
3427       Assert(Seen.insert(FromPad).second,
3428              "EH pad jumps through a cycle of pads", FromPad);
3429     }
3430   }
3431 }
3432
3433 void Verifier::visitLandingPadInst(LandingPadInst &LPI) {
3434   // The landingpad instruction is ill-formed if it doesn't have any clauses and
3435   // isn't a cleanup.
3436   Assert(LPI.getNumClauses() > 0 || LPI.isCleanup(),
3437          "LandingPadInst needs at least one clause or to be a cleanup.", &LPI);
3438
3439   visitEHPadPredecessors(LPI);
3440
3441   if (!LandingPadResultTy)
3442     LandingPadResultTy = LPI.getType();
3443   else
3444     Assert(LandingPadResultTy == LPI.getType(),
3445            "The landingpad instruction should have a consistent result type "
3446            "inside a function.",
3447            &LPI);
3448
3449   Function *F = LPI.getParent()->getParent();
3450   Assert(F->hasPersonalityFn(),
3451          "LandingPadInst needs to be in a function with a personality.", &LPI);
3452
3453   // The landingpad instruction must be the first non-PHI instruction in the
3454   // block.
3455   Assert(LPI.getParent()->getLandingPadInst() == &LPI,
3456          "LandingPadInst not the first non-PHI instruction in the block.",
3457          &LPI);
3458
3459   for (unsigned i = 0, e = LPI.getNumClauses(); i < e; ++i) {
3460     Constant *Clause = LPI.getClause(i);
3461     if (LPI.isCatch(i)) {
3462       Assert(isa<PointerType>(Clause->getType()),
3463              "Catch operand does not have pointer type!", &LPI);
3464     } else {
3465       Assert(LPI.isFilter(i), "Clause is neither catch nor filter!", &LPI);
3466       Assert(isa<ConstantArray>(Clause) || isa<ConstantAggregateZero>(Clause),
3467              "Filter operand is not an array of constants!", &LPI);
3468     }
3469   }
3470
3471   visitInstruction(LPI);
3472 }
3473
3474 void Verifier::visitResumeInst(ResumeInst &RI) {
3475   Assert(RI.getFunction()->hasPersonalityFn(),
3476          "ResumeInst needs to be in a function with a personality.", &RI);
3477
3478   if (!LandingPadResultTy)
3479     LandingPadResultTy = RI.getValue()->getType();
3480   else
3481     Assert(LandingPadResultTy == RI.getValue()->getType(),
3482            "The resume instruction should have a consistent result type "
3483            "inside a function.",
3484            &RI);
3485
3486   visitTerminatorInst(RI);
3487 }
3488
3489 void Verifier::visitCatchPadInst(CatchPadInst &CPI) {
3490   BasicBlock *BB = CPI.getParent();
3491
3492   Function *F = BB->getParent();
3493   Assert(F->hasPersonalityFn(),
3494          "CatchPadInst needs to be in a function with a personality.", &CPI);
3495
3496   Assert(isa<CatchSwitchInst>(CPI.getParentPad()),
3497          "CatchPadInst needs to be directly nested in a CatchSwitchInst.",
3498          CPI.getParentPad());
3499
3500   // The catchpad instruction must be the first non-PHI instruction in the
3501   // block.
3502   Assert(BB->getFirstNonPHI() == &CPI,
3503          "CatchPadInst not the first non-PHI instruction in the block.", &CPI);
3504
3505   visitEHPadPredecessors(CPI);
3506   visitFuncletPadInst(CPI);
3507 }
3508
3509 void Verifier::visitCatchReturnInst(CatchReturnInst &CatchReturn) {
3510   Assert(isa<CatchPadInst>(CatchReturn.getOperand(0)),
3511          "CatchReturnInst needs to be provided a CatchPad", &CatchReturn,
3512          CatchReturn.getOperand(0));
3513
3514   visitTerminatorInst(CatchReturn);
3515 }
3516
3517 void Verifier::visitCleanupPadInst(CleanupPadInst &CPI) {
3518   BasicBlock *BB = CPI.getParent();
3519
3520   Function *F = BB->getParent();
3521   Assert(F->hasPersonalityFn(),
3522          "CleanupPadInst needs to be in a function with a personality.", &CPI);
3523
3524   // The cleanuppad instruction must be the first non-PHI instruction in the
3525   // block.
3526   Assert(BB->getFirstNonPHI() == &CPI,
3527          "CleanupPadInst not the first non-PHI instruction in the block.",
3528          &CPI);
3529
3530   auto *ParentPad = CPI.getParentPad();
3531   Assert(isa<ConstantTokenNone>(ParentPad) || isa<FuncletPadInst>(ParentPad),
3532          "CleanupPadInst has an invalid parent.", &CPI);
3533
3534   visitEHPadPredecessors(CPI);
3535   visitFuncletPadInst(CPI);
3536 }
3537
3538 void Verifier::visitFuncletPadInst(FuncletPadInst &FPI) {
3539   User *FirstUser = nullptr;
3540   Value *FirstUnwindPad = nullptr;
3541   SmallVector<FuncletPadInst *, 8> Worklist({&FPI});
3542   SmallSet<FuncletPadInst *, 8> Seen;
3543
3544   while (!Worklist.empty()) {
3545     FuncletPadInst *CurrentPad = Worklist.pop_back_val();
3546     Assert(Seen.insert(CurrentPad).second,
3547            "FuncletPadInst must not be nested within itself", CurrentPad);
3548     Value *UnresolvedAncestorPad = nullptr;
3549     for (User *U : CurrentPad->users()) {
3550       BasicBlock *UnwindDest;
3551       if (auto *CRI = dyn_cast<CleanupReturnInst>(U)) {
3552         UnwindDest = CRI->getUnwindDest();
3553       } else if (auto *CSI = dyn_cast<CatchSwitchInst>(U)) {
3554         // We allow catchswitch unwind to caller to nest
3555         // within an outer pad that unwinds somewhere else,
3556         // because catchswitch doesn't have a nounwind variant.
3557         // See e.g. SimplifyCFGOpt::SimplifyUnreachable.
3558         if (CSI->unwindsToCaller())
3559           continue;
3560         UnwindDest = CSI->getUnwindDest();
3561       } else if (auto *II = dyn_cast<InvokeInst>(U)) {
3562         UnwindDest = II->getUnwindDest();
3563       } else if (isa<CallInst>(U)) {
3564         // Calls which don't unwind may be found inside funclet
3565         // pads that unwind somewhere else.  We don't *require*
3566         // such calls to be annotated nounwind.
3567         continue;
3568       } else if (auto *CPI = dyn_cast<CleanupPadInst>(U)) {
3569         // The unwind dest for a cleanup can only be found by
3570         // recursive search.  Add it to the worklist, and we'll
3571         // search for its first use that determines where it unwinds.
3572         Worklist.push_back(CPI);
3573         continue;
3574       } else {
3575         Assert(isa<CatchReturnInst>(U), "Bogus funclet pad use", U);
3576         continue;
3577       }
3578
3579       Value *UnwindPad;
3580       bool ExitsFPI;
3581       if (UnwindDest) {
3582         UnwindPad = UnwindDest->getFirstNonPHI();
3583         if (!cast<Instruction>(UnwindPad)->isEHPad())
3584           continue;
3585         Value *UnwindParent = getParentPad(UnwindPad);
3586         // Ignore unwind edges that don't exit CurrentPad.
3587         if (UnwindParent == CurrentPad)
3588           continue;
3589         // Determine whether the original funclet pad is exited,
3590         // and if we are scanning nested pads determine how many
3591         // of them are exited so we can stop searching their
3592         // children.
3593         Value *ExitedPad = CurrentPad;
3594         ExitsFPI = false;
3595         do {
3596           if (ExitedPad == &FPI) {
3597             ExitsFPI = true;
3598             // Now we can resolve any ancestors of CurrentPad up to
3599             // FPI, but not including FPI since we need to make sure
3600             // to check all direct users of FPI for consistency.
3601             UnresolvedAncestorPad = &FPI;
3602             break;
3603           }
3604           Value *ExitedParent = getParentPad(ExitedPad);
3605           if (ExitedParent == UnwindParent) {
3606             // ExitedPad is the ancestor-most pad which this unwind
3607             // edge exits, so we can resolve up to it, meaning that
3608             // ExitedParent is the first ancestor still unresolved.
3609             UnresolvedAncestorPad = ExitedParent;
3610             break;
3611           }
3612           ExitedPad = ExitedParent;
3613         } while (!isa<ConstantTokenNone>(ExitedPad));
3614       } else {
3615         // Unwinding to caller exits all pads.
3616         UnwindPad = ConstantTokenNone::get(FPI.getContext());
3617         ExitsFPI = true;
3618         UnresolvedAncestorPad = &FPI;
3619       }
3620
3621       if (ExitsFPI) {
3622         // This unwind edge exits FPI.  Make sure it agrees with other
3623         // such edges.
3624         if (FirstUser) {
3625           Assert(UnwindPad == FirstUnwindPad, "Unwind edges out of a funclet "
3626                                               "pad must have the same unwind "
3627                                               "dest",
3628                  &FPI, U, FirstUser);
3629         } else {
3630           FirstUser = U;
3631           FirstUnwindPad = UnwindPad;
3632           // Record cleanup sibling unwinds for verifySiblingFuncletUnwinds
3633           if (isa<CleanupPadInst>(&FPI) && !isa<ConstantTokenNone>(UnwindPad) &&
3634               getParentPad(UnwindPad) == getParentPad(&FPI))
3635             SiblingFuncletInfo[&FPI] = cast<TerminatorInst>(U);
3636         }
3637       }
3638       // Make sure we visit all uses of FPI, but for nested pads stop as
3639       // soon as we know where they unwind to.
3640       if (CurrentPad != &FPI)
3641         break;
3642     }
3643     if (UnresolvedAncestorPad) {
3644       if (CurrentPad == UnresolvedAncestorPad) {
3645         // When CurrentPad is FPI itself, we don't mark it as resolved even if
3646         // we've found an unwind edge that exits it, because we need to verify
3647         // all direct uses of FPI.
3648         assert(CurrentPad == &FPI);
3649         continue;
3650       }
3651       // Pop off the worklist any nested pads that we've found an unwind
3652       // destination for.  The pads on the worklist are the uncles,
3653       // great-uncles, etc. of CurrentPad.  We've found an unwind destination
3654       // for all ancestors of CurrentPad up to but not including
3655       // UnresolvedAncestorPad.
3656       Value *ResolvedPad = CurrentPad;
3657       while (!Worklist.empty()) {
3658         Value *UnclePad = Worklist.back();
3659         Value *AncestorPad = getParentPad(UnclePad);
3660         // Walk ResolvedPad up the ancestor list until we either find the
3661         // uncle's parent or the last resolved ancestor.
3662         while (ResolvedPad != AncestorPad) {
3663           Value *ResolvedParent = getParentPad(ResolvedPad);
3664           if (ResolvedParent == UnresolvedAncestorPad) {
3665             break;
3666           }
3667           ResolvedPad = ResolvedParent;
3668         }
3669         // If the resolved ancestor search didn't find the uncle's parent,
3670         // then the uncle is not yet resolved.
3671         if (ResolvedPad != AncestorPad)
3672           break;
3673         // This uncle is resolved, so pop it from the worklist.
3674         Worklist.pop_back();
3675       }
3676     }
3677   }
3678
3679   if (FirstUnwindPad) {
3680     if (auto *CatchSwitch = dyn_cast<CatchSwitchInst>(FPI.getParentPad())) {
3681       BasicBlock *SwitchUnwindDest = CatchSwitch->getUnwindDest();
3682       Value *SwitchUnwindPad;
3683       if (SwitchUnwindDest)
3684         SwitchUnwindPad = SwitchUnwindDest->getFirstNonPHI();
3685       else
3686         SwitchUnwindPad = ConstantTokenNone::get(FPI.getContext());
3687       Assert(SwitchUnwindPad == FirstUnwindPad,
3688              "Unwind edges out of a catch must have the same unwind dest as "
3689              "the parent catchswitch",
3690              &FPI, FirstUser, CatchSwitch);
3691     }
3692   }
3693
3694   visitInstruction(FPI);
3695 }
3696
3697 void Verifier::visitCatchSwitchInst(CatchSwitchInst &CatchSwitch) {
3698   BasicBlock *BB = CatchSwitch.getParent();
3699
3700   Function *F = BB->getParent();
3701   Assert(F->hasPersonalityFn(),
3702          "CatchSwitchInst needs to be in a function with a personality.",
3703          &CatchSwitch);
3704
3705   // The catchswitch instruction must be the first non-PHI instruction in the
3706   // block.
3707   Assert(BB->getFirstNonPHI() == &CatchSwitch,
3708          "CatchSwitchInst not the first non-PHI instruction in the block.",
3709          &CatchSwitch);
3710
3711   auto *ParentPad = CatchSwitch.getParentPad();
3712   Assert(isa<ConstantTokenNone>(ParentPad) || isa<FuncletPadInst>(ParentPad),
3713          "CatchSwitchInst has an invalid parent.", ParentPad);
3714
3715   if (BasicBlock *UnwindDest = CatchSwitch.getUnwindDest()) {
3716     Instruction *I = UnwindDest->getFirstNonPHI();
3717     Assert(I->isEHPad() && !isa<LandingPadInst>(I),
3718            "CatchSwitchInst must unwind to an EH block which is not a "
3719            "landingpad.",
3720            &CatchSwitch);
3721
3722     // Record catchswitch sibling unwinds for verifySiblingFuncletUnwinds
3723     if (getParentPad(I) == ParentPad)
3724       SiblingFuncletInfo[&CatchSwitch] = &CatchSwitch;
3725   }
3726
3727   Assert(CatchSwitch.getNumHandlers() != 0,
3728          "CatchSwitchInst cannot have empty handler list", &CatchSwitch);
3729
3730   for (BasicBlock *Handler : CatchSwitch.handlers()) {
3731     Assert(isa<CatchPadInst>(Handler->getFirstNonPHI()),
3732            "CatchSwitchInst handlers must be catchpads", &CatchSwitch, Handler);
3733   }
3734
3735   visitEHPadPredecessors(CatchSwitch);
3736   visitTerminatorInst(CatchSwitch);
3737 }
3738
3739 void Verifier::visitCleanupReturnInst(CleanupReturnInst &CRI) {
3740   Assert(isa<CleanupPadInst>(CRI.getOperand(0)),
3741          "CleanupReturnInst needs to be provided a CleanupPad", &CRI,
3742          CRI.getOperand(0));
3743
3744   if (BasicBlock *UnwindDest = CRI.getUnwindDest()) {
3745     Instruction *I = UnwindDest->getFirstNonPHI();
3746     Assert(I->isEHPad() && !isa<LandingPadInst>(I),
3747            "CleanupReturnInst must unwind to an EH block which is not a "
3748            "landingpad.",
3749            &CRI);
3750   }
3751
3752   visitTerminatorInst(CRI);
3753 }
3754
3755 void Verifier::verifyDominatesUse(Instruction &I, unsigned i) {
3756   Instruction *Op = cast<Instruction>(I.getOperand(i));
3757   // If the we have an invalid invoke, don't try to compute the dominance.
3758   // We already reject it in the invoke specific checks and the dominance
3759   // computation doesn't handle multiple edges.
3760   if (InvokeInst *II = dyn_cast<InvokeInst>(Op)) {
3761     if (II->getNormalDest() == II->getUnwindDest())
3762       return;
3763   }
3764
3765   // Quick check whether the def has already been encountered in the same block.
3766   // PHI nodes are not checked to prevent accepting preceeding PHIs, because PHI
3767   // uses are defined to happen on the incoming edge, not at the instruction.
3768   //
3769   // FIXME: If this operand is a MetadataAsValue (wrapping a LocalAsMetadata)
3770   // wrapping an SSA value, assert that we've already encountered it.  See
3771   // related FIXME in Mapper::mapLocalAsMetadata in ValueMapper.cpp.
3772   if (!isa<PHINode>(I) && InstsInThisBlock.count(Op))
3773     return;
3774
3775   const Use &U = I.getOperandUse(i);
3776   Assert(DT.dominates(Op, U),
3777          "Instruction does not dominate all uses!", Op, &I);
3778 }
3779
3780 void Verifier::visitDereferenceableMetadata(Instruction& I, MDNode* MD) {
3781   Assert(I.getType()->isPointerTy(), "dereferenceable, dereferenceable_or_null "
3782          "apply only to pointer types", &I);
3783   Assert(isa<LoadInst>(I),
3784          "dereferenceable, dereferenceable_or_null apply only to load"
3785          " instructions, use attributes for calls or invokes", &I);
3786   Assert(MD->getNumOperands() == 1, "dereferenceable, dereferenceable_or_null "
3787          "take one operand!", &I);
3788   ConstantInt *CI = mdconst::dyn_extract<ConstantInt>(MD->getOperand(0));
3789   Assert(CI && CI->getType()->isIntegerTy(64), "dereferenceable, "
3790          "dereferenceable_or_null metadata value must be an i64!", &I);
3791 }
3792
3793 /// verifyInstruction - Verify that an instruction is well formed.
3794 ///
3795 void Verifier::visitInstruction(Instruction &I) {
3796   BasicBlock *BB = I.getParent();
3797   Assert(BB, "Instruction not embedded in basic block!", &I);
3798
3799   if (!isa<PHINode>(I)) {   // Check that non-phi nodes are not self referential
3800     for (User *U : I.users()) {
3801       Assert(U != (User *)&I || !DT.isReachableFromEntry(BB),
3802              "Only PHI nodes may reference their own value!", &I);
3803     }
3804   }
3805
3806   // Check that void typed values don't have names
3807   Assert(!I.getType()->isVoidTy() || !I.hasName(),
3808          "Instruction has a name, but provides a void value!", &I);
3809
3810   // Check that the return value of the instruction is either void or a legal
3811   // value type.
3812   Assert(I.getType()->isVoidTy() || I.getType()->isFirstClassType(),
3813          "Instruction returns a non-scalar type!", &I);
3814
3815   // Check that the instruction doesn't produce metadata. Calls are already
3816   // checked against the callee type.
3817   Assert(!I.getType()->isMetadataTy() || isa<CallInst>(I) || isa<InvokeInst>(I),
3818          "Invalid use of metadata!", &I);
3819
3820   // Check that all uses of the instruction, if they are instructions
3821   // themselves, actually have parent basic blocks.  If the use is not an
3822   // instruction, it is an error!
3823   for (Use &U : I.uses()) {
3824     if (Instruction *Used = dyn_cast<Instruction>(U.getUser()))
3825       Assert(Used->getParent() != nullptr,
3826              "Instruction referencing"
3827              " instruction not embedded in a basic block!",
3828              &I, Used);
3829     else {
3830       CheckFailed("Use of instruction is not an instruction!", U);
3831       return;
3832     }
3833   }
3834
3835   for (unsigned i = 0, e = I.getNumOperands(); i != e; ++i) {
3836     Assert(I.getOperand(i) != nullptr, "Instruction has null operand!", &I);
3837
3838     // Check to make sure that only first-class-values are operands to
3839     // instructions.
3840     if (!I.getOperand(i)->getType()->isFirstClassType()) {
3841       Assert(false, "Instruction operands must be first-class values!", &I);
3842     }
3843
3844     if (Function *F = dyn_cast<Function>(I.getOperand(i))) {
3845       // Check to make sure that the "address of" an intrinsic function is never
3846       // taken.
3847       Assert(
3848           !F->isIntrinsic() ||
3849               i == (isa<CallInst>(I) ? e - 1 : isa<InvokeInst>(I) ? e - 3 : 0),
3850           "Cannot take the address of an intrinsic!", &I);
3851       Assert(
3852           !F->isIntrinsic() || isa<CallInst>(I) ||
3853               F->getIntrinsicID() == Intrinsic::donothing ||
3854               F->getIntrinsicID() == Intrinsic::coro_resume ||
3855               F->getIntrinsicID() == Intrinsic::coro_destroy ||
3856               F->getIntrinsicID() == Intrinsic::experimental_patchpoint_void ||
3857               F->getIntrinsicID() == Intrinsic::experimental_patchpoint_i64 ||
3858               F->getIntrinsicID() == Intrinsic::experimental_gc_statepoint,
3859           "Cannot invoke an intrinsic other than donothing, patchpoint, "
3860           "statepoint, coro_resume or coro_destroy",
3861           &I);
3862       Assert(F->getParent() == &M, "Referencing function in another module!",
3863              &I, &M, F, F->getParent());
3864     } else if (BasicBlock *OpBB = dyn_cast<BasicBlock>(I.getOperand(i))) {
3865       Assert(OpBB->getParent() == BB->getParent(),
3866              "Referring to a basic block in another function!", &I);
3867     } else if (Argument *OpArg = dyn_cast<Argument>(I.getOperand(i))) {
3868       Assert(OpArg->getParent() == BB->getParent(),
3869              "Referring to an argument in another function!", &I);
3870     } else if (GlobalValue *GV = dyn_cast<GlobalValue>(I.getOperand(i))) {
3871       Assert(GV->getParent() == &M, "Referencing global in another module!", &I,
3872              &M, GV, GV->getParent());
3873     } else if (isa<Instruction>(I.getOperand(i))) {
3874       verifyDominatesUse(I, i);
3875     } else if (isa<InlineAsm>(I.getOperand(i))) {
3876       Assert((i + 1 == e && isa<CallInst>(I)) ||
3877                  (i + 3 == e && isa<InvokeInst>(I)),
3878              "Cannot take the address of an inline asm!", &I);
3879     } else if (ConstantExpr *CE = dyn_cast<ConstantExpr>(I.getOperand(i))) {
3880       if (CE->getType()->isPtrOrPtrVectorTy() ||
3881           !DL.getNonIntegralAddressSpaces().empty()) {
3882         // If we have a ConstantExpr pointer, we need to see if it came from an
3883         // illegal bitcast.  If the datalayout string specifies non-integral
3884         // address spaces then we also need to check for illegal ptrtoint and
3885         // inttoptr expressions.
3886         visitConstantExprsRecursively(CE);
3887       }
3888     }
3889   }
3890
3891   if (MDNode *MD = I.getMetadata(LLVMContext::MD_fpmath)) {
3892     Assert(I.getType()->isFPOrFPVectorTy(),
3893            "fpmath requires a floating point result!", &I);
3894     Assert(MD->getNumOperands() == 1, "fpmath takes one operand!", &I);
3895     if (ConstantFP *CFP0 =
3896             mdconst::dyn_extract_or_null<ConstantFP>(MD->getOperand(0))) {
3897       const APFloat &Accuracy = CFP0->getValueAPF();
3898       Assert(&Accuracy.getSemantics() == &APFloat::IEEEsingle(),
3899              "fpmath accuracy must have float type", &I);
3900       Assert(Accuracy.isFiniteNonZero() && !Accuracy.isNegative(),
3901              "fpmath accuracy not a positive number!", &I);
3902     } else {
3903       Assert(false, "invalid fpmath accuracy!", &I);
3904     }
3905   }
3906
3907   if (MDNode *Range = I.getMetadata(LLVMContext::MD_range)) {
3908     Assert(isa<LoadInst>(I) || isa<CallInst>(I) || isa<InvokeInst>(I),
3909            "Ranges are only for loads, calls and invokes!", &I);
3910     visitRangeMetadata(I, Range, I.getType());
3911   }
3912
3913   if (I.getMetadata(LLVMContext::MD_nonnull)) {
3914     Assert(I.getType()->isPointerTy(), "nonnull applies only to pointer types",
3915            &I);
3916     Assert(isa<LoadInst>(I),
3917            "nonnull applies only to load instructions, use attributes"
3918            " for calls or invokes",
3919            &I);
3920   }
3921
3922   if (MDNode *MD = I.getMetadata(LLVMContext::MD_dereferenceable))
3923     visitDereferenceableMetadata(I, MD);
3924
3925   if (MDNode *MD = I.getMetadata(LLVMContext::MD_dereferenceable_or_null))
3926     visitDereferenceableMetadata(I, MD);
3927
3928   if (MDNode *TBAA = I.getMetadata(LLVMContext::MD_tbaa))
3929     TBAAVerifyHelper.visitTBAAMetadata(I, TBAA);
3930
3931   if (MDNode *AlignMD = I.getMetadata(LLVMContext::MD_align)) {
3932     Assert(I.getType()->isPointerTy(), "align applies only to pointer types",
3933            &I);
3934     Assert(isa<LoadInst>(I), "align applies only to load instructions, "
3935            "use attributes for calls or invokes", &I);
3936     Assert(AlignMD->getNumOperands() == 1, "align takes one operand!", &I);
3937     ConstantInt *CI = mdconst::dyn_extract<ConstantInt>(AlignMD->getOperand(0));
3938     Assert(CI && CI->getType()->isIntegerTy(64),
3939            "align metadata value must be an i64!", &I);
3940     uint64_t Align = CI->getZExtValue();
3941     Assert(isPowerOf2_64(Align),
3942            "align metadata value must be a power of 2!", &I);
3943     Assert(Align <= Value::MaximumAlignment,
3944            "alignment is larger that implementation defined limit", &I);
3945   }
3946
3947   if (MDNode *N = I.getDebugLoc().getAsMDNode()) {
3948     AssertDI(isa<DILocation>(N), "invalid !dbg metadata attachment", &I, N);
3949     visitMDNode(*N);
3950   }
3951
3952   if (auto *DII = dyn_cast<DbgInfoIntrinsic>(&I))
3953     verifyFragmentExpression(*DII);
3954
3955   InstsInThisBlock.insert(&I);
3956 }
3957
3958 /// Allow intrinsics to be verified in different ways.
3959 void Verifier::visitIntrinsicCallSite(Intrinsic::ID ID, CallSite CS) {
3960   Function *IF = CS.getCalledFunction();
3961   Assert(IF->isDeclaration(), "Intrinsic functions should never be defined!",
3962          IF);
3963
3964   // Verify that the intrinsic prototype lines up with what the .td files
3965   // describe.
3966   FunctionType *IFTy = IF->getFunctionType();
3967   bool IsVarArg = IFTy->isVarArg();
3968
3969   SmallVector<Intrinsic::IITDescriptor, 8> Table;
3970   getIntrinsicInfoTableEntries(ID, Table);
3971   ArrayRef<Intrinsic::IITDescriptor> TableRef = Table;
3972
3973   SmallVector<Type *, 4> ArgTys;
3974   Assert(!Intrinsic::matchIntrinsicType(IFTy->getReturnType(),
3975                                         TableRef, ArgTys),
3976          "Intrinsic has incorrect return type!", IF);
3977   for (unsigned i = 0, e = IFTy->getNumParams(); i != e; ++i)
3978     Assert(!Intrinsic::matchIntrinsicType(IFTy->getParamType(i),
3979                                           TableRef, ArgTys),
3980            "Intrinsic has incorrect argument type!", IF);
3981
3982   // Verify if the intrinsic call matches the vararg property.
3983   if (IsVarArg)
3984     Assert(!Intrinsic::matchIntrinsicVarArg(IsVarArg, TableRef),
3985            "Intrinsic was not defined with variable arguments!", IF);
3986   else
3987     Assert(!Intrinsic::matchIntrinsicVarArg(IsVarArg, TableRef),
3988            "Callsite was not defined with variable arguments!", IF);
3989
3990   // All descriptors should be absorbed by now.
3991   Assert(TableRef.empty(), "Intrinsic has too few arguments!", IF);
3992
3993   // Now that we have the intrinsic ID and the actual argument types (and we
3994   // know they are legal for the intrinsic!) get the intrinsic name through the
3995   // usual means.  This allows us to verify the mangling of argument types into
3996   // the name.
3997   const std::string ExpectedName = Intrinsic::getName(ID, ArgTys);
3998   Assert(ExpectedName == IF->getName(),
3999          "Intrinsic name not mangled correctly for type arguments! "
4000          "Should be: " +
4001              ExpectedName,
4002          IF);
4003
4004   // If the intrinsic takes MDNode arguments, verify that they are either global
4005   // or are local to *this* function.
4006   for (Value *V : CS.args())
4007     if (auto *MD = dyn_cast<MetadataAsValue>(V))
4008       visitMetadataAsValue(*MD, CS.getCaller());
4009
4010   switch (ID) {
4011   default:
4012     break;
4013   case Intrinsic::coro_id: {
4014     auto *InfoArg = CS.getArgOperand(3)->stripPointerCasts();
4015     if (isa<ConstantPointerNull>(InfoArg))
4016       break;
4017     auto *GV = dyn_cast<GlobalVariable>(InfoArg);
4018     Assert(GV && GV->isConstant() && GV->hasDefinitiveInitializer(),
4019       "info argument of llvm.coro.begin must refer to an initialized "
4020       "constant");
4021     Constant *Init = GV->getInitializer();
4022     Assert(isa<ConstantStruct>(Init) || isa<ConstantArray>(Init),
4023       "info argument of llvm.coro.begin must refer to either a struct or "
4024       "an array");
4025     break;
4026   }
4027   case Intrinsic::ctlz:  // llvm.ctlz
4028   case Intrinsic::cttz:  // llvm.cttz
4029     Assert(isa<ConstantInt>(CS.getArgOperand(1)),
4030            "is_zero_undef argument of bit counting intrinsics must be a "
4031            "constant int",
4032            CS);
4033     break;
4034   case Intrinsic::experimental_constrained_fadd:
4035   case Intrinsic::experimental_constrained_fsub:
4036   case Intrinsic::experimental_constrained_fmul:
4037   case Intrinsic::experimental_constrained_fdiv:
4038   case Intrinsic::experimental_constrained_frem:
4039   case Intrinsic::experimental_constrained_fma:
4040   case Intrinsic::experimental_constrained_sqrt:
4041   case Intrinsic::experimental_constrained_pow:
4042   case Intrinsic::experimental_constrained_powi:
4043   case Intrinsic::experimental_constrained_sin:
4044   case Intrinsic::experimental_constrained_cos:
4045   case Intrinsic::experimental_constrained_exp:
4046   case Intrinsic::experimental_constrained_exp2:
4047   case Intrinsic::experimental_constrained_log:
4048   case Intrinsic::experimental_constrained_log10:
4049   case Intrinsic::experimental_constrained_log2:
4050   case Intrinsic::experimental_constrained_rint:
4051   case Intrinsic::experimental_constrained_nearbyint:
4052     visitConstrainedFPIntrinsic(
4053         cast<ConstrainedFPIntrinsic>(*CS.getInstruction()));
4054     break;
4055   case Intrinsic::dbg_declare: // llvm.dbg.declare
4056     Assert(isa<MetadataAsValue>(CS.getArgOperand(0)),
4057            "invalid llvm.dbg.declare intrinsic call 1", CS);
4058     visitDbgIntrinsic("declare", cast<DbgInfoIntrinsic>(*CS.getInstruction()));
4059     break;
4060   case Intrinsic::dbg_addr: // llvm.dbg.addr
4061     visitDbgIntrinsic("addr", cast<DbgInfoIntrinsic>(*CS.getInstruction()));
4062     break;
4063   case Intrinsic::dbg_value: // llvm.dbg.value
4064     visitDbgIntrinsic("value", cast<DbgInfoIntrinsic>(*CS.getInstruction()));
4065     break;
4066   case Intrinsic::memcpy:
4067   case Intrinsic::memmove:
4068   case Intrinsic::memset: {
4069     const auto *MI = cast<MemIntrinsic>(CS.getInstruction());
4070     auto IsValidAlignment = [&](unsigned Alignment) -> bool {
4071       return Alignment == 0 || isPowerOf2_32(Alignment);
4072     };
4073     Assert(IsValidAlignment(MI->getDestAlignment()),
4074            "alignment of arg 0 of memory intrinsic must be 0 or a power of 2",
4075            CS);
4076     if (const auto *MTI = dyn_cast<MemTransferInst>(MI)) {
4077       Assert(IsValidAlignment(MTI->getSourceAlignment()),
4078              "alignment of arg 1 of memory intrinsic must be 0 or a power of 2",
4079              CS);
4080     }
4081     Assert(isa<ConstantInt>(CS.getArgOperand(3)),
4082            "isvolatile argument of memory intrinsics must be a constant int",
4083            CS);
4084     break;
4085   }
4086   case Intrinsic::memcpy_element_unordered_atomic: {
4087     const AtomicMemCpyInst *MI = cast<AtomicMemCpyInst>(CS.getInstruction());
4088
4089     ConstantInt *ElementSizeCI =
4090         dyn_cast<ConstantInt>(MI->getRawElementSizeInBytes());
4091     Assert(ElementSizeCI,
4092            "element size of the element-wise unordered atomic memory "
4093            "intrinsic must be a constant int",
4094            CS);
4095     const APInt &ElementSizeVal = ElementSizeCI->getValue();
4096     Assert(ElementSizeVal.isPowerOf2(),
4097            "element size of the element-wise atomic memory intrinsic "
4098            "must be a power of 2",
4099            CS);
4100
4101     if (auto *LengthCI = dyn_cast<ConstantInt>(MI->getLength())) {
4102       uint64_t Length = LengthCI->getZExtValue();
4103       uint64_t ElementSize = MI->getElementSizeInBytes();
4104       Assert((Length % ElementSize) == 0,
4105              "constant length must be a multiple of the element size in the "
4106              "element-wise atomic memory intrinsic",
4107              CS);
4108     }
4109
4110     auto IsValidAlignment = [&](uint64_t Alignment) {
4111       return isPowerOf2_64(Alignment) && ElementSizeVal.ule(Alignment);
4112     };
4113     uint64_t DstAlignment = CS.getParamAlignment(0),
4114              SrcAlignment = CS.getParamAlignment(1);
4115     Assert(IsValidAlignment(DstAlignment),
4116            "incorrect alignment of the destination argument", CS);
4117     Assert(IsValidAlignment(SrcAlignment),
4118            "incorrect alignment of the source argument", CS);
4119     break;
4120   }
4121   case Intrinsic::memmove_element_unordered_atomic: {
4122     auto *MI = cast<AtomicMemMoveInst>(CS.getInstruction());
4123
4124     ConstantInt *ElementSizeCI =
4125         dyn_cast<ConstantInt>(MI->getRawElementSizeInBytes());
4126     Assert(ElementSizeCI,
4127            "element size of the element-wise unordered atomic memory "
4128            "intrinsic must be a constant int",
4129            CS);
4130     const APInt &ElementSizeVal = ElementSizeCI->getValue();
4131     Assert(ElementSizeVal.isPowerOf2(),
4132            "element size of the element-wise atomic memory intrinsic "
4133            "must be a power of 2",
4134            CS);
4135
4136     if (auto *LengthCI = dyn_cast<ConstantInt>(MI->getLength())) {
4137       uint64_t Length = LengthCI->getZExtValue();
4138       uint64_t ElementSize = MI->getElementSizeInBytes();
4139       Assert((Length % ElementSize) == 0,
4140              "constant length must be a multiple of the element size in the "
4141              "element-wise atomic memory intrinsic",
4142              CS);
4143     }
4144
4145     auto IsValidAlignment = [&](uint64_t Alignment) {
4146       return isPowerOf2_64(Alignment) && ElementSizeVal.ule(Alignment);
4147     };
4148     uint64_t DstAlignment = CS.getParamAlignment(0),
4149              SrcAlignment = CS.getParamAlignment(1);
4150     Assert(IsValidAlignment(DstAlignment),
4151            "incorrect alignment of the destination argument", CS);
4152     Assert(IsValidAlignment(SrcAlignment),
4153            "incorrect alignment of the source argument", CS);
4154     break;
4155   }
4156   case Intrinsic::memset_element_unordered_atomic: {
4157     auto *MI = cast<AtomicMemSetInst>(CS.getInstruction());
4158
4159     ConstantInt *ElementSizeCI =
4160         dyn_cast<ConstantInt>(MI->getRawElementSizeInBytes());
4161     Assert(ElementSizeCI,
4162            "element size of the element-wise unordered atomic memory "
4163            "intrinsic must be a constant int",
4164            CS);
4165     const APInt &ElementSizeVal = ElementSizeCI->getValue();
4166     Assert(ElementSizeVal.isPowerOf2(),
4167            "element size of the element-wise atomic memory intrinsic "
4168            "must be a power of 2",
4169            CS);
4170
4171     if (auto *LengthCI = dyn_cast<ConstantInt>(MI->getLength())) {
4172       uint64_t Length = LengthCI->getZExtValue();
4173       uint64_t ElementSize = MI->getElementSizeInBytes();
4174       Assert((Length % ElementSize) == 0,
4175              "constant length must be a multiple of the element size in the "
4176              "element-wise atomic memory intrinsic",
4177              CS);
4178     }
4179
4180     auto IsValidAlignment = [&](uint64_t Alignment) {
4181       return isPowerOf2_64(Alignment) && ElementSizeVal.ule(Alignment);
4182     };
4183     uint64_t DstAlignment = CS.getParamAlignment(0);
4184     Assert(IsValidAlignment(DstAlignment),
4185            "incorrect alignment of the destination argument", CS);
4186     break;
4187   }
4188   case Intrinsic::gcroot:
4189   case Intrinsic::gcwrite:
4190   case Intrinsic::gcread:
4191     if (ID == Intrinsic::gcroot) {
4192       AllocaInst *AI =
4193         dyn_cast<AllocaInst>(CS.getArgOperand(0)->stripPointerCasts());
4194       Assert(AI, "llvm.gcroot parameter #1 must be an alloca.", CS);
4195       Assert(isa<Constant>(CS.getArgOperand(1)),
4196              "llvm.gcroot parameter #2 must be a constant.", CS);
4197       if (!AI->getAllocatedType()->isPointerTy()) {
4198         Assert(!isa<ConstantPointerNull>(CS.getArgOperand(1)),
4199                "llvm.gcroot parameter #1 must either be a pointer alloca, "
4200                "or argument #2 must be a non-null constant.",
4201                CS);
4202       }
4203     }
4204
4205     Assert(CS.getParent()->getParent()->hasGC(),
4206            "Enclosing function does not use GC.", CS);
4207     break;
4208   case Intrinsic::init_trampoline:
4209     Assert(isa<Function>(CS.getArgOperand(1)->stripPointerCasts()),
4210            "llvm.init_trampoline parameter #2 must resolve to a function.",
4211            CS);
4212     break;
4213   case Intrinsic::prefetch:
4214     Assert(isa<ConstantInt>(CS.getArgOperand(1)) &&
4215                isa<ConstantInt>(CS.getArgOperand(2)) &&
4216                cast<ConstantInt>(CS.getArgOperand(1))->getZExtValue() < 2 &&
4217                cast<ConstantInt>(CS.getArgOperand(2))->getZExtValue() < 4,
4218            "invalid arguments to llvm.prefetch", CS);
4219     break;
4220   case Intrinsic::stackprotector:
4221     Assert(isa<AllocaInst>(CS.getArgOperand(1)->stripPointerCasts()),
4222            "llvm.stackprotector parameter #2 must resolve to an alloca.", CS);
4223     break;
4224   case Intrinsic::lifetime_start:
4225   case Intrinsic::lifetime_end:
4226   case Intrinsic::invariant_start:
4227     Assert(isa<ConstantInt>(CS.getArgOperand(0)),
4228            "size argument of memory use markers must be a constant integer",
4229            CS);
4230     break;
4231   case Intrinsic::invariant_end:
4232     Assert(isa<ConstantInt>(CS.getArgOperand(1)),
4233            "llvm.invariant.end parameter #2 must be a constant integer", CS);
4234     break;
4235
4236   case Intrinsic::localescape: {
4237     BasicBlock *BB = CS.getParent();
4238     Assert(BB == &BB->getParent()->front(),
4239            "llvm.localescape used outside of entry block", CS);
4240     Assert(!SawFrameEscape,
4241            "multiple calls to llvm.localescape in one function", CS);
4242     for (Value *Arg : CS.args()) {
4243       if (isa<ConstantPointerNull>(Arg))
4244         continue; // Null values are allowed as placeholders.
4245       auto *AI = dyn_cast<AllocaInst>(Arg->stripPointerCasts());
4246       Assert(AI && AI->isStaticAlloca(),
4247              "llvm.localescape only accepts static allocas", CS);
4248     }
4249     FrameEscapeInfo[BB->getParent()].first = CS.getNumArgOperands();
4250     SawFrameEscape = true;
4251     break;
4252   }
4253   case Intrinsic::localrecover: {
4254     Value *FnArg = CS.getArgOperand(0)->stripPointerCasts();
4255     Function *Fn = dyn_cast<Function>(FnArg);
4256     Assert(Fn && !Fn->isDeclaration(),
4257            "llvm.localrecover first "
4258            "argument must be function defined in this module",
4259            CS);
4260     auto *IdxArg = dyn_cast<ConstantInt>(CS.getArgOperand(2));
4261     Assert(IdxArg, "idx argument of llvm.localrecover must be a constant int",
4262            CS);
4263     auto &Entry = FrameEscapeInfo[Fn];
4264     Entry.second = unsigned(
4265         std::max(uint64_t(Entry.second), IdxArg->getLimitedValue(~0U) + 1));
4266     break;
4267   }
4268
4269   case Intrinsic::experimental_gc_statepoint:
4270     Assert(!CS.isInlineAsm(),
4271            "gc.statepoint support for inline assembly unimplemented", CS);
4272     Assert(CS.getParent()->getParent()->hasGC(),
4273            "Enclosing function does not use GC.", CS);
4274
4275     verifyStatepoint(CS);
4276     break;
4277   case Intrinsic::experimental_gc_result: {
4278     Assert(CS.getParent()->getParent()->hasGC(),
4279            "Enclosing function does not use GC.", CS);
4280     // Are we tied to a statepoint properly?
4281     CallSite StatepointCS(CS.getArgOperand(0));
4282     const Function *StatepointFn =
4283       StatepointCS.getInstruction() ? StatepointCS.getCalledFunction() : nullptr;
4284     Assert(StatepointFn && StatepointFn->isDeclaration() &&
4285                StatepointFn->getIntrinsicID() ==
4286                    Intrinsic::experimental_gc_statepoint,
4287            "gc.result operand #1 must be from a statepoint", CS,
4288            CS.getArgOperand(0));
4289
4290     // Assert that result type matches wrapped callee.
4291     const Value *Target = StatepointCS.getArgument(2);
4292     auto *PT = cast<PointerType>(Target->getType());
4293     auto *TargetFuncType = cast<FunctionType>(PT->getElementType());
4294     Assert(CS.getType() == TargetFuncType->getReturnType(),
4295            "gc.result result type does not match wrapped callee", CS);
4296     break;
4297   }
4298   case Intrinsic::experimental_gc_relocate: {
4299     Assert(CS.getNumArgOperands() == 3, "wrong number of arguments", CS);
4300
4301     Assert(isa<PointerType>(CS.getType()->getScalarType()),
4302            "gc.relocate must return a pointer or a vector of pointers", CS);
4303
4304     // Check that this relocate is correctly tied to the statepoint
4305
4306     // This is case for relocate on the unwinding path of an invoke statepoint
4307     if (LandingPadInst *LandingPad =
4308           dyn_cast<LandingPadInst>(CS.getArgOperand(0))) {
4309
4310       const BasicBlock *InvokeBB =
4311           LandingPad->getParent()->getUniquePredecessor();
4312
4313       // Landingpad relocates should have only one predecessor with invoke
4314       // statepoint terminator
4315       Assert(InvokeBB, "safepoints should have unique landingpads",
4316              LandingPad->getParent());
4317       Assert(InvokeBB->getTerminator(), "safepoint block should be well formed",
4318              InvokeBB);
4319       Assert(isStatepoint(InvokeBB->getTerminator()),
4320              "gc relocate should be linked to a statepoint", InvokeBB);
4321     }
4322     else {
4323       // In all other cases relocate should be tied to the statepoint directly.
4324       // This covers relocates on a normal return path of invoke statepoint and
4325       // relocates of a call statepoint.
4326       auto Token = CS.getArgOperand(0);
4327       Assert(isa<Instruction>(Token) && isStatepoint(cast<Instruction>(Token)),
4328              "gc relocate is incorrectly tied to the statepoint", CS, Token);
4329     }
4330
4331     // Verify rest of the relocate arguments.
4332
4333     ImmutableCallSite StatepointCS(
4334         cast<GCRelocateInst>(*CS.getInstruction()).getStatepoint());
4335
4336     // Both the base and derived must be piped through the safepoint.
4337     Value* Base = CS.getArgOperand(1);
4338     Assert(isa<ConstantInt>(Base),
4339            "gc.relocate operand #2 must be integer offset", CS);
4340
4341     Value* Derived = CS.getArgOperand(2);
4342     Assert(isa<ConstantInt>(Derived),
4343            "gc.relocate operand #3 must be integer offset", CS);
4344
4345     const int BaseIndex = cast<ConstantInt>(Base)->getZExtValue();
4346     const int DerivedIndex = cast<ConstantInt>(Derived)->getZExtValue();
4347     // Check the bounds
4348     Assert(0 <= BaseIndex && BaseIndex < (int)StatepointCS.arg_size(),
4349            "gc.relocate: statepoint base index out of bounds", CS);
4350     Assert(0 <= DerivedIndex && DerivedIndex < (int)StatepointCS.arg_size(),
4351            "gc.relocate: statepoint derived index out of bounds", CS);
4352
4353     // Check that BaseIndex and DerivedIndex fall within the 'gc parameters'
4354     // section of the statepoint's argument.
4355     Assert(StatepointCS.arg_size() > 0,
4356            "gc.statepoint: insufficient arguments");
4357     Assert(isa<ConstantInt>(StatepointCS.getArgument(3)),
4358            "gc.statement: number of call arguments must be constant integer");
4359     const unsigned NumCallArgs =
4360         cast<ConstantInt>(StatepointCS.getArgument(3))->getZExtValue();
4361     Assert(StatepointCS.arg_size() > NumCallArgs + 5,
4362            "gc.statepoint: mismatch in number of call arguments");
4363     Assert(isa<ConstantInt>(StatepointCS.getArgument(NumCallArgs + 5)),
4364            "gc.statepoint: number of transition arguments must be "
4365            "a constant integer");
4366     const int NumTransitionArgs =
4367         cast<ConstantInt>(StatepointCS.getArgument(NumCallArgs + 5))
4368             ->getZExtValue();
4369     const int DeoptArgsStart = 4 + NumCallArgs + 1 + NumTransitionArgs + 1;
4370     Assert(isa<ConstantInt>(StatepointCS.getArgument(DeoptArgsStart)),
4371            "gc.statepoint: number of deoptimization arguments must be "
4372            "a constant integer");
4373     const int NumDeoptArgs =
4374         cast<ConstantInt>(StatepointCS.getArgument(DeoptArgsStart))
4375             ->getZExtValue();
4376     const int GCParamArgsStart = DeoptArgsStart + 1 + NumDeoptArgs;
4377     const int GCParamArgsEnd = StatepointCS.arg_size();
4378     Assert(GCParamArgsStart <= BaseIndex && BaseIndex < GCParamArgsEnd,
4379            "gc.relocate: statepoint base index doesn't fall within the "
4380            "'gc parameters' section of the statepoint call",
4381            CS);
4382     Assert(GCParamArgsStart <= DerivedIndex && DerivedIndex < GCParamArgsEnd,
4383            "gc.relocate: statepoint derived index doesn't fall within the "
4384            "'gc parameters' section of the statepoint call",
4385            CS);
4386
4387     // Relocated value must be either a pointer type or vector-of-pointer type,
4388     // but gc_relocate does not need to return the same pointer type as the
4389     // relocated pointer. It can be casted to the correct type later if it's
4390     // desired. However, they must have the same address space and 'vectorness'
4391     GCRelocateInst &Relocate = cast<GCRelocateInst>(*CS.getInstruction());
4392     Assert(Relocate.getDerivedPtr()->getType()->isPtrOrPtrVectorTy(),
4393            "gc.relocate: relocated value must be a gc pointer", CS);
4394
4395     auto ResultType = CS.getType();
4396     auto DerivedType = Relocate.getDerivedPtr()->getType();
4397     Assert(ResultType->isVectorTy() == DerivedType->isVectorTy(),
4398            "gc.relocate: vector relocates to vector and pointer to pointer",
4399            CS);
4400     Assert(
4401         ResultType->getPointerAddressSpace() ==
4402             DerivedType->getPointerAddressSpace(),
4403         "gc.relocate: relocating a pointer shouldn't change its address space",
4404         CS);
4405     break;
4406   }
4407   case Intrinsic::eh_exceptioncode:
4408   case Intrinsic::eh_exceptionpointer: {
4409     Assert(isa<CatchPadInst>(CS.getArgOperand(0)),
4410            "eh.exceptionpointer argument must be a catchpad", CS);
4411     break;
4412   }
4413   case Intrinsic::masked_load: {
4414     Assert(CS.getType()->isVectorTy(), "masked_load: must return a vector", CS);
4415
4416     Value *Ptr = CS.getArgOperand(0);
4417     //Value *Alignment = CS.getArgOperand(1);
4418     Value *Mask = CS.getArgOperand(2);
4419     Value *PassThru = CS.getArgOperand(3);
4420     Assert(Mask->getType()->isVectorTy(),
4421            "masked_load: mask must be vector", CS);
4422
4423     // DataTy is the overloaded type
4424     Type *DataTy = cast<PointerType>(Ptr->getType())->getElementType();
4425     Assert(DataTy == CS.getType(),
4426            "masked_load: return must match pointer type", CS);
4427     Assert(PassThru->getType() == DataTy,
4428            "masked_load: pass through and data type must match", CS);
4429     Assert(Mask->getType()->getVectorNumElements() ==
4430            DataTy->getVectorNumElements(),
4431            "masked_load: vector mask must be same length as data", CS);
4432     break;
4433   }
4434   case Intrinsic::masked_store: {
4435     Value *Val = CS.getArgOperand(0);
4436     Value *Ptr = CS.getArgOperand(1);
4437     //Value *Alignment = CS.getArgOperand(2);
4438     Value *Mask = CS.getArgOperand(3);
4439     Assert(Mask->getType()->isVectorTy(),
4440            "masked_store: mask must be vector", CS);
4441
4442     // DataTy is the overloaded type
4443     Type *DataTy = cast<PointerType>(Ptr->getType())->getElementType();
4444     Assert(DataTy == Val->getType(),
4445            "masked_store: storee must match pointer type", CS);
4446     Assert(Mask->getType()->getVectorNumElements() ==
4447            DataTy->getVectorNumElements(),
4448            "masked_store: vector mask must be same length as data", CS);
4449     break;
4450   }
4451
4452   case Intrinsic::experimental_guard: {
4453     Assert(CS.isCall(), "experimental_guard cannot be invoked", CS);
4454     Assert(CS.countOperandBundlesOfType(LLVMContext::OB_deopt) == 1,
4455            "experimental_guard must have exactly one "
4456            "\"deopt\" operand bundle");
4457     break;
4458   }
4459
4460   case Intrinsic::experimental_deoptimize: {
4461     Assert(CS.isCall(), "experimental_deoptimize cannot be invoked", CS);
4462     Assert(CS.countOperandBundlesOfType(LLVMContext::OB_deopt) == 1,
4463            "experimental_deoptimize must have exactly one "
4464            "\"deopt\" operand bundle");
4465     Assert(CS.getType() == CS.getInstruction()->getFunction()->getReturnType(),
4466            "experimental_deoptimize return type must match caller return type");
4467
4468     if (CS.isCall()) {
4469       auto *DeoptCI = CS.getInstruction();
4470       auto *RI = dyn_cast<ReturnInst>(DeoptCI->getNextNode());
4471       Assert(RI,
4472              "calls to experimental_deoptimize must be followed by a return");
4473
4474       if (!CS.getType()->isVoidTy() && RI)
4475         Assert(RI->getReturnValue() == DeoptCI,
4476                "calls to experimental_deoptimize must be followed by a return "
4477                "of the value computed by experimental_deoptimize");
4478     }
4479
4480     break;
4481   }
4482   };
4483 }
4484
4485 /// \brief Carefully grab the subprogram from a local scope.
4486 ///
4487 /// This carefully grabs the subprogram from a local scope, avoiding the
4488 /// built-in assertions that would typically fire.
4489 static DISubprogram *getSubprogram(Metadata *LocalScope) {
4490   if (!LocalScope)
4491     return nullptr;
4492
4493   if (auto *SP = dyn_cast<DISubprogram>(LocalScope))
4494     return SP;
4495
4496   if (auto *LB = dyn_cast<DILexicalBlockBase>(LocalScope))
4497     return getSubprogram(LB->getRawScope());
4498
4499   // Just return null; broken scope chains are checked elsewhere.
4500   assert(!isa<DILocalScope>(LocalScope) && "Unknown type of local scope");
4501   return nullptr;
4502 }
4503
4504 void Verifier::visitConstrainedFPIntrinsic(ConstrainedFPIntrinsic &FPI) {
4505   unsigned NumOperands = FPI.getNumArgOperands();
4506   Assert(((NumOperands == 5 && FPI.isTernaryOp()) ||
4507           (NumOperands == 3 && FPI.isUnaryOp()) || (NumOperands == 4)),
4508            "invalid arguments for constrained FP intrinsic", &FPI);
4509   Assert(isa<MetadataAsValue>(FPI.getArgOperand(NumOperands-1)),
4510          "invalid exception behavior argument", &FPI);
4511   Assert(isa<MetadataAsValue>(FPI.getArgOperand(NumOperands-2)),
4512          "invalid rounding mode argument", &FPI);
4513   Assert(FPI.getRoundingMode() != ConstrainedFPIntrinsic::rmInvalid,
4514          "invalid rounding mode argument", &FPI);
4515   Assert(FPI.getExceptionBehavior() != ConstrainedFPIntrinsic::ebInvalid,
4516          "invalid exception behavior argument", &FPI);
4517 }
4518
4519 void Verifier::visitDbgIntrinsic(StringRef Kind, DbgInfoIntrinsic &DII) {
4520   auto *MD = cast<MetadataAsValue>(DII.getArgOperand(0))->getMetadata();
4521   AssertDI(isa<ValueAsMetadata>(MD) ||
4522              (isa<MDNode>(MD) && !cast<MDNode>(MD)->getNumOperands()),
4523          "invalid llvm.dbg." + Kind + " intrinsic address/value", &DII, MD);
4524   AssertDI(isa<DILocalVariable>(DII.getRawVariable()),
4525          "invalid llvm.dbg." + Kind + " intrinsic variable", &DII,
4526          DII.getRawVariable());
4527   AssertDI(isa<DIExpression>(DII.getRawExpression()),
4528          "invalid llvm.dbg." + Kind + " intrinsic expression", &DII,
4529          DII.getRawExpression());
4530
4531   // Ignore broken !dbg attachments; they're checked elsewhere.
4532   if (MDNode *N = DII.getDebugLoc().getAsMDNode())
4533     if (!isa<DILocation>(N))
4534       return;
4535
4536   BasicBlock *BB = DII.getParent();
4537   Function *F = BB ? BB->getParent() : nullptr;
4538
4539   // The scopes for variables and !dbg attachments must agree.
4540   DILocalVariable *Var = DII.getVariable();
4541   DILocation *Loc = DII.getDebugLoc();
4542   AssertDI(Loc, "llvm.dbg." + Kind + " intrinsic requires a !dbg attachment",
4543            &DII, BB, F);
4544
4545   DISubprogram *VarSP = getSubprogram(Var->getRawScope());
4546   DISubprogram *LocSP = getSubprogram(Loc->getRawScope());
4547   if (!VarSP || !LocSP)
4548     return; // Broken scope chains are checked elsewhere.
4549
4550   AssertDI(VarSP == LocSP, "mismatched subprogram between llvm.dbg." + Kind +
4551                                " variable and !dbg attachment",
4552            &DII, BB, F, Var, Var->getScope()->getSubprogram(), Loc,
4553            Loc->getScope()->getSubprogram());
4554
4555   verifyFnArgs(DII);
4556 }
4557
4558 void Verifier::verifyFragmentExpression(const DbgInfoIntrinsic &I) {
4559   DILocalVariable *V = dyn_cast_or_null<DILocalVariable>(I.getRawVariable());
4560   DIExpression *E = dyn_cast_or_null<DIExpression>(I.getRawExpression());
4561
4562   // We don't know whether this intrinsic verified correctly.
4563   if (!V || !E || !E->isValid())
4564     return;
4565
4566   // Nothing to do if this isn't a DW_OP_LLVM_fragment expression.
4567   auto Fragment = E->getFragmentInfo();
4568   if (!Fragment)
4569     return;
4570
4571   // The frontend helps out GDB by emitting the members of local anonymous
4572   // unions as artificial local variables with shared storage. When SROA splits
4573   // the storage for artificial local variables that are smaller than the entire
4574   // union, the overhang piece will be outside of the allotted space for the
4575   // variable and this check fails.
4576   // FIXME: Remove this check as soon as clang stops doing this; it hides bugs.
4577   if (V->isArtificial())
4578     return;
4579
4580   verifyFragmentExpression(*V, *Fragment, &I);
4581 }
4582
4583 template <typename ValueOrMetadata>
4584 void Verifier::verifyFragmentExpression(const DIVariable &V,
4585                                         DIExpression::FragmentInfo Fragment,
4586                                         ValueOrMetadata *Desc) {
4587   // If there's no size, the type is broken, but that should be checked
4588   // elsewhere.
4589   auto VarSize = V.getSizeInBits();
4590   if (!VarSize)
4591     return;
4592
4593   unsigned FragSize = Fragment.SizeInBits;
4594   unsigned FragOffset = Fragment.OffsetInBits;
4595   AssertDI(FragSize + FragOffset <= *VarSize,
4596          "fragment is larger than or outside of variable", Desc, &V);
4597   AssertDI(FragSize != *VarSize, "fragment covers entire variable", Desc, &V);
4598 }
4599
4600 void Verifier::verifyFnArgs(const DbgInfoIntrinsic &I) {
4601   // This function does not take the scope of noninlined function arguments into
4602   // account. Don't run it if current function is nodebug, because it may
4603   // contain inlined debug intrinsics.
4604   if (!HasDebugInfo)
4605     return;
4606
4607   // For performance reasons only check non-inlined ones.
4608   if (I.getDebugLoc()->getInlinedAt())
4609     return;
4610
4611   DILocalVariable *Var = I.getVariable();
4612   AssertDI(Var, "dbg intrinsic without variable");
4613
4614   unsigned ArgNo = Var->getArg();
4615   if (!ArgNo)
4616     return;
4617
4618   // Verify there are no duplicate function argument debug info entries.
4619   // These will cause hard-to-debug assertions in the DWARF backend.
4620   if (DebugFnArgs.size() < ArgNo)
4621     DebugFnArgs.resize(ArgNo, nullptr);
4622
4623   auto *Prev = DebugFnArgs[ArgNo - 1];
4624   DebugFnArgs[ArgNo - 1] = Var;
4625   AssertDI(!Prev || (Prev == Var), "conflicting debug info for argument", &I,
4626            Prev, Var);
4627 }
4628
4629 void Verifier::verifyCompileUnits() {
4630   // When more than one Module is imported into the same context, such as during
4631   // an LTO build before linking the modules, ODR type uniquing may cause types
4632   // to point to a different CU. This check does not make sense in this case.
4633   if (M.getContext().isODRUniquingDebugTypes())
4634     return;
4635   auto *CUs = M.getNamedMetadata("llvm.dbg.cu");
4636   SmallPtrSet<const Metadata *, 2> Listed;
4637   if (CUs)
4638     Listed.insert(CUs->op_begin(), CUs->op_end());
4639   for (auto *CU : CUVisited)
4640     AssertDI(Listed.count(CU), "DICompileUnit not listed in llvm.dbg.cu", CU);
4641   CUVisited.clear();
4642 }
4643
4644 void Verifier::verifyDeoptimizeCallingConvs() {
4645   if (DeoptimizeDeclarations.empty())
4646     return;
4647
4648   const Function *First = DeoptimizeDeclarations[0];
4649   for (auto *F : makeArrayRef(DeoptimizeDeclarations).slice(1)) {
4650     Assert(First->getCallingConv() == F->getCallingConv(),
4651            "All llvm.experimental.deoptimize declarations must have the same "
4652            "calling convention",
4653            First, F);
4654   }
4655 }
4656
4657 //===----------------------------------------------------------------------===//
4658 //  Implement the public interfaces to this file...
4659 //===----------------------------------------------------------------------===//
4660
4661 bool llvm::verifyFunction(const Function &f, raw_ostream *OS) {
4662   Function &F = const_cast<Function &>(f);
4663
4664   // Don't use a raw_null_ostream.  Printing IR is expensive.
4665   Verifier V(OS, /*ShouldTreatBrokenDebugInfoAsError=*/true, *f.getParent());
4666
4667   // Note that this function's return value is inverted from what you would
4668   // expect of a function called "verify".
4669   return !V.verify(F);
4670 }
4671
4672 bool llvm::verifyModule(const Module &M, raw_ostream *OS,
4673                         bool *BrokenDebugInfo) {
4674   // Don't use a raw_null_ostream.  Printing IR is expensive.
4675   Verifier V(OS, /*ShouldTreatBrokenDebugInfoAsError=*/!BrokenDebugInfo, M);
4676
4677   bool Broken = false;
4678   for (const Function &F : M)
4679     Broken |= !V.verify(F);
4680
4681   Broken |= !V.verify();
4682   if (BrokenDebugInfo)
4683     *BrokenDebugInfo = V.hasBrokenDebugInfo();
4684   // Note that this function's return value is inverted from what you would
4685   // expect of a function called "verify".
4686   return Broken;
4687 }
4688
4689 namespace {
4690
4691 struct VerifierLegacyPass : public FunctionPass {
4692   static char ID;
4693
4694   std::unique_ptr<Verifier> V;
4695   bool FatalErrors = true;
4696
4697   VerifierLegacyPass() : FunctionPass(ID) {
4698     initializeVerifierLegacyPassPass(*PassRegistry::getPassRegistry());
4699   }
4700   explicit VerifierLegacyPass(bool FatalErrors)
4701       : FunctionPass(ID),
4702         FatalErrors(FatalErrors) {
4703     initializeVerifierLegacyPassPass(*PassRegistry::getPassRegistry());
4704   }
4705
4706   bool doInitialization(Module &M) override {
4707     V = llvm::make_unique<Verifier>(
4708         &dbgs(), /*ShouldTreatBrokenDebugInfoAsError=*/false, M);
4709     return false;
4710   }
4711
4712   bool runOnFunction(Function &F) override {
4713     if (!V->verify(F) && FatalErrors)
4714       report_fatal_error("Broken function found, compilation aborted!");
4715
4716     return false;
4717   }
4718
4719   bool doFinalization(Module &M) override {
4720     bool HasErrors = false;
4721     for (Function &F : M)
4722       if (F.isDeclaration())
4723         HasErrors |= !V->verify(F);
4724
4725     HasErrors |= !V->verify();
4726     if (FatalErrors && (HasErrors || V->hasBrokenDebugInfo()))
4727       report_fatal_error("Broken module found, compilation aborted!");
4728     return false;
4729   }
4730
4731   void getAnalysisUsage(AnalysisUsage &AU) const override {
4732     AU.setPreservesAll();
4733   }
4734 };
4735
4736 } // end anonymous namespace
4737
4738 /// Helper to issue failure from the TBAA verification
4739 template <typename... Tys> void TBAAVerifier::CheckFailed(Tys &&... Args) {
4740   if (Diagnostic)
4741     return Diagnostic->CheckFailed(Args...);
4742 }
4743
4744 #define AssertTBAA(C, ...)                                                     \
4745   do {                                                                         \
4746     if (!(C)) {                                                                \
4747       CheckFailed(__VA_ARGS__);                                                \
4748       return false;                                                            \
4749     }                                                                          \
4750   } while (false)
4751
4752 /// Verify that \p BaseNode can be used as the "base type" in the struct-path
4753 /// TBAA scheme.  This means \p BaseNode is either a scalar node, or a
4754 /// struct-type node describing an aggregate data structure (like a struct).
4755 TBAAVerifier::TBAABaseNodeSummary
4756 TBAAVerifier::verifyTBAABaseNode(Instruction &I, const MDNode *BaseNode,
4757                                  bool IsNewFormat) {
4758   if (BaseNode->getNumOperands() < 2) {
4759     CheckFailed("Base nodes must have at least two operands", &I, BaseNode);
4760     return {true, ~0u};
4761   }
4762
4763   auto Itr = TBAABaseNodes.find(BaseNode);
4764   if (Itr != TBAABaseNodes.end())
4765     return Itr->second;
4766
4767   auto Result = verifyTBAABaseNodeImpl(I, BaseNode, IsNewFormat);
4768   auto InsertResult = TBAABaseNodes.insert({BaseNode, Result});
4769   (void)InsertResult;
4770   assert(InsertResult.second && "We just checked!");
4771   return Result;
4772 }
4773
4774 TBAAVerifier::TBAABaseNodeSummary
4775 TBAAVerifier::verifyTBAABaseNodeImpl(Instruction &I, const MDNode *BaseNode,
4776                                      bool IsNewFormat) {
4777   const TBAAVerifier::TBAABaseNodeSummary InvalidNode = {true, ~0u};
4778
4779   if (BaseNode->getNumOperands() == 2) {
4780     // Scalar nodes can only be accessed at offset 0.
4781     return isValidScalarTBAANode(BaseNode)
4782                ? TBAAVerifier::TBAABaseNodeSummary({false, 0})
4783                : InvalidNode;
4784   }
4785
4786   if (IsNewFormat) {
4787     if (BaseNode->getNumOperands() % 3 != 0) {
4788       CheckFailed("Access tag nodes must have the number of operands that is a "
4789                   "multiple of 3!", BaseNode);
4790       return InvalidNode;
4791     }
4792   } else {
4793     if (BaseNode->getNumOperands() % 2 != 1) {
4794       CheckFailed("Struct tag nodes must have an odd number of operands!",
4795                   BaseNode);
4796       return InvalidNode;
4797     }
4798   }
4799
4800   // Check the type size field.
4801   if (IsNewFormat) {
4802     auto *TypeSizeNode = mdconst::dyn_extract_or_null<ConstantInt>(
4803         BaseNode->getOperand(1));
4804     if (!TypeSizeNode) {
4805       CheckFailed("Type size nodes must be constants!", &I, BaseNode);
4806       return InvalidNode;
4807     }
4808   }
4809
4810   // Check the type name field. In the new format it can be anything.
4811   if (!IsNewFormat && !isa<MDString>(BaseNode->getOperand(0))) {
4812     CheckFailed("Struct tag nodes have a string as their first operand",
4813                 BaseNode);
4814     return InvalidNode;
4815   }
4816
4817   bool Failed = false;
4818
4819   Optional<APInt> PrevOffset;
4820   unsigned BitWidth = ~0u;
4821
4822   // We've already checked that BaseNode is not a degenerate root node with one
4823   // operand in \c verifyTBAABaseNode, so this loop should run at least once.
4824   unsigned FirstFieldOpNo = IsNewFormat ? 3 : 1;
4825   unsigned NumOpsPerField = IsNewFormat ? 3 : 2;
4826   for (unsigned Idx = FirstFieldOpNo; Idx < BaseNode->getNumOperands();
4827            Idx += NumOpsPerField) {
4828     const MDOperand &FieldTy = BaseNode->getOperand(Idx);
4829     const MDOperand &FieldOffset = BaseNode->getOperand(Idx + 1);
4830     if (!isa<MDNode>(FieldTy)) {
4831       CheckFailed("Incorrect field entry in struct type node!", &I, BaseNode);
4832       Failed = true;
4833       continue;
4834     }
4835
4836     auto *OffsetEntryCI =
4837         mdconst::dyn_extract_or_null<ConstantInt>(FieldOffset);
4838     if (!OffsetEntryCI) {
4839       CheckFailed("Offset entries must be constants!", &I, BaseNode);
4840       Failed = true;
4841       continue;
4842     }
4843
4844     if (BitWidth == ~0u)
4845       BitWidth = OffsetEntryCI->getBitWidth();
4846
4847     if (OffsetEntryCI->getBitWidth() != BitWidth) {
4848       CheckFailed(
4849           "Bitwidth between the offsets and struct type entries must match", &I,
4850           BaseNode);
4851       Failed = true;
4852       continue;
4853     }
4854
4855     // NB! As far as I can tell, we generate a non-strictly increasing offset
4856     // sequence only from structs that have zero size bit fields.  When
4857     // recursing into a contained struct in \c getFieldNodeFromTBAABaseNode we
4858     // pick the field lexically the latest in struct type metadata node.  This
4859     // mirrors the actual behavior of the alias analysis implementation.
4860     bool IsAscending =
4861         !PrevOffset || PrevOffset->ule(OffsetEntryCI->getValue());
4862
4863     if (!IsAscending) {
4864       CheckFailed("Offsets must be increasing!", &I, BaseNode);
4865       Failed = true;
4866     }
4867
4868     PrevOffset = OffsetEntryCI->getValue();
4869
4870     if (IsNewFormat) {
4871       auto *MemberSizeNode = mdconst::dyn_extract_or_null<ConstantInt>(
4872           BaseNode->getOperand(Idx + 2));
4873       if (!MemberSizeNode) {
4874         CheckFailed("Member size entries must be constants!", &I, BaseNode);
4875         Failed = true;
4876         continue;
4877       }
4878     }
4879   }
4880
4881   return Failed ? InvalidNode
4882                 : TBAAVerifier::TBAABaseNodeSummary(false, BitWidth);
4883 }
4884
4885 static bool IsRootTBAANode(const MDNode *MD) {
4886   return MD->getNumOperands() < 2;
4887 }
4888
4889 static bool IsScalarTBAANodeImpl(const MDNode *MD,
4890                                  SmallPtrSetImpl<const MDNode *> &Visited) {
4891   if (MD->getNumOperands() != 2 && MD->getNumOperands() != 3)
4892     return false;
4893
4894   if (!isa<MDString>(MD->getOperand(0)))
4895     return false;
4896
4897   if (MD->getNumOperands() == 3) {
4898     auto *Offset = mdconst::dyn_extract<ConstantInt>(MD->getOperand(2));
4899     if (!(Offset && Offset->isZero() && isa<MDString>(MD->getOperand(0))))
4900       return false;
4901   }
4902
4903   auto *Parent = dyn_cast_or_null<MDNode>(MD->getOperand(1));
4904   return Parent && Visited.insert(Parent).second &&
4905          (IsRootTBAANode(Parent) || IsScalarTBAANodeImpl(Parent, Visited));
4906 }
4907
4908 bool TBAAVerifier::isValidScalarTBAANode(const MDNode *MD) {
4909   auto ResultIt = TBAAScalarNodes.find(MD);
4910   if (ResultIt != TBAAScalarNodes.end())
4911     return ResultIt->second;
4912
4913   SmallPtrSet<const MDNode *, 4> Visited;
4914   bool Result = IsScalarTBAANodeImpl(MD, Visited);
4915   auto InsertResult = TBAAScalarNodes.insert({MD, Result});
4916   (void)InsertResult;
4917   assert(InsertResult.second && "Just checked!");
4918
4919   return Result;
4920 }
4921
4922 /// Returns the field node at the offset \p Offset in \p BaseNode.  Update \p
4923 /// Offset in place to be the offset within the field node returned.
4924 ///
4925 /// We assume we've okayed \p BaseNode via \c verifyTBAABaseNode.
4926 MDNode *TBAAVerifier::getFieldNodeFromTBAABaseNode(Instruction &I,
4927                                                    const MDNode *BaseNode,
4928                                                    APInt &Offset,
4929                                                    bool IsNewFormat) {
4930   assert(BaseNode->getNumOperands() >= 2 && "Invalid base node!");
4931
4932   // Scalar nodes have only one possible "field" -- their parent in the access
4933   // hierarchy.  Offset must be zero at this point, but our caller is supposed
4934   // to Assert that.
4935   if (BaseNode->getNumOperands() == 2)
4936     return cast<MDNode>(BaseNode->getOperand(1));
4937
4938   unsigned FirstFieldOpNo = IsNewFormat ? 3 : 1;
4939   unsigned NumOpsPerField = IsNewFormat ? 3 : 2;
4940   for (unsigned Idx = FirstFieldOpNo; Idx < BaseNode->getNumOperands();
4941            Idx += NumOpsPerField) {
4942     auto *OffsetEntryCI =
4943         mdconst::extract<ConstantInt>(BaseNode->getOperand(Idx + 1));
4944     if (OffsetEntryCI->getValue().ugt(Offset)) {
4945       if (Idx == FirstFieldOpNo) {
4946         CheckFailed("Could not find TBAA parent in struct type node", &I,
4947                     BaseNode, &Offset);
4948         return nullptr;
4949       }
4950
4951       unsigned PrevIdx = Idx - NumOpsPerField;
4952       auto *PrevOffsetEntryCI =
4953           mdconst::extract<ConstantInt>(BaseNode->getOperand(PrevIdx + 1));
4954       Offset -= PrevOffsetEntryCI->getValue();
4955       return cast<MDNode>(BaseNode->getOperand(PrevIdx));
4956     }
4957   }
4958
4959   unsigned LastIdx = BaseNode->getNumOperands() - NumOpsPerField;
4960   auto *LastOffsetEntryCI = mdconst::extract<ConstantInt>(
4961       BaseNode->getOperand(LastIdx + 1));
4962   Offset -= LastOffsetEntryCI->getValue();
4963   return cast<MDNode>(BaseNode->getOperand(LastIdx));
4964 }
4965
4966 static bool isNewFormatTBAATypeNode(llvm::MDNode *Type) {
4967   if (!Type || Type->getNumOperands() < 3)
4968     return false;
4969
4970   // In the new format type nodes shall have a reference to the parent type as
4971   // its first operand.
4972   MDNode *Parent = dyn_cast_or_null<MDNode>(Type->getOperand(0));
4973   if (!Parent)
4974     return false;
4975
4976   return true;
4977 }
4978
4979 bool TBAAVerifier::visitTBAAMetadata(Instruction &I, const MDNode *MD) {
4980   AssertTBAA(isa<LoadInst>(I) || isa<StoreInst>(I) || isa<CallInst>(I) ||
4981                  isa<VAArgInst>(I) || isa<AtomicRMWInst>(I) ||
4982                  isa<AtomicCmpXchgInst>(I),
4983              "This instruction shall not have a TBAA access tag!", &I);
4984
4985   bool IsStructPathTBAA =
4986       isa<MDNode>(MD->getOperand(0)) && MD->getNumOperands() >= 3;
4987
4988   AssertTBAA(
4989       IsStructPathTBAA,
4990       "Old-style TBAA is no longer allowed, use struct-path TBAA instead", &I);
4991
4992   MDNode *BaseNode = dyn_cast_or_null<MDNode>(MD->getOperand(0));
4993   MDNode *AccessType = dyn_cast_or_null<MDNode>(MD->getOperand(1));
4994
4995   bool IsNewFormat = isNewFormatTBAATypeNode(AccessType);
4996
4997   if (IsNewFormat) {
4998     AssertTBAA(MD->getNumOperands() == 4 || MD->getNumOperands() == 5,
4999                "Access tag metadata must have either 4 or 5 operands", &I, MD);
5000   } else {
5001     AssertTBAA(MD->getNumOperands() < 5,
5002                "Struct tag metadata must have either 3 or 4 operands", &I, MD);
5003   }
5004
5005   // Check the access size field.
5006   if (IsNewFormat) {
5007     auto *AccessSizeNode = mdconst::dyn_extract_or_null<ConstantInt>(
5008         MD->getOperand(3));
5009     AssertTBAA(AccessSizeNode, "Access size field must be a constant", &I, MD);
5010   }
5011
5012   // Check the immutability flag.
5013   unsigned ImmutabilityFlagOpNo = IsNewFormat ? 4 : 3;
5014   if (MD->getNumOperands() == ImmutabilityFlagOpNo + 1) {
5015     auto *IsImmutableCI = mdconst::dyn_extract_or_null<ConstantInt>(
5016         MD->getOperand(ImmutabilityFlagOpNo));
5017     AssertTBAA(IsImmutableCI,
5018                "Immutability tag on struct tag metadata must be a constant",
5019                &I, MD);
5020     AssertTBAA(
5021         IsImmutableCI->isZero() || IsImmutableCI->isOne(),
5022         "Immutability part of the struct tag metadata must be either 0 or 1",
5023         &I, MD);
5024   }
5025
5026   AssertTBAA(BaseNode && AccessType,
5027              "Malformed struct tag metadata: base and access-type "
5028              "should be non-null and point to Metadata nodes",
5029              &I, MD, BaseNode, AccessType);
5030
5031   if (!IsNewFormat) {
5032     AssertTBAA(isValidScalarTBAANode(AccessType),
5033                "Access type node must be a valid scalar type", &I, MD,
5034                AccessType);
5035   }
5036
5037   auto *OffsetCI = mdconst::dyn_extract_or_null<ConstantInt>(MD->getOperand(2));
5038   AssertTBAA(OffsetCI, "Offset must be constant integer", &I, MD);
5039
5040   APInt Offset = OffsetCI->getValue();
5041   bool SeenAccessTypeInPath = false;
5042
5043   SmallPtrSet<MDNode *, 4> StructPath;
5044
5045   for (/* empty */; BaseNode && !IsRootTBAANode(BaseNode);
5046        BaseNode = getFieldNodeFromTBAABaseNode(I, BaseNode, Offset,
5047                                                IsNewFormat)) {
5048     if (!StructPath.insert(BaseNode).second) {
5049       CheckFailed("Cycle detected in struct path", &I, MD);
5050       return false;
5051     }
5052
5053     bool Invalid;
5054     unsigned BaseNodeBitWidth;
5055     std::tie(Invalid, BaseNodeBitWidth) = verifyTBAABaseNode(I, BaseNode,
5056                                                              IsNewFormat);
5057
5058     // If the base node is invalid in itself, then we've already printed all the
5059     // errors we wanted to print.
5060     if (Invalid)
5061       return false;
5062
5063     SeenAccessTypeInPath |= BaseNode == AccessType;
5064
5065     if (isValidScalarTBAANode(BaseNode) || BaseNode == AccessType)
5066       AssertTBAA(Offset == 0, "Offset not zero at the point of scalar access",
5067                  &I, MD, &Offset);
5068
5069     AssertTBAA(BaseNodeBitWidth == Offset.getBitWidth() ||
5070                    (BaseNodeBitWidth == 0 && Offset == 0) ||
5071                    (IsNewFormat && BaseNodeBitWidth == ~0u),
5072                "Access bit-width not the same as description bit-width", &I, MD,
5073                BaseNodeBitWidth, Offset.getBitWidth());
5074
5075     if (IsNewFormat && SeenAccessTypeInPath)
5076       break;
5077   }
5078
5079   AssertTBAA(SeenAccessTypeInPath, "Did not see access type in access path!",
5080              &I, MD);
5081   return true;
5082 }
5083
5084 char VerifierLegacyPass::ID = 0;
5085 INITIALIZE_PASS(VerifierLegacyPass, "verify", "Module Verifier", false, false)
5086
5087 FunctionPass *llvm::createVerifierPass(bool FatalErrors) {
5088   return new VerifierLegacyPass(FatalErrors);
5089 }
5090
5091 AnalysisKey VerifierAnalysis::Key;
5092 VerifierAnalysis::Result VerifierAnalysis::run(Module &M,
5093                                                ModuleAnalysisManager &) {
5094   Result Res;
5095   Res.IRBroken = llvm::verifyModule(M, &dbgs(), &Res.DebugInfoBroken);
5096   return Res;
5097 }
5098
5099 VerifierAnalysis::Result VerifierAnalysis::run(Function &F,
5100                                                FunctionAnalysisManager &) {
5101   return { llvm::verifyFunction(F, &dbgs()), false };
5102 }
5103
5104 PreservedAnalyses VerifierPass::run(Module &M, ModuleAnalysisManager &AM) {
5105   auto Res = AM.getResult<VerifierAnalysis>(M);
5106   if (FatalErrors && (Res.IRBroken || Res.DebugInfoBroken))
5107     report_fatal_error("Broken module found, compilation aborted!");
5108
5109   return PreservedAnalyses::all();
5110 }
5111
5112 PreservedAnalyses VerifierPass::run(Function &F, FunctionAnalysisManager &AM) {
5113   auto res = AM.getResult<VerifierAnalysis>(F);
5114   if (res.IRBroken && FatalErrors)
5115     report_fatal_error("Broken function found, compilation aborted!");
5116
5117   return PreservedAnalyses::all();
5118 }