lib/Support/LockFileManager.cpp

   1 //===--- LockFileManager.cpp - File-level Locking Utility------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9
  10 #include "llvm/Support/LockFileManager.h"
  11 #include "llvm/ADT/None.h"
  12 #include "llvm/ADT/SmallVector.h"
  13 #include "llvm/ADT/StringExtras.h"
  14 #include "llvm/Support/Errc.h"
  15 #include "llvm/Support/ErrorOr.h"
  16 #include "llvm/Support/FileSystem.h"
  17 #include "llvm/Support/MemoryBuffer.h"
  18 #include "llvm/Support/raw_ostream.h"
  19 #include "llvm/Support/Signals.h"
  20 #include <cerrno>
  21 #include <ctime>
  22 #include <memory>
  23 #include <tuple>
  24 #include <system_error>
  25 #include <sys/stat.h>
  26 #include <sys/types.h>
  27 #if LLVM_ON_WIN32
  28 #include <windows.h>
  29 #endif
  30 #if LLVM_ON_UNIX
  31 #include <unistd.h>
  32 #endif
  33
  34 #if defined(__APPLE__) && defined(__MAC_OS_X_VERSION_MIN_REQUIRED) && (__MAC_OS_X_VERSION_MIN_REQUIRED > 1050)
  35 #define USE_OSX_GETHOSTUUID 1
  36 #else
  37 #define USE_OSX_GETHOSTUUID 0
  38 #endif
  39
  40 #if USE_OSX_GETHOSTUUID
  41 #include <uuid/uuid.h>
  42 #endif
  43
  44 using namespace llvm;
  45
  46 /// \brief Attempt to read the lock file with the given name, if it exists.
  47 ///
  48 /// \param LockFileName The name of the lock file to read.
  49 ///
  50 /// \returns The process ID of the process that owns this lock file
  51 Optional<std::pair<std::string, int> >
  52 LockFileManager::readLockFile(StringRef LockFileName) {
  53   // Read the owning host and PID out of the lock file. If it appears that the
  54   // owning process is dead, the lock file is invalid.
  55   ErrorOr<std::unique_ptr<MemoryBuffer>> MBOrErr =
  56       MemoryBuffer::getFile(LockFileName);
  57   if (!MBOrErr) {
  58     sys::fs::remove(LockFileName);
  59     return None;
  60   }
  61   MemoryBuffer &MB = *MBOrErr.get();
  62
  63   StringRef Hostname;
  64   StringRef PIDStr;
  65   std::tie(Hostname, PIDStr) = getToken(MB.getBuffer(), " ");
  66   PIDStr = PIDStr.substr(PIDStr.find_first_not_of(" "));
  67   int PID;
  68   if (!PIDStr.getAsInteger(10, PID)) {
  69     auto Owner = std::make_pair(std::string(Hostname), PID);
  70     if (processStillExecuting(Owner.first, Owner.second))
  71       return Owner;
  72   }
  73
  74   // Delete the lock file. It's invalid anyway.
  75   sys::fs::remove(LockFileName);
  76   return None;
  77 }
  78
  79 static std::error_code getHostID(SmallVectorImpl<char> &HostID) {
  80   HostID.clear();
  81
  82 #if USE_OSX_GETHOSTUUID
  83   // On OS X, use the more stable hardware UUID instead of hostname.
  84   struct timespec wait = {1, 0}; // 1 second.
  85   uuid_t uuid;
  86   if (gethostuuid(uuid, &wait) != 0)
  87     return std::error_code(errno, std::system_category());
  88
  89   uuid_string_t UUIDStr;
  90   uuid_unparse(uuid, UUIDStr);
  91   StringRef UUIDRef(UUIDStr);
  92   HostID.append(UUIDRef.begin(), UUIDRef.end());
  93
  94 #elif LLVM_ON_UNIX
  95   char HostName[256];
  96   HostName[255] = 0;
  97   HostName[0] = 0;
  98   gethostname(HostName, 255);
  99   StringRef HostNameRef(HostName);
 100   HostID.append(HostNameRef.begin(), HostNameRef.end());
 101
 102 #else
 103   StringRef Dummy("localhost");
 104   HostID.append(Dummy.begin(), Dummy.end());
 105 #endif
 106
 107   return std::error_code();
 108 }
 109
 110 bool LockFileManager::processStillExecuting(StringRef HostID, int PID) {
 111 #if LLVM_ON_UNIX && !defined(__ANDROID__)
 112   SmallString<256> StoredHostID;
 113   if (getHostID(StoredHostID))
 114     return true; // Conservatively assume it's executing on error.
 115
 116   // Check whether the process is dead. If so, we're done.
 117   if (StoredHostID == HostID && getsid(PID) == -1 && errno == ESRCH)
 118     return false;
 119 #endif
 120
 121   return true;
 122 }
 123
 124 namespace {
 125
 126 /// An RAII helper object ensure that the unique lock file is removed.
 127 ///
 128 /// Ensures that if there is an error or a signal before we finish acquiring the
 129 /// lock, the unique file will be removed. And if we successfully take the lock,
 130 /// the signal handler is left in place so that signals while the lock is held
 131 /// will remove the unique lock file. The caller should ensure there is a
 132 /// matching call to sys::DontRemoveFileOnSignal when the lock is released.
 133 class RemoveUniqueLockFileOnSignal {
 134   StringRef Filename;
 135   bool RemoveImmediately;
 136 public:
 137   RemoveUniqueLockFileOnSignal(StringRef Name)
 138   : Filename(Name), RemoveImmediately(true) {
 139     sys::RemoveFileOnSignal(Filename, nullptr);
 140   }
 141
 142   ~RemoveUniqueLockFileOnSignal() {
 143     if (!RemoveImmediately) {
 144       // Leave the signal handler enabled. It will be removed when the lock is
 145       // released.
 146       return;
 147     }
 148     sys::fs::remove(Filename);
 149     sys::DontRemoveFileOnSignal(Filename);
 150   }
 151
 152   void lockAcquired() { RemoveImmediately = false; }
 153 };
 154
 155 } // end anonymous namespace
 156
 157 LockFileManager::LockFileManager(StringRef FileName)
 158 {
 159   this->FileName = FileName;
 160   if (std::error_code EC = sys::fs::make_absolute(this->FileName)) {
 161     std::string S("failed to obtain absolute path for ");
 162     S.append(this->FileName.str());
 163     setError(EC, S);
 164     return;
 165   }
 166   LockFileName = this->FileName;
 167   LockFileName += ".lock";
 168
 169   // If the lock file already exists, don't bother to try to create our own
 170   // lock file; it won't work anyway. Just figure out who owns this lock file.
 171   if ((Owner = readLockFile(LockFileName)))
 172     return;
 173
 174   // Create a lock file that is unique to this instance.
 175   UniqueLockFileName = LockFileName;
 176   UniqueLockFileName += "-%%%%%%%%";
 177   int UniqueLockFileID;
 178   if (std::error_code EC = sys::fs::createUniqueFile(
 179           UniqueLockFileName, UniqueLockFileID, UniqueLockFileName)) {
 180     std::string S("failed to create unique file ");
 181     S.append(UniqueLockFileName.str());
 182     setError(EC, S);
 183     return;
 184   }
 185
 186   // Write our process ID to our unique lock file.
 187   {
 188     SmallString<256> HostID;
 189     if (auto EC = getHostID(HostID)) {
 190       setError(EC, "failed to get host id");
 191       return;
 192     }
 193
 194     raw_fd_ostream Out(UniqueLockFileID, /*shouldClose=*/true);
 195     Out << HostID << ' ';
 196 #if LLVM_ON_UNIX
 197     Out << getpid();
 198 #else
 199     Out << "1";
 200 #endif
 201     Out.close();
 202
 203     if (Out.has_error()) {
 204       // We failed to write out PID, so make up an excuse, remove the
 205       // unique lock file, and fail.
 206       auto EC = make_error_code(errc::no_space_on_device);
 207       std::string S("failed to write to ");
 208       S.append(UniqueLockFileName.str());
 209       setError(EC, S);
 210       sys::fs::remove(UniqueLockFileName);
 211       return;
 212     }
 213   }
 214
 215   // Clean up the unique file on signal, which also releases the lock if it is
 216   // held since the .lock symlink will point to a nonexistent file.
 217   RemoveUniqueLockFileOnSignal RemoveUniqueFile(UniqueLockFileName);
 218
 219   while (true) {
 220     // Create a link from the lock file name. If this succeeds, we're done.
 221     std::error_code EC =
 222         sys::fs::create_link(UniqueLockFileName, LockFileName);
 223     if (!EC) {
 224       RemoveUniqueFile.lockAcquired();
 225       return;
 226     }
 227
 228     if (EC != errc::file_exists) {
 229       std::string S("failed to create link ");
 230       raw_string_ostream OSS(S);
 231       OSS << LockFileName.str() << " to " << UniqueLockFileName.str();
 232       setError(EC, OSS.str());
 233       return;
 234     }
 235
 236     // Someone else managed to create the lock file first. Read the process ID
 237     // from the lock file.
 238     if ((Owner = readLockFile(LockFileName))) {
 239       // Wipe out our unique lock file (it's useless now)
 240       sys::fs::remove(UniqueLockFileName);
 241       return;
 242     }
 243
 244     if (!sys::fs::exists(LockFileName)) {
 245       // The previous owner released the lock file before we could read it.
 246       // Try to get ownership again.
 247       continue;
 248     }
 249
 250     // There is a lock file that nobody owns; try to clean it up and get
 251     // ownership.
 252     if ((EC = sys::fs::remove(LockFileName))) {
 253       std::string S("failed to remove lockfile ");
 254       S.append(UniqueLockFileName.str());
 255       setError(EC, S);
 256       return;
 257     }
 258   }
 259 }
 260
 261 LockFileManager::LockFileState LockFileManager::getState() const {
 262   if (Owner)
 263     return LFS_Shared;
 264
 265   if (Error)
 266     return LFS_Error;
 267
 268   return LFS_Owned;
 269 }
 270
 271 std::string LockFileManager::getErrorMessage() const {
 272   if (Error) {
 273     std::string Str(ErrorDiagMsg);
 274     std::string ErrCodeMsg = Error->message();
 275     raw_string_ostream OSS(Str);
 276     if (!ErrCodeMsg.empty())
 277       OSS << ": " << Error->message();
 278     OSS.flush();
 279     return Str;
 280   }
 281   return "";
 282 }
 283
 284 LockFileManager::~LockFileManager() {
 285   if (getState() != LFS_Owned)
 286     return;
 287
 288   // Since we own the lock, remove the lock file and our own unique lock file.
 289   sys::fs::remove(LockFileName);
 290   sys::fs::remove(UniqueLockFileName);
 291   // The unique file is now gone, so remove it from the signal handler. This
 292   // matches a sys::RemoveFileOnSignal() in LockFileManager().
 293   sys::DontRemoveFileOnSignal(UniqueLockFileName);
 294 }
 295
 296 LockFileManager::WaitForUnlockResult LockFileManager::waitForUnlock() {
 297   if (getState() != LFS_Shared)
 298     return Res_Success;
 299
 300 #if LLVM_ON_WIN32
 301   unsigned long Interval = 1;
 302 #else
 303   struct timespec Interval;
 304   Interval.tv_sec = 0;
 305   Interval.tv_nsec = 1000000;
 306 #endif
 307   // Don't wait more than 40s per iteration. Total timeout for the file
 308   // to appear is ~1.5 minutes.
 309   const unsigned MaxSeconds = 40;
 310   do {
 311     // Sleep for the designated interval, to allow the owning process time to
 312     // finish up and remove the lock file.
 313     // FIXME: Should we hook in to system APIs to get a notification when the
 314     // lock file is deleted?
 315 #if LLVM_ON_WIN32
 316     Sleep(Interval);
 317 #else
 318     nanosleep(&Interval, nullptr);
 319 #endif
 320
 321     if (sys::fs::access(LockFileName.c_str(), sys::fs::AccessMode::Exist) ==
 322         errc::no_such_file_or_directory) {
 323       // If the original file wasn't created, somone thought the lock was dead.
 324       if (!sys::fs::exists(FileName))
 325         return Res_OwnerDied;
 326       return Res_Success;
 327     }
 328
 329     // If the process owning the lock died without cleaning up, just bail out.
 330     if (!processStillExecuting((*Owner).first, (*Owner).second))
 331       return Res_OwnerDied;
 332
 333     // Exponentially increase the time we wait for the lock to be removed.
 334 #if LLVM_ON_WIN32
 335     Interval *= 2;
 336 #else
 337     Interval.tv_sec *= 2;
 338     Interval.tv_nsec *= 2;
 339     if (Interval.tv_nsec >= 1000000000) {
 340       ++Interval.tv_sec;
 341       Interval.tv_nsec -= 1000000000;
 342     }
 343 #endif
 344   } while (
 345 #if LLVM_ON_WIN32
 346            Interval < MaxSeconds * 1000
 347 #else
 348            Interval.tv_sec < (time_t)MaxSeconds
 349 #endif
 350            );
 351
 352   // Give up.
 353   return Res_Timeout;
 354 }
 355
 356 std::error_code LockFileManager::unsafeRemoveLockFile() {
 357   return sys::fs::remove(LockFileName);
 358 }