Utils.cpp

   1 /*
   2  * Copyright (C) 2015 The Android Open Source Project
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *      http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #include "Utils.h"
  18
  19 #include "Process.h"
  20 #include "sehandle.h"
  21
  22 #include <android-base/chrono_utils.h>
  23 #include <android-base/file.h>
  24 #include <android-base/logging.h>
  25 #include <android-base/properties.h>
  26 #include <android-base/stringprintf.h>
  27 #include <android-base/strings.h>
  28 #include <android-base/unique_fd.h>
  29 #include <cutils/fs.h>
  30 #include <logwrap/logwrap.h>
  31 #include <private/android_filesystem_config.h>
  32 #include <private/android_projectid_config.h>
  33
  34 #include <dirent.h>
  35 #include <fcntl.h>
  36 #include <linux/fs.h>
  37 #include <linux/posix_acl.h>
  38 #include <linux/posix_acl_xattr.h>
  39 #include <mntent.h>
  40 #include <stdio.h>
  41 #include <stdlib.h>
  42 #include <sys/mount.h>
  43 #include <sys/stat.h>
  44 #include <sys/statvfs.h>
  45 #include <sys/sysmacros.h>
  46 #include <sys/types.h>
  47 #include <sys/wait.h>
  48 #include <sys/xattr.h>
  49 #include <unistd.h>
  50
  51 #include <filesystem>
  52 #include <list>
  53 #include <mutex>
  54 #include <regex>
  55 #include <thread>
  56
  57 #ifndef UMOUNT_NOFOLLOW
  58 #define UMOUNT_NOFOLLOW 0x00000008 /* Don't follow symlink on umount */
  59 #endif
  60
  61 using namespace std::chrono_literals;
  62 using android::base::EndsWith;
  63 using android::base::ReadFileToString;
  64 using android::base::StartsWith;
  65 using android::base::StringPrintf;
  66 using android::base::unique_fd;
  67
  68 namespace android {
  69 namespace vold {
  70
  71 security_context_t sBlkidContext = nullptr;
  72 security_context_t sBlkidUntrustedContext = nullptr;
  73 security_context_t sFsckContext = nullptr;
  74 security_context_t sFsckUntrustedContext = nullptr;
  75
  76 bool sSleepOnUnmount = true;
  77
  78 static const char* kBlkidPath = "/system/bin/blkid";
  79 static const char* kKeyPath = "/data/misc/vold";
  80
  81 static const char* kProcDevices = "/proc/devices";
  82 static const char* kProcFilesystems = "/proc/filesystems";
  83
  84 static const char* kAndroidDir = "/Android/";
  85 static const char* kAppDataDir = "/Android/data/";
  86 static const char* kAppMediaDir = "/Android/media/";
  87 static const char* kAppObbDir = "/Android/obb/";
  88
  89 static const char* kMediaProviderCtx = "u:r:mediaprovider:";
  90 static const char* kMediaProviderAppCtx = "u:r:mediaprovider_app:";
  91
  92 // Lock used to protect process-level SELinux changes from racing with each
  93 // other between multiple threads.
  94 static std::mutex kSecurityLock;
  95
  96 std::string GetFuseMountPathForUser(userid_t user_id, const std::string& relative_upper_path) {
  97     return StringPrintf("/mnt/user/%d/%s", user_id, relative_upper_path.c_str());
  98 }
  99
 100 status_t CreateDeviceNode(const std::string& path, dev_t dev) {
 101     std::lock_guard<std::mutex> lock(kSecurityLock);
 102     const char* cpath = path.c_str();
 103     status_t res = 0;
 104
 105     char* secontext = nullptr;
 106     if (sehandle) {
 107         if (!selabel_lookup(sehandle, &secontext, cpath, S_IFBLK)) {
 108             setfscreatecon(secontext);
 109         }
 110     }
 111
 112     mode_t mode = 0660 | S_IFBLK;
 113     if (mknod(cpath, mode, dev) < 0) {
 114         if (errno != EEXIST) {
 115             PLOG(ERROR) << "Failed to create device node for " << major(dev) << ":" << minor(dev)
 116                         << " at " << path;
 117             res = -errno;
 118         }
 119     }
 120
 121     if (secontext) {
 122         setfscreatecon(nullptr);
 123         freecon(secontext);
 124     }
 125
 126     return res;
 127 }
 128
 129 status_t DestroyDeviceNode(const std::string& path) {
 130     const char* cpath = path.c_str();
 131     if (TEMP_FAILURE_RETRY(unlink(cpath))) {
 132         return -errno;
 133     } else {
 134         return OK;
 135     }
 136 }
 137
 138 // Sets a default ACL on the directory.
 139 status_t SetDefaultAcl(const std::string& path, mode_t mode, uid_t uid, gid_t gid,
 140                        std::vector<gid_t> additionalGids) {
 141     if (IsSdcardfsUsed()) {
 142         // sdcardfs magically takes care of this
 143         return OK;
 144     }
 145
 146     size_t num_entries = 3 + (additionalGids.size() > 0 ? additionalGids.size() + 1 : 0);
 147     size_t size = sizeof(posix_acl_xattr_header) + num_entries * sizeof(posix_acl_xattr_entry);
 148     auto buf = std::make_unique<uint8_t[]>(size);
 149
 150     posix_acl_xattr_header* acl_header = reinterpret_cast<posix_acl_xattr_header*>(buf.get());
 151     acl_header->a_version = POSIX_ACL_XATTR_VERSION;
 152
 153     posix_acl_xattr_entry* entry =
 154             reinterpret_cast<posix_acl_xattr_entry*>(buf.get() + sizeof(posix_acl_xattr_header));
 155
 156     int tag_index = 0;
 157
 158     entry[tag_index].e_tag = ACL_USER_OBJ;
 159     // The existing mode_t mask has the ACL in the lower 9 bits:
 160     // the lowest 3 for "other", the next 3 the group, the next 3 for the owner
 161     // Use the mode_t masks to get these bits out, and shift them to get the
 162     // correct value per entity.
 163     //
 164     // Eg if mode_t = 0700, rwx for the owner, then & S_IRWXU >> 6 results in 7
 165     entry[tag_index].e_perm = (mode & S_IRWXU) >> 6;
 166     entry[tag_index].e_id = uid;
 167     tag_index++;
 168
 169     entry[tag_index].e_tag = ACL_GROUP_OBJ;
 170     entry[tag_index].e_perm = (mode & S_IRWXG) >> 3;
 171     entry[tag_index].e_id = gid;
 172     tag_index++;
 173
 174     if (additionalGids.size() > 0) {
 175         for (gid_t additional_gid : additionalGids) {
 176             entry[tag_index].e_tag = ACL_GROUP;
 177             entry[tag_index].e_perm = (mode & S_IRWXG) >> 3;
 178             entry[tag_index].e_id = additional_gid;
 179             tag_index++;
 180         }
 181
 182         entry[tag_index].e_tag = ACL_MASK;
 183         entry[tag_index].e_perm = (mode & S_IRWXG) >> 3;
 184         entry[tag_index].e_id = 0;
 185         tag_index++;
 186     }
 187
 188     entry[tag_index].e_tag = ACL_OTHER;
 189     entry[tag_index].e_perm = mode & S_IRWXO;
 190     entry[tag_index].e_id = 0;
 191
 192     int ret = setxattr(path.c_str(), XATTR_NAME_POSIX_ACL_DEFAULT, acl_header, size, 0);
 193
 194     if (ret != 0) {
 195         PLOG(ERROR) << "Failed to set default ACL on " << path;
 196     }
 197
 198     return ret;
 199 }
 200
 201 int SetQuotaInherit(const std::string& path) {
 202     unsigned int flags;
 203
 204     android::base::unique_fd fd(TEMP_FAILURE_RETRY(open(path.c_str(), O_RDONLY | O_CLOEXEC)));
 205     if (fd == -1) {
 206         PLOG(ERROR) << "Failed to open " << path << " to set project id inheritance.";
 207         return -1;
 208     }
 209
 210     int ret = ioctl(fd, FS_IOC_GETFLAGS, &flags);
 211     if (ret == -1) {
 212         PLOG(ERROR) << "Failed to get flags for " << path << " to set project id inheritance.";
 213         return ret;
 214     }
 215
 216     flags |= FS_PROJINHERIT_FL;
 217
 218     ret = ioctl(fd, FS_IOC_SETFLAGS, &flags);
 219     if (ret == -1) {
 220         PLOG(ERROR) << "Failed to set flags for " << path << " to set project id inheritance.";
 221         return ret;
 222     }
 223
 224     return 0;
 225 }
 226
 227 int SetQuotaProjectId(const std::string& path, long projectId) {
 228     struct fsxattr fsx;
 229
 230     android::base::unique_fd fd(TEMP_FAILURE_RETRY(open(path.c_str(), O_RDONLY | O_CLOEXEC)));
 231     if (fd == -1) {
 232         PLOG(ERROR) << "Failed to open " << path << " to set project id.";
 233         return -1;
 234     }
 235
 236     int ret = ioctl(fd, FS_IOC_FSGETXATTR, &fsx);
 237     if (ret == -1) {
 238         PLOG(ERROR) << "Failed to get extended attributes for " << path << " to get project id.";
 239         return ret;
 240     }
 241
 242     fsx.fsx_projid = projectId;
 243     ret = ioctl(fd, FS_IOC_FSSETXATTR, &fsx);
 244     if (ret == -1) {
 245         PLOG(ERROR) << "Failed to set project id on " << path;
 246         return ret;
 247     }
 248     return 0;
 249 }
 250
 251 int PrepareDirWithProjectId(const std::string& path, mode_t mode, uid_t uid, gid_t gid,
 252                             long projectId) {
 253     int ret = fs_prepare_dir(path.c_str(), mode, uid, gid);
 254
 255     if (ret != 0) {
 256         return ret;
 257     }
 258
 259     if (!IsSdcardfsUsed()) {
 260         ret = SetQuotaProjectId(path, projectId);
 261     }
 262
 263     return ret;
 264 }
 265
 266 static int FixupAppDir(const std::string& path, mode_t mode, uid_t uid, gid_t gid, long projectId) {
 267     namespace fs = std::filesystem;
 268
 269     // Setup the directory itself correctly
 270     int ret = PrepareDirWithProjectId(path, mode, uid, gid, projectId);
 271     if (ret != OK) {
 272         return ret;
 273     }
 274
 275     // Fixup all of its file entries
 276     for (const auto& itEntry : fs::directory_iterator(path)) {
 277         ret = lchown(itEntry.path().c_str(), uid, gid);
 278         if (ret != 0) {
 279             return ret;
 280         }
 281
 282         ret = chmod(itEntry.path().c_str(), mode);
 283         if (ret != 0) {
 284             return ret;
 285         }
 286
 287         if (!IsSdcardfsUsed()) {
 288             ret = SetQuotaProjectId(itEntry.path(), projectId);
 289             if (ret != 0) {
 290                 return ret;
 291             }
 292         }
 293     }
 294
 295     return OK;
 296 }
 297
 298 int PrepareAppDirFromRoot(const std::string& path, const std::string& root, int appUid,
 299                           bool fixupExisting) {
 300     long projectId;
 301     size_t pos;
 302     int ret = 0;
 303     bool sdcardfsSupport = IsSdcardfsUsed();
 304
 305     // Make sure the Android/ directories exist and are setup correctly
 306     ret = PrepareAndroidDirs(root);
 307     if (ret != 0) {
 308         LOG(ERROR) << "Failed to prepare Android/ directories.";
 309         return ret;
 310     }
 311
 312     // Now create the application-specific subdir(s)
 313     // path is something like /data/media/0/Android/data/com.foo/files
 314     // First, chop off the volume root, eg /data/media/0
 315     std::string pathFromRoot = path.substr(root.length());
 316
 317     uid_t uid = appUid;
 318     gid_t gid = AID_MEDIA_RW;
 319     std::vector<gid_t> additionalGids;
 320     std::string appDir;
 321
 322     // Check that the next part matches one of the allowed Android/ dirs
 323     if (StartsWith(pathFromRoot, kAppDataDir)) {
 324         appDir = kAppDataDir;
 325         if (!sdcardfsSupport) {
 326             gid = AID_EXT_DATA_RW;
 327             // Also add the app's own UID as a group; since apps belong to a group
 328             // that matches their UID, this ensures that they will always have access to
 329             // the files created in these dirs, even if they are created by other processes
 330             additionalGids.push_back(uid);
 331         }
 332     } else if (StartsWith(pathFromRoot, kAppMediaDir)) {
 333         appDir = kAppMediaDir;
 334         if (!sdcardfsSupport) {
 335             gid = AID_MEDIA_RW;
 336         }
 337     } else if (StartsWith(pathFromRoot, kAppObbDir)) {
 338         appDir = kAppObbDir;
 339         if (!sdcardfsSupport) {
 340             gid = AID_EXT_OBB_RW;
 341             // See comments for kAppDataDir above
 342             additionalGids.push_back(uid);
 343         }
 344     } else {
 345         LOG(ERROR) << "Invalid application directory: " << path;
 346         return -EINVAL;
 347     }
 348
 349     // mode = 770, plus sticky bit on directory to inherit GID when apps
 350     // create subdirs
 351     mode_t mode = S_IRWXU | S_IRWXG | S_ISGID;
 352     // the project ID for application-specific directories is directly
 353     // derived from their uid
 354
 355     // Chop off the generic application-specific part, eg /Android/data/
 356     // this leaves us with something like com.foo/files/
 357     std::string leftToCreate = pathFromRoot.substr(appDir.length());
 358     if (!EndsWith(leftToCreate, "/")) {
 359         leftToCreate += "/";
 360     }
 361     std::string pathToCreate = root + appDir;
 362     int depth = 0;
 363     // Derive initial project ID
 364     if (appDir == kAppDataDir || appDir == kAppMediaDir) {
 365         projectId = uid - AID_APP_START + PROJECT_ID_EXT_DATA_START;
 366     } else if (appDir == kAppObbDir) {
 367         projectId = uid - AID_APP_START + PROJECT_ID_EXT_OBB_START;
 368     }
 369
 370     while ((pos = leftToCreate.find('/')) != std::string::npos) {
 371         std::string component = leftToCreate.substr(0, pos + 1);
 372         leftToCreate = leftToCreate.erase(0, pos + 1);
 373         pathToCreate = pathToCreate + component;
 374
 375         if (appDir == kAppDataDir && depth == 1 && component == "cache/") {
 376             // All dirs use the "app" project ID, except for the cache dirs in
 377             // Android/data, eg Android/data/com.foo/cache
 378             // Note that this "sticks" - eg subdirs of this dir need the same
 379             // project ID.
 380             projectId = uid - AID_APP_START + PROJECT_ID_EXT_CACHE_START;
 381         }
 382
 383         if (fixupExisting && access(pathToCreate.c_str(), F_OK) == 0) {
 384             // Fixup all files in this existing directory with the correct UID/GID
 385             // and project ID.
 386             ret = FixupAppDir(pathToCreate, mode, uid, gid, projectId);
 387         } else {
 388             ret = PrepareDirWithProjectId(pathToCreate, mode, uid, gid, projectId);
 389         }
 390
 391         if (ret != 0) {
 392             return ret;
 393         }
 394
 395         if (depth == 0) {
 396             // Set the default ACL on the top-level application-specific directories,
 397             // to ensure that even if applications run with a umask of 0077,
 398             // new directories within these directories will allow the GID
 399             // specified here to write; this is necessary for apps like
 400             // installers and MTP, that require access here.
 401             //
 402             // See man (5) acl for more details.
 403             ret = SetDefaultAcl(pathToCreate, mode, uid, gid, additionalGids);
 404             if (ret != 0) {
 405                 return ret;
 406             }
 407
 408             if (!sdcardfsSupport) {
 409                 // Set project ID inheritance, so that future subdirectories inherit the
 410                 // same project ID
 411                 ret = SetQuotaInherit(pathToCreate);
 412                 if (ret != 0) {
 413                     return ret;
 414                 }
 415             }
 416         }
 417
 418         depth++;
 419     }
 420
 421     return OK;
 422 }
 423
 424 int SetAttrs(const std::string& path, unsigned int attrs) {
 425     unsigned int flags;
 426     android::base::unique_fd fd(
 427             TEMP_FAILURE_RETRY(open(path.c_str(), O_RDONLY | O_NONBLOCK | O_CLOEXEC)));
 428
 429     if (fd == -1) {
 430         PLOG(ERROR) << "Failed to open " << path;
 431         return -1;
 432     }
 433
 434     if (ioctl(fd, FS_IOC_GETFLAGS, &flags)) {
 435         PLOG(ERROR) << "Failed to get flags for " << path;
 436         return -1;
 437     }
 438
 439     if ((flags & attrs) == attrs) return 0;
 440     flags |= attrs;
 441     if (ioctl(fd, FS_IOC_SETFLAGS, &flags)) {
 442         PLOG(ERROR) << "Failed to set flags for " << path << "(0x" << std::hex << attrs << ")";
 443         return -1;
 444     }
 445     return 0;
 446 }
 447
 448 status_t PrepareDir(const std::string& path, mode_t mode, uid_t uid, gid_t gid,
 449                     unsigned int attrs) {
 450     std::lock_guard<std::mutex> lock(kSecurityLock);
 451     const char* cpath = path.c_str();
 452
 453     char* secontext = nullptr;
 454     if (sehandle) {
 455         if (!selabel_lookup(sehandle, &secontext, cpath, S_IFDIR)) {
 456             setfscreatecon(secontext);
 457         }
 458     }
 459
 460     int res = fs_prepare_dir(cpath, mode, uid, gid);
 461
 462     if (secontext) {
 463         setfscreatecon(nullptr);
 464         freecon(secontext);
 465     }
 466
 467     if (res) return -errno;
 468     if (attrs) res = SetAttrs(path, attrs);
 469
 470     if (res == 0) {
 471         return OK;
 472     } else {
 473         return -errno;
 474     }
 475 }
 476
 477 status_t ForceUnmount(const std::string& path) {
 478     const char* cpath = path.c_str();
 479     if (!umount2(cpath, UMOUNT_NOFOLLOW) || errno == EINVAL || errno == ENOENT) {
 480         return OK;
 481     }
 482     // Apps might still be handling eject request, so wait before
 483     // we start sending signals
 484     if (sSleepOnUnmount) sleep(5);
 485
 486     KillProcessesWithOpenFiles(path, SIGINT);
 487     if (sSleepOnUnmount) sleep(5);
 488     if (!umount2(cpath, UMOUNT_NOFOLLOW) || errno == EINVAL || errno == ENOENT) {
 489         return OK;
 490     }
 491
 492     KillProcessesWithOpenFiles(path, SIGTERM);
 493     if (sSleepOnUnmount) sleep(5);
 494     if (!umount2(cpath, UMOUNT_NOFOLLOW) || errno == EINVAL || errno == ENOENT) {
 495         return OK;
 496     }
 497
 498     KillProcessesWithOpenFiles(path, SIGKILL);
 499     if (sSleepOnUnmount) sleep(5);
 500     if (!umount2(cpath, UMOUNT_NOFOLLOW) || errno == EINVAL || errno == ENOENT) {
 501         return OK;
 502     }
 503     PLOG(INFO) << "ForceUnmount failed";
 504     return -errno;
 505 }
 506
 507 status_t KillProcessesWithTmpfsMountPrefix(const std::string& path) {
 508     if (KillProcessesWithTmpfsMounts(path, SIGINT) == 0) {
 509         return OK;
 510     }
 511     if (sSleepOnUnmount) sleep(5);
 512
 513     if (KillProcessesWithTmpfsMounts(path, SIGTERM) == 0) {
 514         return OK;
 515     }
 516     if (sSleepOnUnmount) sleep(5);
 517
 518     if (KillProcessesWithTmpfsMounts(path, SIGKILL) == 0) {
 519         return OK;
 520     }
 521     if (sSleepOnUnmount) sleep(5);
 522
 523     // Send SIGKILL a second time to determine if we've
 524     // actually killed everyone mount
 525     if (KillProcessesWithTmpfsMounts(path, SIGKILL) == 0) {
 526         return OK;
 527     }
 528     PLOG(ERROR) << "Failed to kill processes using " << path;
 529     return -EBUSY;
 530 }
 531
 532 status_t KillProcessesUsingPath(const std::string& path) {
 533     if (KillProcessesWithOpenFiles(path, SIGINT, false /* killFuseDaemon */) == 0) {
 534         return OK;
 535     }
 536     if (sSleepOnUnmount) sleep(5);
 537
 538     if (KillProcessesWithOpenFiles(path, SIGTERM, false /* killFuseDaemon */) == 0) {
 539         return OK;
 540     }
 541     if (sSleepOnUnmount) sleep(5);
 542
 543     if (KillProcessesWithOpenFiles(path, SIGKILL, false /* killFuseDaemon */) == 0) {
 544         return OK;
 545     }
 546     if (sSleepOnUnmount) sleep(5);
 547
 548     // Send SIGKILL a second time to determine if we've
 549     // actually killed everyone with open files
 550     // This time, we also kill the FUSE daemon if found
 551     if (KillProcessesWithOpenFiles(path, SIGKILL, true /* killFuseDaemon */) == 0) {
 552         return OK;
 553     }
 554     PLOG(ERROR) << "Failed to kill processes using " << path;
 555     return -EBUSY;
 556 }
 557
 558 status_t BindMount(const std::string& source, const std::string& target) {
 559     if (UnmountTree(target) < 0) {
 560         return -errno;
 561     }
 562     if (TEMP_FAILURE_RETRY(mount(source.c_str(), target.c_str(), nullptr, MS_BIND, nullptr)) < 0) {
 563         PLOG(ERROR) << "Failed to bind mount " << source << " to " << target;
 564         return -errno;
 565     }
 566     return OK;
 567 }
 568
 569 status_t Symlink(const std::string& target, const std::string& linkpath) {
 570     if (Unlink(linkpath) < 0) {
 571         return -errno;
 572     }
 573     if (TEMP_FAILURE_RETRY(symlink(target.c_str(), linkpath.c_str())) < 0) {
 574         PLOG(ERROR) << "Failed to create symlink " << linkpath << " to " << target;
 575         return -errno;
 576     }
 577     return OK;
 578 }
 579
 580 status_t Unlink(const std::string& linkpath) {
 581     if (TEMP_FAILURE_RETRY(unlink(linkpath.c_str())) < 0 && errno != EINVAL && errno != ENOENT) {
 582         PLOG(ERROR) << "Failed to unlink " << linkpath;
 583         return -errno;
 584     }
 585     return OK;
 586 }
 587
 588 status_t CreateDir(const std::string& dir, mode_t mode) {
 589     struct stat sb;
 590     if (TEMP_FAILURE_RETRY(stat(dir.c_str(), &sb)) == 0) {
 591         if (S_ISDIR(sb.st_mode)) {
 592             return OK;
 593         } else if (TEMP_FAILURE_RETRY(unlink(dir.c_str())) == -1) {
 594             PLOG(ERROR) << "Failed to unlink " << dir;
 595             return -errno;
 596         }
 597     } else if (errno != ENOENT) {
 598         PLOG(ERROR) << "Failed to stat " << dir;
 599         return -errno;
 600     }
 601     if (TEMP_FAILURE_RETRY(mkdir(dir.c_str(), mode)) == -1 && errno != EEXIST) {
 602         PLOG(ERROR) << "Failed to mkdir " << dir;
 603         return -errno;
 604     }
 605     return OK;
 606 }
 607
 608 bool FindValue(const std::string& raw, const std::string& key, std::string* value) {
 609     auto qual = key + "=\"";
 610     size_t start = 0;
 611     while (true) {
 612         start = raw.find(qual, start);
 613         if (start == std::string::npos) return false;
 614         if (start == 0 || raw[start - 1] == ' ') {
 615             break;
 616         }
 617         start += 1;
 618     }
 619     start += qual.length();
 620
 621     auto end = raw.find("\"", start);
 622     if (end == std::string::npos) return false;
 623
 624     *value = raw.substr(start, end - start);
 625     return true;
 626 }
 627
 628 static status_t readMetadata(const std::string& path, std::string* fsType, std::string* fsUuid,
 629                              std::string* fsLabel, bool untrusted) {
 630     fsType->clear();
 631     fsUuid->clear();
 632     fsLabel->clear();
 633
 634     std::vector<std::string> cmd;
 635     cmd.push_back(kBlkidPath);
 636     cmd.push_back("-c");
 637     cmd.push_back("/dev/null");
 638     cmd.push_back("-s");
 639     cmd.push_back("TYPE");
 640     cmd.push_back("-s");
 641     cmd.push_back("UUID");
 642     cmd.push_back("-s");
 643     cmd.push_back("LABEL");
 644     cmd.push_back(path);
 645
 646     std::vector<std::string> output;
 647     status_t res = ForkExecvp(cmd, &output, untrusted ? sBlkidUntrustedContext : sBlkidContext);
 648     if (res != OK) {
 649         LOG(WARNING) << "blkid failed to identify " << path;
 650         return res;
 651     }
 652
 653     for (const auto& line : output) {
 654         // Extract values from blkid output, if defined
 655         FindValue(line, "TYPE", fsType);
 656         FindValue(line, "UUID", fsUuid);
 657         FindValue(line, "LABEL", fsLabel);
 658     }
 659
 660     return OK;
 661 }
 662
 663 status_t ReadMetadata(const std::string& path, std::string* fsType, std::string* fsUuid,
 664                       std::string* fsLabel) {
 665     return readMetadata(path, fsType, fsUuid, fsLabel, false);
 666 }
 667
 668 status_t ReadMetadataUntrusted(const std::string& path, std::string* fsType, std::string* fsUuid,
 669                                std::string* fsLabel) {
 670     return readMetadata(path, fsType, fsUuid, fsLabel, true);
 671 }
 672
 673 static std::vector<const char*> ConvertToArgv(const std::vector<std::string>& args) {
 674     std::vector<const char*> argv;
 675     argv.reserve(args.size() + 1);
 676     for (const auto& arg : args) {
 677         if (argv.empty()) {
 678             LOG(DEBUG) << arg;
 679         } else {
 680             LOG(DEBUG) << "    " << arg;
 681         }
 682         argv.emplace_back(arg.data());
 683     }
 684     argv.emplace_back(nullptr);
 685     return argv;
 686 }
 687
 688 static status_t ReadLinesFromFdAndLog(std::vector<std::string>* output,
 689                                       android::base::unique_fd ufd) {
 690     std::unique_ptr<FILE, int (*)(FILE*)> fp(android::base::Fdopen(std::move(ufd), "r"), fclose);
 691     if (!fp) {
 692         PLOG(ERROR) << "fdopen in ReadLinesFromFdAndLog";
 693         return -errno;
 694     }
 695     if (output) output->clear();
 696     char line[1024];
 697     while (fgets(line, sizeof(line), fp.get()) != nullptr) {
 698         LOG(DEBUG) << line;
 699         if (output) output->emplace_back(line);
 700     }
 701     return OK;
 702 }
 703
 704 status_t ForkExecvp(const std::vector<std::string>& args, std::vector<std::string>* output,
 705                     security_context_t context) {
 706     auto argv = ConvertToArgv(args);
 707
 708     android::base::unique_fd pipe_read, pipe_write;
 709     if (!android::base::Pipe(&pipe_read, &pipe_write)) {
 710         PLOG(ERROR) << "Pipe in ForkExecvp";
 711         return -errno;
 712     }
 713
 714     pid_t pid = fork();
 715     if (pid == 0) {
 716         if (context) {
 717             if (setexeccon(context)) {
 718                 LOG(ERROR) << "Failed to setexeccon in ForkExecvp";
 719                 abort();
 720             }
 721         }
 722         pipe_read.reset();
 723         if (dup2(pipe_write.get(), STDOUT_FILENO) == -1) {
 724             PLOG(ERROR) << "dup2 in ForkExecvp";
 725             _exit(EXIT_FAILURE);
 726         }
 727         pipe_write.reset();
 728         execvp(argv[0], const_cast<char**>(argv.data()));
 729         PLOG(ERROR) << "exec in ForkExecvp";
 730         _exit(EXIT_FAILURE);
 731     }
 732     if (pid == -1) {
 733         PLOG(ERROR) << "fork in ForkExecvp";
 734         return -errno;
 735     }
 736
 737     pipe_write.reset();
 738     auto st = ReadLinesFromFdAndLog(output, std::move(pipe_read));
 739     if (st != 0) return st;
 740
 741     int status;
 742     if (waitpid(pid, &status, 0) == -1) {
 743         PLOG(ERROR) << "waitpid in ForkExecvp";
 744         return -errno;
 745     }
 746     if (!WIFEXITED(status)) {
 747         LOG(ERROR) << "Process did not exit normally, status: " << status;
 748         return -ECHILD;
 749     }
 750     if (WEXITSTATUS(status)) {
 751         LOG(ERROR) << "Process exited with code: " << WEXITSTATUS(status);
 752         return WEXITSTATUS(status);
 753     }
 754     return OK;
 755 }
 756
 757 pid_t ForkExecvpAsync(const std::vector<std::string>& args) {
 758     auto argv = ConvertToArgv(args);
 759
 760     pid_t pid = fork();
 761     if (pid == 0) {
 762         close(STDIN_FILENO);
 763         close(STDOUT_FILENO);
 764         close(STDERR_FILENO);
 765
 766         execvp(argv[0], const_cast<char**>(argv.data()));
 767         PLOG(ERROR) << "exec in ForkExecvpAsync";
 768         _exit(EXIT_FAILURE);
 769     }
 770     if (pid == -1) {
 771         PLOG(ERROR) << "fork in ForkExecvpAsync";
 772         return -1;
 773     }
 774     return pid;
 775 }
 776
 777 status_t ReadRandomBytes(size_t bytes, std::string& out) {
 778     out.resize(bytes);
 779     return ReadRandomBytes(bytes, &out[0]);
 780 }
 781
 782 status_t ReadRandomBytes(size_t bytes, char* buf) {
 783     int fd = TEMP_FAILURE_RETRY(open("/dev/urandom", O_RDONLY | O_CLOEXEC | O_NOFOLLOW));
 784     if (fd == -1) {
 785         return -errno;
 786     }
 787
 788     ssize_t n;
 789     while ((n = TEMP_FAILURE_RETRY(read(fd, &buf[0], bytes))) > 0) {
 790         bytes -= n;
 791         buf += n;
 792     }
 793     close(fd);
 794
 795     if (bytes == 0) {
 796         return OK;
 797     } else {
 798         return -EIO;
 799     }
 800 }
 801
 802 status_t GenerateRandomUuid(std::string& out) {
 803     status_t res = ReadRandomBytes(16, out);
 804     if (res == OK) {
 805         out[6] &= 0x0f; /* clear version        */
 806         out[6] |= 0x40; /* set to version 4     */
 807         out[8] &= 0x3f; /* clear variant        */
 808         out[8] |= 0x80; /* set to IETF variant  */
 809     }
 810     return res;
 811 }
 812
 813 status_t HexToStr(const std::string& hex, std::string& str) {
 814     str.clear();
 815     bool even = true;
 816     char cur = 0;
 817     for (size_t i = 0; i < hex.size(); i++) {
 818         int val = 0;
 819         switch (hex[i]) {
 820             // clang-format off
 821             case ' ': case '-': case ':': continue;
 822             case 'f': case 'F': val = 15; break;
 823             case 'e': case 'E': val = 14; break;
 824             case 'd': case 'D': val = 13; break;
 825             case 'c': case 'C': val = 12; break;
 826             case 'b': case 'B': val = 11; break;
 827             case 'a': case 'A': val = 10; break;
 828             case '9': val = 9; break;
 829             case '8': val = 8; break;
 830             case '7': val = 7; break;
 831             case '6': val = 6; break;
 832             case '5': val = 5; break;
 833             case '4': val = 4; break;
 834             case '3': val = 3; break;
 835             case '2': val = 2; break;
 836             case '1': val = 1; break;
 837             case '0': val = 0; break;
 838             default: return -EINVAL;
 839                 // clang-format on
 840         }
 841
 842         if (even) {
 843             cur = val << 4;
 844         } else {
 845             cur += val;
 846             str.push_back(cur);
 847             cur = 0;
 848         }
 849         even = !even;
 850     }
 851     return even ? OK : -EINVAL;
 852 }
 853
 854 static const char* kLookup = "0123456789abcdef";
 855
 856 status_t StrToHex(const std::string& str, std::string& hex) {
 857     hex.clear();
 858     for (size_t i = 0; i < str.size(); i++) {
 859         hex.push_back(kLookup[(str[i] & 0xF0) >> 4]);
 860         hex.push_back(kLookup[str[i] & 0x0F]);
 861     }
 862     return OK;
 863 }
 864
 865 status_t StrToHex(const KeyBuffer& str, KeyBuffer& hex) {
 866     hex.clear();
 867     for (size_t i = 0; i < str.size(); i++) {
 868         hex.push_back(kLookup[(str.data()[i] & 0xF0) >> 4]);
 869         hex.push_back(kLookup[str.data()[i] & 0x0F]);
 870     }
 871     return OK;
 872 }
 873
 874 status_t NormalizeHex(const std::string& in, std::string& out) {
 875     std::string tmp;
 876     if (HexToStr(in, tmp)) {
 877         return -EINVAL;
 878     }
 879     return StrToHex(tmp, out);
 880 }
 881
 882 status_t GetBlockDevSize(int fd, uint64_t* size) {
 883     if (ioctl(fd, BLKGETSIZE64, size)) {
 884         return -errno;
 885     }
 886
 887     return OK;
 888 }
 889
 890 status_t GetBlockDevSize(const std::string& path, uint64_t* size) {
 891     int fd = open(path.c_str(), O_RDONLY | O_CLOEXEC);
 892     status_t res = OK;
 893
 894     if (fd < 0) {
 895         return -errno;
 896     }
 897
 898     res = GetBlockDevSize(fd, size);
 899
 900     close(fd);
 901
 902     return res;
 903 }
 904
 905 status_t GetBlockDev512Sectors(const std::string& path, uint64_t* nr_sec) {
 906     uint64_t size;
 907     status_t res = GetBlockDevSize(path, &size);
 908
 909     if (res != OK) {
 910         return res;
 911     }
 912
 913     *nr_sec = size / 512;
 914
 915     return OK;
 916 }
 917
 918 uint64_t GetFreeBytes(const std::string& path) {
 919     struct statvfs sb;
 920     if (statvfs(path.c_str(), &sb) == 0) {
 921         return (uint64_t)sb.f_bavail * sb.f_frsize;
 922     } else {
 923         return -1;
 924     }
 925 }
 926
 927 // TODO: borrowed from frameworks/native/libs/diskusage/ which should
 928 // eventually be migrated into system/
 929 static int64_t stat_size(struct stat* s) {
 930     int64_t blksize = s->st_blksize;
 931     // count actual blocks used instead of nominal file size
 932     int64_t size = s->st_blocks * 512;
 933
 934     if (blksize) {
 935         /* round up to filesystem block size */
 936         size = (size + blksize - 1) & (~(blksize - 1));
 937     }
 938
 939     return size;
 940 }
 941
 942 // TODO: borrowed from frameworks/native/libs/diskusage/ which should
 943 // eventually be migrated into system/
 944 int64_t calculate_dir_size(int dfd) {
 945     int64_t size = 0;
 946     struct stat s;
 947     DIR* d;
 948     struct dirent* de;
 949
 950     d = fdopendir(dfd);
 951     if (d == NULL) {
 952         close(dfd);
 953         return 0;
 954     }
 955
 956     while ((de = readdir(d))) {
 957         const char* name = de->d_name;
 958         if (fstatat(dfd, name, &s, AT_SYMLINK_NOFOLLOW) == 0) {
 959             size += stat_size(&s);
 960         }
 961         if (de->d_type == DT_DIR) {
 962             int subfd;
 963
 964             /* always skip "." and ".." */
 965             if (IsDotOrDotDot(*de)) continue;
 966
 967             subfd = openat(dfd, name, O_RDONLY | O_DIRECTORY | O_CLOEXEC);
 968             if (subfd >= 0) {
 969                 size += calculate_dir_size(subfd);
 970             }
 971         }
 972     }
 973     closedir(d);
 974     return size;
 975 }
 976
 977 uint64_t GetTreeBytes(const std::string& path) {
 978     int dirfd = open(path.c_str(), O_RDONLY | O_DIRECTORY | O_CLOEXEC);
 979     if (dirfd < 0) {
 980         PLOG(WARNING) << "Failed to open " << path;
 981         return -1;
 982     } else {
 983         return calculate_dir_size(dirfd);
 984     }
 985 }
 986
 987 // TODO: Use a better way to determine if it's media provider app.
 988 bool IsFuseDaemon(const pid_t pid) {
 989     auto path = StringPrintf("/proc/%d/mounts", pid);
 990     char* tmp;
 991     if (lgetfilecon(path.c_str(), &tmp) < 0) {
 992         return false;
 993     }
 994     bool result = android::base::StartsWith(tmp, kMediaProviderAppCtx)
 995             || android::base::StartsWith(tmp, kMediaProviderCtx);
 996     freecon(tmp);
 997     return result;
 998 }
 999
1000 bool IsFilesystemSupported(const std::string& fsType) {
1001     std::string supported;
1002     if (!ReadFileToString(kProcFilesystems, &supported)) {
1003         PLOG(ERROR) << "Failed to read supported filesystems";
1004         return false;
1005     }
1006     return supported.find(fsType + "\n") != std::string::npos;
1007 }
1008
1009 bool IsSdcardfsUsed() {
1010     return IsFilesystemSupported("sdcardfs") &&
1011            base::GetBoolProperty(kExternalStorageSdcardfs, true);
1012 }
1013
1014 status_t WipeBlockDevice(const std::string& path) {
1015     status_t res = -1;
1016     const char* c_path = path.c_str();
1017     uint64_t range[2] = {0, 0};
1018
1019     int fd = TEMP_FAILURE_RETRY(open(c_path, O_RDWR | O_CLOEXEC));
1020     if (fd == -1) {
1021         PLOG(ERROR) << "Failed to open " << path;
1022         goto done;
1023     }
1024
1025     if (GetBlockDevSize(fd, &range[1]) != OK) {
1026         PLOG(ERROR) << "Failed to determine size of " << path;
1027         goto done;
1028     }
1029
1030     LOG(INFO) << "About to discard " << range[1] << " on " << path;
1031     if (ioctl(fd, BLKDISCARD, &range) == 0) {
1032         LOG(INFO) << "Discard success on " << path;
1033         res = 0;
1034     } else {
1035         PLOG(ERROR) << "Discard failure on " << path;
1036     }
1037
1038 done:
1039     close(fd);
1040     return res;
1041 }
1042
1043 static bool isValidFilename(const std::string& name) {
1044     if (name.empty() || (name == ".") || (name == "..") || (name.find('/') != std::string::npos)) {
1045         return false;
1046     } else {
1047         return true;
1048     }
1049 }
1050
1051 std::string BuildKeyPath(const std::string& partGuid) {
1052     return StringPrintf("%s/expand_%s.key", kKeyPath, partGuid.c_str());
1053 }
1054
1055 std::string BuildDataSystemLegacyPath(userid_t userId) {
1056     return StringPrintf("%s/system/users/%u", BuildDataPath("").c_str(), userId);
1057 }
1058
1059 std::string BuildDataSystemCePath(userid_t userId) {
1060     return StringPrintf("%s/system_ce/%u", BuildDataPath("").c_str(), userId);
1061 }
1062
1063 std::string BuildDataSystemDePath(userid_t userId) {
1064     return StringPrintf("%s/system_de/%u", BuildDataPath("").c_str(), userId);
1065 }
1066
1067 std::string BuildDataMiscLegacyPath(userid_t userId) {
1068     return StringPrintf("%s/misc/user/%u", BuildDataPath("").c_str(), userId);
1069 }
1070
1071 std::string BuildDataMiscCePath(userid_t userId) {
1072     return StringPrintf("%s/misc_ce/%u", BuildDataPath("").c_str(), userId);
1073 }
1074
1075 std::string BuildDataMiscDePath(userid_t userId) {
1076     return StringPrintf("%s/misc_de/%u", BuildDataPath("").c_str(), userId);
1077 }
1078
1079 // Keep in sync with installd (frameworks/native/cmds/installd/utils.h)
1080 std::string BuildDataProfilesDePath(userid_t userId) {
1081     return StringPrintf("%s/misc/profiles/cur/%u", BuildDataPath("").c_str(), userId);
1082 }
1083
1084 std::string BuildDataVendorCePath(userid_t userId) {
1085     return StringPrintf("%s/vendor_ce/%u", BuildDataPath("").c_str(), userId);
1086 }
1087
1088 std::string BuildDataVendorDePath(userid_t userId) {
1089     return StringPrintf("%s/vendor_de/%u", BuildDataPath("").c_str(), userId);
1090 }
1091
1092 std::string BuildDataPath(const std::string& volumeUuid) {
1093     // TODO: unify with installd path generation logic
1094     if (volumeUuid.empty()) {
1095         return "/data";
1096     } else {
1097         CHECK(isValidFilename(volumeUuid));
1098         return StringPrintf("/mnt/expand/%s", volumeUuid.c_str());
1099     }
1100 }
1101
1102 std::string BuildDataMediaCePath(const std::string& volumeUuid, userid_t userId) {
1103     // TODO: unify with installd path generation logic
1104     std::string data(BuildDataPath(volumeUuid));
1105     return StringPrintf("%s/media/%u", data.c_str(), userId);
1106 }
1107
1108 std::string BuildDataUserCePath(const std::string& volumeUuid, userid_t userId) {
1109     // TODO: unify with installd path generation logic
1110     std::string data(BuildDataPath(volumeUuid));
1111     if (volumeUuid.empty() && userId == 0) {
1112         std::string legacy = StringPrintf("%s/data", data.c_str());
1113         struct stat sb;
1114         if (lstat(legacy.c_str(), &sb) == 0 && S_ISDIR(sb.st_mode)) {
1115             /* /data/data is dir, return /data/data for legacy system */
1116             return legacy;
1117         }
1118     }
1119     return StringPrintf("%s/user/%u", data.c_str(), userId);
1120 }
1121
1122 std::string BuildDataUserDePath(const std::string& volumeUuid, userid_t userId) {
1123     // TODO: unify with installd path generation logic
1124     std::string data(BuildDataPath(volumeUuid));
1125     return StringPrintf("%s/user_de/%u", data.c_str(), userId);
1126 }
1127
1128 dev_t GetDevice(const std::string& path) {
1129     struct stat sb;
1130     if (stat(path.c_str(), &sb)) {
1131         PLOG(WARNING) << "Failed to stat " << path;
1132         return 0;
1133     } else {
1134         return sb.st_dev;
1135     }
1136 }
1137
1138 // Returns true if |path1| names the same existing file or directory as |path2|.
1139 bool IsSameFile(const std::string& path1, const std::string& path2) {
1140     struct stat stbuf1, stbuf2;
1141     if (stat(path1.c_str(), &stbuf1) != 0 || stat(path2.c_str(), &stbuf2) != 0) return false;
1142     return stbuf1.st_ino == stbuf2.st_ino && stbuf1.st_dev == stbuf2.st_dev;
1143 }
1144
1145 status_t RestoreconRecursive(const std::string& path) {
1146     LOG(DEBUG) << "Starting restorecon of " << path;
1147
1148     static constexpr const char* kRestoreconString = "selinux.restorecon_recursive";
1149
1150     android::base::SetProperty(kRestoreconString, "");
1151     android::base::SetProperty(kRestoreconString, path);
1152
1153     android::base::WaitForProperty(kRestoreconString, path);
1154
1155     LOG(DEBUG) << "Finished restorecon of " << path;
1156     return OK;
1157 }
1158
1159 bool Readlinkat(int dirfd, const std::string& path, std::string* result) {
1160     // Shamelessly borrowed from android::base::Readlink()
1161     result->clear();
1162
1163     // Most Linux file systems (ext2 and ext4, say) limit symbolic links to
1164     // 4095 bytes. Since we'll copy out into the string anyway, it doesn't
1165     // waste memory to just start there. We add 1 so that we can recognize
1166     // whether it actually fit (rather than being truncated to 4095).
1167     std::vector<char> buf(4095 + 1);
1168     while (true) {
1169         ssize_t size = readlinkat(dirfd, path.c_str(), &buf[0], buf.size());
1170         // Unrecoverable error?
1171         if (size == -1) return false;
1172         // It fit! (If size == buf.size(), it may have been truncated.)
1173         if (static_cast<size_t>(size) < buf.size()) {
1174             result->assign(&buf[0], size);
1175             return true;
1176         }
1177         // Double our buffer and try again.
1178         buf.resize(buf.size() * 2);
1179     }
1180 }
1181
1182 static unsigned int GetMajorBlockVirtioBlk() {
1183     std::string devices;
1184     if (!ReadFileToString(kProcDevices, &devices)) {
1185         PLOG(ERROR) << "Unable to open /proc/devices";
1186         return 0;
1187     }
1188
1189     bool blockSection = false;
1190     for (auto line : android::base::Split(devices, "\n")) {
1191         if (line == "Block devices:") {
1192             blockSection = true;
1193         } else if (line == "Character devices:") {
1194             blockSection = false;
1195         } else if (blockSection) {
1196             auto tokens = android::base::Split(line, " ");
1197             if (tokens.size() == 2 && tokens[1] == "virtblk") {
1198                 return std::stoul(tokens[0]);
1199             }
1200         }
1201     }
1202
1203     return 0;
1204 }
1205
1206 bool IsVirtioBlkDevice(unsigned int major) {
1207     // Most virtualized platforms expose block devices with the virtio-blk
1208     // block device driver. Unfortunately, this driver does not use a fixed
1209     // major number, but relies on the kernel to assign one from a specific
1210     // range of block majors, which are allocated for "LOCAL/EXPERIMENAL USE"
1211     // per Documentation/devices.txt. This is true even for the latest Linux
1212     // kernel (4.4; see init() in drivers/block/virtio_blk.c).
1213     static unsigned int kMajorBlockVirtioBlk = GetMajorBlockVirtioBlk();
1214     return kMajorBlockVirtioBlk && major == kMajorBlockVirtioBlk;
1215 }
1216
1217 static status_t findMountPointsWithPrefix(const std::string& prefix,
1218                                           std::list<std::string>& mountPoints) {
1219     // Add a trailing slash if the client didn't provide one so that we don't match /foo/barbaz
1220     // when the prefix is /foo/bar
1221     std::string prefixWithSlash(prefix);
1222     if (prefix.back() != '/') {
1223         android::base::StringAppendF(&prefixWithSlash, "/");
1224     }
1225
1226     std::unique_ptr<FILE, int (*)(FILE*)> mnts(setmntent("/proc/mounts", "re"), endmntent);
1227     if (!mnts) {
1228         PLOG(ERROR) << "Unable to open /proc/mounts";
1229         return -errno;
1230     }
1231
1232     // Some volumes can be stacked on each other, so force unmount in
1233     // reverse order to give us the best chance of success.
1234     struct mntent* mnt;  // getmntent returns a thread local, so it's safe.
1235     while ((mnt = getmntent(mnts.get())) != nullptr) {
1236         auto mountPoint = std::string(mnt->mnt_dir) + "/";
1237         if (android::base::StartsWith(mountPoint, prefixWithSlash)) {
1238             mountPoints.push_front(mountPoint);
1239         }
1240     }
1241     return OK;
1242 }
1243
1244 // Unmount all mountpoints that start with prefix. prefix itself doesn't need to be a mountpoint.
1245 status_t UnmountTreeWithPrefix(const std::string& prefix) {
1246     std::list<std::string> toUnmount;
1247     status_t result = findMountPointsWithPrefix(prefix, toUnmount);
1248     if (result < 0) {
1249         return result;
1250     }
1251     for (const auto& path : toUnmount) {
1252         if (umount2(path.c_str(), MNT_DETACH)) {
1253             PLOG(ERROR) << "Failed to unmount " << path;
1254             result = -errno;
1255         }
1256     }
1257     return result;
1258 }
1259
1260 status_t UnmountTree(const std::string& mountPoint) {
1261     if (TEMP_FAILURE_RETRY(umount2(mountPoint.c_str(), MNT_DETACH)) < 0 && errno != EINVAL &&
1262         errno != ENOENT) {
1263         PLOG(ERROR) << "Failed to unmount " << mountPoint;
1264         return -errno;
1265     }
1266     return OK;
1267 }
1268
1269 bool IsDotOrDotDot(const struct dirent& ent) {
1270     return strcmp(ent.d_name, ".") == 0 || strcmp(ent.d_name, "..") == 0;
1271 }
1272
1273 static status_t delete_dir_contents(DIR* dir) {
1274     // Shamelessly borrowed from android::installd
1275     int dfd = dirfd(dir);
1276     if (dfd < 0) {
1277         return -errno;
1278     }
1279
1280     status_t result = OK;
1281     struct dirent* de;
1282     while ((de = readdir(dir))) {
1283         const char* name = de->d_name;
1284         if (de->d_type == DT_DIR) {
1285             /* always skip "." and ".." */
1286             if (IsDotOrDotDot(*de)) continue;
1287
1288             android::base::unique_fd subfd(
1289                 openat(dfd, name, O_RDONLY | O_DIRECTORY | O_NOFOLLOW | O_CLOEXEC));
1290             if (subfd.get() == -1) {
1291                 PLOG(ERROR) << "Couldn't openat " << name;
1292                 result = -errno;
1293                 continue;
1294             }
1295             std::unique_ptr<DIR, decltype(&closedir)> subdirp(
1296                 android::base::Fdopendir(std::move(subfd)), closedir);
1297             if (!subdirp) {
1298                 PLOG(ERROR) << "Couldn't fdopendir " << name;
1299                 result = -errno;
1300                 continue;
1301             }
1302             result = delete_dir_contents(subdirp.get());
1303             if (unlinkat(dfd, name, AT_REMOVEDIR) < 0) {
1304                 PLOG(ERROR) << "Couldn't unlinkat " << name;
1305                 result = -errno;
1306             }
1307         } else {
1308             if (unlinkat(dfd, name, 0) < 0) {
1309                 PLOG(ERROR) << "Couldn't unlinkat " << name;
1310                 result = -errno;
1311             }
1312         }
1313     }
1314     return result;
1315 }
1316
1317 status_t DeleteDirContentsAndDir(const std::string& pathname) {
1318     status_t res = DeleteDirContents(pathname);
1319     if (res < 0) {
1320         return res;
1321     }
1322     if (TEMP_FAILURE_RETRY(rmdir(pathname.c_str())) < 0 && errno != ENOENT) {
1323         PLOG(ERROR) << "rmdir failed on " << pathname;
1324         return -errno;
1325     }
1326     LOG(VERBOSE) << "Success: rmdir on " << pathname;
1327     return OK;
1328 }
1329
1330 status_t DeleteDirContents(const std::string& pathname) {
1331     // Shamelessly borrowed from android::installd
1332     std::unique_ptr<DIR, decltype(&closedir)> dirp(opendir(pathname.c_str()), closedir);
1333     if (!dirp) {
1334         if (errno == ENOENT) {
1335             return OK;
1336         }
1337         PLOG(ERROR) << "Failed to opendir " << pathname;
1338         return -errno;
1339     }
1340     return delete_dir_contents(dirp.get());
1341 }
1342
1343 // TODO(118708649): fix duplication with init/util.h
1344 status_t WaitForFile(const char* filename, std::chrono::nanoseconds timeout) {
1345     android::base::Timer t;
1346     while (t.duration() < timeout) {
1347         struct stat sb;
1348         if (stat(filename, &sb) != -1) {
1349             LOG(INFO) << "wait for '" << filename << "' took " << t;
1350             return 0;
1351         }
1352         std::this_thread::sleep_for(10ms);
1353     }
1354     LOG(WARNING) << "wait for '" << filename << "' timed out and took " << t;
1355     return -1;
1356 }
1357
1358 bool pathExists(const std::string& path) {
1359     return access(path.c_str(), F_OK) == 0;
1360 }
1361
1362 bool FsyncDirectory(const std::string& dirname) {
1363     android::base::unique_fd fd(TEMP_FAILURE_RETRY(open(dirname.c_str(), O_RDONLY | O_CLOEXEC)));
1364     if (fd == -1) {
1365         PLOG(ERROR) << "Failed to open " << dirname;
1366         return false;
1367     }
1368     if (fsync(fd) == -1) {
1369         if (errno == EROFS || errno == EINVAL) {
1370             PLOG(WARNING) << "Skip fsync " << dirname
1371                           << " on a file system does not support synchronization";
1372         } else {
1373             PLOG(ERROR) << "Failed to fsync " << dirname;
1374             return false;
1375         }
1376     }
1377     return true;
1378 }
1379
1380 bool FsyncParentDirectory(const std::string& path) {
1381     return FsyncDirectory(android::base::Dirname(path));
1382 }
1383
1384 // Creates all parent directories of |path| that don't already exist.  Assigns
1385 // the specified |mode| to any new directories, and also fsync()s their parent
1386 // directories so that the new directories get written to disk right away.
1387 bool MkdirsSync(const std::string& path, mode_t mode) {
1388     if (path[0] != '/') {
1389         LOG(ERROR) << "MkdirsSync() needs an absolute path, but got " << path;
1390         return false;
1391     }
1392     std::vector<std::string> components = android::base::Split(android::base::Dirname(path), "/");
1393
1394     std::string current_dir = "/";
1395     for (const std::string& component : components) {
1396         if (component.empty()) continue;
1397
1398         std::string parent_dir = current_dir;
1399         if (current_dir != "/") current_dir += "/";
1400         current_dir += component;
1401
1402         if (!pathExists(current_dir)) {
1403             if (mkdir(current_dir.c_str(), mode) != 0) {
1404                 PLOG(ERROR) << "Failed to create " << current_dir;
1405                 return false;
1406             }
1407             if (!FsyncDirectory(parent_dir)) return false;
1408             LOG(DEBUG) << "Created directory " << current_dir;
1409         }
1410     }
1411     return true;
1412 }
1413
1414 bool writeStringToFile(const std::string& payload, const std::string& filename) {
1415     android::base::unique_fd fd(TEMP_FAILURE_RETRY(
1416         open(filename.c_str(), O_WRONLY | O_CREAT | O_NOFOLLOW | O_TRUNC | O_CLOEXEC, 0666)));
1417     if (fd == -1) {
1418         PLOG(ERROR) << "Failed to open " << filename;
1419         return false;
1420     }
1421     if (!android::base::WriteStringToFd(payload, fd)) {
1422         PLOG(ERROR) << "Failed to write to " << filename;
1423         unlink(filename.c_str());
1424         return false;
1425     }
1426     // fsync as close won't guarantee flush data
1427     // see close(2), fsync(2) and b/68901441
1428     if (fsync(fd) == -1) {
1429         if (errno == EROFS || errno == EINVAL) {
1430             PLOG(WARNING) << "Skip fsync " << filename
1431                           << " on a file system does not support synchronization";
1432         } else {
1433             PLOG(ERROR) << "Failed to fsync " << filename;
1434             unlink(filename.c_str());
1435             return false;
1436         }
1437     }
1438     return true;
1439 }
1440
1441 status_t AbortFuseConnections() {
1442     namespace fs = std::filesystem;
1443
1444     for (const auto& itEntry : fs::directory_iterator("/sys/fs/fuse/connections")) {
1445         std::string abortPath = itEntry.path().string() + "/abort";
1446         LOG(DEBUG) << "Aborting fuse connection entry " << abortPath;
1447         bool ret = writeStringToFile("1", abortPath);
1448         if (!ret) {
1449             LOG(WARNING) << "Failed to write to " << abortPath;
1450         }
1451     }
1452
1453     return OK;
1454 }
1455
1456 status_t EnsureDirExists(const std::string& path, mode_t mode, uid_t uid, gid_t gid) {
1457     if (access(path.c_str(), F_OK) != 0) {
1458         PLOG(WARNING) << "Dir does not exist: " << path;
1459         if (fs_prepare_dir(path.c_str(), mode, uid, gid) != 0) {
1460             return -errno;
1461         }
1462     }
1463     return OK;
1464 }
1465
1466 // Gets the sysfs path for parameters of the backing device info (bdi)
1467 static std::string getBdiPathForMount(const std::string& mount) {
1468     // First figure out MAJOR:MINOR of mount. Simplest way is to stat the path.
1469     struct stat info;
1470     if (stat(mount.c_str(), &info) != 0) {
1471         PLOG(ERROR) << "Failed to stat " << mount;
1472         return "";
1473     }
1474     unsigned int maj = major(info.st_dev);
1475     unsigned int min = minor(info.st_dev);
1476
1477     return StringPrintf("/sys/class/bdi/%u:%u", maj, min);
1478 }
1479
1480 // Configures max_ratio for the FUSE filesystem.
1481 void ConfigureMaxDirtyRatioForFuse(const std::string& fuse_mount, unsigned int max_ratio) {
1482     LOG(INFO) << "Configuring max_ratio of " << fuse_mount << " fuse filesystem to " << max_ratio;
1483     if (max_ratio > 100) {
1484         LOG(ERROR) << "Invalid max_ratio: " << max_ratio;
1485         return;
1486     }
1487     std::string fuseBdiPath = getBdiPathForMount(fuse_mount);
1488     if (fuseBdiPath == "") {
1489         return;
1490     }
1491     std::string max_ratio_file = StringPrintf("%s/max_ratio", fuseBdiPath.c_str());
1492     unique_fd fd(TEMP_FAILURE_RETRY(open(max_ratio_file.c_str(), O_WRONLY | O_CLOEXEC)));
1493     if (fd.get() == -1) {
1494         PLOG(ERROR) << "Failed to open " << max_ratio_file;
1495         return;
1496     }
1497     LOG(INFO) << "Writing " << max_ratio << " to " << max_ratio_file;
1498     if (!WriteStringToFd(std::to_string(max_ratio), fd)) {
1499         PLOG(ERROR) << "Failed to write to " << max_ratio_file;
1500     }
1501 }
1502
1503 // Configures read ahead property of the fuse filesystem with the mount point |fuse_mount| by
1504 // writing |read_ahead_kb| to the /sys/class/bdi/MAJOR:MINOR/read_ahead_kb.
1505 void ConfigureReadAheadForFuse(const std::string& fuse_mount, size_t read_ahead_kb) {
1506     LOG(INFO) << "Configuring read_ahead of " << fuse_mount << " fuse filesystem to "
1507               << read_ahead_kb << "kb";
1508     std::string fuseBdiPath = getBdiPathForMount(fuse_mount);
1509     if (fuseBdiPath == "") {
1510         return;
1511     }
1512     // We found the bdi path for our filesystem, time to configure read ahead!
1513     std::string read_ahead_file = StringPrintf("%s/read_ahead_kb", fuseBdiPath.c_str());
1514     unique_fd fd(TEMP_FAILURE_RETRY(open(read_ahead_file.c_str(), O_WRONLY | O_CLOEXEC)));
1515     if (fd.get() == -1) {
1516         PLOG(ERROR) << "Failed to open " << read_ahead_file;
1517         return;
1518     }
1519     LOG(INFO) << "Writing " << read_ahead_kb << " to " << read_ahead_file;
1520     if (!WriteStringToFd(std::to_string(read_ahead_kb), fd)) {
1521         PLOG(ERROR) << "Failed to write to " << read_ahead_file;
1522     }
1523 }
1524
1525 status_t MountUserFuse(userid_t user_id, const std::string& absolute_lower_path,
1526                        const std::string& relative_upper_path, android::base::unique_fd* fuse_fd) {
1527     std::string pre_fuse_path(StringPrintf("/mnt/user/%d", user_id));
1528     std::string fuse_path(
1529             StringPrintf("%s/%s", pre_fuse_path.c_str(), relative_upper_path.c_str()));
1530
1531     std::string pre_pass_through_path(StringPrintf("/mnt/pass_through/%d", user_id));
1532     std::string pass_through_path(
1533             StringPrintf("%s/%s", pre_pass_through_path.c_str(), relative_upper_path.c_str()));
1534
1535     // Ensure that /mnt/user is 0700. With FUSE, apps don't need access to /mnt/user paths directly.
1536     // Without FUSE however, apps need /mnt/user access so /mnt/user in init.rc is 0755 until here
1537     auto result = PrepareDir("/mnt/user", 0750, AID_ROOT, AID_MEDIA_RW);
1538     if (result != android::OK) {
1539         PLOG(ERROR) << "Failed to prepare directory /mnt/user";
1540         return -1;
1541     }
1542
1543     // Shell is neither AID_ROOT nor AID_EVERYBODY. Since it equally needs 'execute' access to
1544     // /mnt/user/0 to 'adb shell ls /sdcard' for instance, we set the uid bit of /mnt/user/0 to
1545     // AID_SHELL. This gives shell access along with apps running as group everybody (user 0 apps)
1546     // These bits should be consistent with what is set in zygote in
1547     // com_android_internal_os_Zygote#MountEmulatedStorage on volume bind mount during app fork
1548     result = PrepareDir(pre_fuse_path, 0710, user_id ? AID_ROOT : AID_SHELL,
1549                              multiuser_get_uid(user_id, AID_EVERYBODY));
1550     if (result != android::OK) {
1551         PLOG(ERROR) << "Failed to prepare directory " << pre_fuse_path;
1552         return -1;
1553     }
1554
1555     result = PrepareDir(fuse_path, 0700, AID_ROOT, AID_ROOT);
1556     if (result != android::OK) {
1557         PLOG(ERROR) << "Failed to prepare directory " << fuse_path;
1558         return -1;
1559     }
1560
1561     result = PrepareDir(pre_pass_through_path, 0710, AID_ROOT, AID_MEDIA_RW);
1562     if (result != android::OK) {
1563         PLOG(ERROR) << "Failed to prepare directory " << pre_pass_through_path;
1564         return -1;
1565     }
1566
1567     result = PrepareDir(pass_through_path, 0710, AID_ROOT, AID_MEDIA_RW);
1568     if (result != android::OK) {
1569         PLOG(ERROR) << "Failed to prepare directory " << pass_through_path;
1570         return -1;
1571     }
1572
1573     if (relative_upper_path == "emulated") {
1574         std::string linkpath(StringPrintf("/mnt/user/%d/self", user_id));
1575         result = PrepareDir(linkpath, 0755, AID_ROOT, AID_ROOT);
1576         if (result != android::OK) {
1577             PLOG(ERROR) << "Failed to prepare directory " << linkpath;
1578             return -1;
1579         }
1580         linkpath += "/primary";
1581         Symlink("/storage/emulated/" + std::to_string(user_id), linkpath);
1582
1583         std::string pass_through_linkpath(StringPrintf("/mnt/pass_through/%d/self", user_id));
1584         result = PrepareDir(pass_through_linkpath, 0710, AID_ROOT, AID_MEDIA_RW);
1585         if (result != android::OK) {
1586             PLOG(ERROR) << "Failed to prepare directory " << pass_through_linkpath;
1587             return -1;
1588         }
1589         pass_through_linkpath += "/primary";
1590         Symlink("/storage/emulated/" + std::to_string(user_id), pass_through_linkpath);
1591     }
1592
1593     // Open fuse fd.
1594     fuse_fd->reset(open("/dev/fuse", O_RDWR | O_CLOEXEC));
1595     if (fuse_fd->get() == -1) {
1596         PLOG(ERROR) << "Failed to open /dev/fuse";
1597         return -1;
1598     }
1599
1600     // Note: leaving out default_permissions since we don't want kernel to do lower filesystem
1601     // permission checks before routing to FUSE daemon.
1602     const auto opts = StringPrintf(
1603         "fd=%i,"
1604         "rootmode=40000,"
1605         "allow_other,"
1606         "user_id=0,group_id=0,",
1607         fuse_fd->get());
1608
1609     result = TEMP_FAILURE_RETRY(mount("/dev/fuse", fuse_path.c_str(), "fuse",
1610                                       MS_NOSUID | MS_NODEV | MS_NOEXEC | MS_NOATIME | MS_LAZYTIME,
1611                                       opts.c_str()));
1612     if (result != 0) {
1613         PLOG(ERROR) << "Failed to mount " << fuse_path;
1614         return -errno;
1615     }
1616
1617     if (IsSdcardfsUsed()) {
1618         std::string sdcardfs_path(
1619                 StringPrintf("/mnt/runtime/full/%s", relative_upper_path.c_str()));
1620
1621         LOG(INFO) << "Bind mounting " << sdcardfs_path << " to " << pass_through_path;
1622         return BindMount(sdcardfs_path, pass_through_path);
1623     } else {
1624         LOG(INFO) << "Bind mounting " << absolute_lower_path << " to " << pass_through_path;
1625         return BindMount(absolute_lower_path, pass_through_path);
1626     }
1627 }
1628
1629 status_t UnmountUserFuse(userid_t user_id, const std::string& absolute_lower_path,
1630                          const std::string& relative_upper_path) {
1631     std::string fuse_path(StringPrintf("/mnt/user/%d/%s", user_id, relative_upper_path.c_str()));
1632     std::string pass_through_path(
1633             StringPrintf("/mnt/pass_through/%d/%s", user_id, relative_upper_path.c_str()));
1634
1635     LOG(INFO) << "Unmounting fuse path " << fuse_path;
1636     android::status_t result = ForceUnmount(fuse_path);
1637     if (result != android::OK) {
1638         // TODO(b/135341433): MNT_DETACH is needed for fuse because umount2 can fail with EBUSY.
1639         // Figure out why we get EBUSY and remove this special casing if possible.
1640         PLOG(ERROR) << "Failed to unmount. Trying MNT_DETACH " << fuse_path << " ...";
1641         if (umount2(fuse_path.c_str(), UMOUNT_NOFOLLOW | MNT_DETACH) && errno != EINVAL &&
1642             errno != ENOENT) {
1643             PLOG(ERROR) << "Failed to unmount with MNT_DETACH " << fuse_path;
1644             return -errno;
1645         }
1646         result = android::OK;
1647     }
1648     rmdir(fuse_path.c_str());
1649
1650     LOG(INFO) << "Unmounting pass_through_path " << pass_through_path;
1651     auto status = ForceUnmount(pass_through_path);
1652     if (status != android::OK) {
1653         LOG(ERROR) << "Failed to unmount " << pass_through_path;
1654     }
1655     rmdir(pass_through_path.c_str());
1656
1657     return result;
1658 }
1659
1660 status_t PrepareAndroidDirs(const std::string& volumeRoot) {
1661     std::string androidDir = volumeRoot + kAndroidDir;
1662     std::string androidDataDir = volumeRoot + kAppDataDir;
1663     std::string androidObbDir = volumeRoot + kAppObbDir;
1664     std::string androidMediaDir = volumeRoot + kAppMediaDir;
1665
1666     bool useSdcardFs = IsSdcardfsUsed();
1667
1668     // mode 0771 + sticky bit for inheriting GIDs
1669     mode_t mode = S_IRWXU | S_IRWXG | S_IXOTH | S_ISGID;
1670     if (fs_prepare_dir(androidDir.c_str(), mode, AID_MEDIA_RW, AID_MEDIA_RW) != 0) {
1671         PLOG(ERROR) << "Failed to create " << androidDir;
1672         return -errno;
1673     }
1674
1675     gid_t dataGid = useSdcardFs ? AID_MEDIA_RW : AID_EXT_DATA_RW;
1676     if (fs_prepare_dir(androidDataDir.c_str(), mode, AID_MEDIA_RW, dataGid) != 0) {
1677         PLOG(ERROR) << "Failed to create " << androidDataDir;
1678         return -errno;
1679     }
1680
1681     gid_t obbGid = useSdcardFs ? AID_MEDIA_RW : AID_EXT_OBB_RW;
1682     if (fs_prepare_dir(androidObbDir.c_str(), mode, AID_MEDIA_RW, obbGid) != 0) {
1683         PLOG(ERROR) << "Failed to create " << androidObbDir;
1684         return -errno;
1685     }
1686     // Some other apps, like installers, have write access to the OBB directory
1687     // to pre-download them. To make sure newly created folders in this directory
1688     // have the right permissions, set a default ACL.
1689     SetDefaultAcl(androidObbDir, mode, AID_MEDIA_RW, obbGid, {});
1690
1691     if (fs_prepare_dir(androidMediaDir.c_str(), mode, AID_MEDIA_RW, AID_MEDIA_RW) != 0) {
1692         PLOG(ERROR) << "Failed to create " << androidMediaDir;
1693         return -errno;
1694     }
1695
1696     return OK;
1697 }
1698 }  // namespace vold
1699 }  // namespace android