mm/memfd.c

   1 /*
   2  * memfd_create system call and file sealing support
   3  *
   4  * Code was originally included in shmem.c, and broken out to facilitate
   5  * use by hugetlbfs as well as tmpfs.
   6  *
   7  * This file is released under the GPL.
   8  */
   9
  10 #include <linux/fs.h>
  11 #include <linux/vfs.h>
  12 #include <linux/pagemap.h>
  13 #include <linux/file.h>
  14 #include <linux/mm.h>
  15 #include <linux/sched/signal.h>
  16 #include <linux/khugepaged.h>
  17 #include <linux/syscalls.h>
  18 #include <linux/hugetlb.h>
  19 #include <linux/shmem_fs.h>
  20 #include <linux/memfd.h>
  21 #include <uapi/linux/memfd.h>
  22
  23 /*
  24  * We need a tag: a new tag would expand every radix_tree_node by 8 bytes,
  25  * so reuse a tag which we firmly believe is never set or cleared on tmpfs
  26  * or hugetlbfs because they are memory only filesystems.
  27  */
  28 #define MEMFD_TAG_PINNED        PAGECACHE_TAG_TOWRITE
  29 #define LAST_SCAN               4       /* about 150ms max */
  30
  31 static void memfd_tag_pins(struct address_space *mapping)
  32 {
  33         struct radix_tree_iter iter;
  34         void __rcu **slot;
  35         pgoff_t start;
  36         struct page *page;
  37         unsigned int tagged = 0;
  38
  39         lru_add_drain();
  40         start = 0;
  41
  42         xa_lock_irq(&mapping->i_pages);
  43         radix_tree_for_each_slot(slot, &mapping->i_pages, &iter, start) {
  44                 page = radix_tree_deref_slot_protected(slot, &mapping->i_pages.xa_lock);
  45                 if (!page || radix_tree_exception(page)) {
  46                         if (radix_tree_deref_retry(page)) {
  47                                 slot = radix_tree_iter_retry(&iter);
  48                                 continue;
  49                         }
  50                 } else if (page_count(page) - page_mapcount(page) > 1) {
  51                         radix_tree_tag_set(&mapping->i_pages, iter.index,
  52                                            MEMFD_TAG_PINNED);
  53                 }
  54
  55                 if (++tagged % 1024)
  56                         continue;
  57
  58                 slot = radix_tree_iter_resume(slot, &iter);
  59                 xa_unlock_irq(&mapping->i_pages);
  60                 cond_resched();
  61                 xa_lock_irq(&mapping->i_pages);
  62         }
  63         xa_unlock_irq(&mapping->i_pages);
  64 }
  65
  66 /*
  67  * Setting SEAL_WRITE requires us to verify there's no pending writer. However,
  68  * via get_user_pages(), drivers might have some pending I/O without any active
  69  * user-space mappings (eg., direct-IO, AIO). Therefore, we look at all pages
  70  * and see whether it has an elevated ref-count. If so, we tag them and wait for
  71  * them to be dropped.
  72  * The caller must guarantee that no new user will acquire writable references
  73  * to those pages to avoid races.
  74  */
  75 static int memfd_wait_for_pins(struct address_space *mapping)
  76 {
  77         struct radix_tree_iter iter;
  78         void __rcu **slot;
  79         pgoff_t start;
  80         struct page *page;
  81         int error, scan;
  82
  83         memfd_tag_pins(mapping);
  84
  85         error = 0;
  86         for (scan = 0; scan <= LAST_SCAN; scan++) {
  87                 if (!radix_tree_tagged(&mapping->i_pages, MEMFD_TAG_PINNED))
  88                         break;
  89
  90                 if (!scan)
  91                         lru_add_drain_all();
  92                 else if (schedule_timeout_killable((HZ << scan) / 200))
  93                         scan = LAST_SCAN;
  94
  95                 start = 0;
  96                 rcu_read_lock();
  97                 radix_tree_for_each_tagged(slot, &mapping->i_pages, &iter,
  98                                            start, MEMFD_TAG_PINNED) {
  99
 100                         page = radix_tree_deref_slot(slot);
 101                         if (radix_tree_exception(page)) {
 102                                 if (radix_tree_deref_retry(page)) {
 103                                         slot = radix_tree_iter_retry(&iter);
 104                                         continue;
 105                                 }
 106
 107                                 page = NULL;
 108                         }
 109
 110                         if (page &&
 111                             page_count(page) - page_mapcount(page) != 1) {
 112                                 if (scan < LAST_SCAN)
 113                                         goto continue_resched;
 114
 115                                 /*
 116                                  * On the last scan, we clean up all those tags
 117                                  * we inserted; but make a note that we still
 118                                  * found pages pinned.
 119                                  */
 120                                 error = -EBUSY;
 121                         }
 122
 123                         xa_lock_irq(&mapping->i_pages);
 124                         radix_tree_tag_clear(&mapping->i_pages,
 125                                              iter.index, MEMFD_TAG_PINNED);
 126                         xa_unlock_irq(&mapping->i_pages);
 127 continue_resched:
 128                         if (need_resched()) {
 129                                 slot = radix_tree_iter_resume(slot, &iter);
 130                                 cond_resched_rcu();
 131                         }
 132                 }
 133                 rcu_read_unlock();
 134         }
 135
 136         return error;
 137 }
 138
 139 static unsigned int *memfd_file_seals_ptr(struct file *file)
 140 {
 141         if (shmem_file(file))
 142                 return &SHMEM_I(file_inode(file))->seals;
 143
 144 #ifdef CONFIG_HUGETLBFS
 145         if (is_file_hugepages(file))
 146                 return &HUGETLBFS_I(file_inode(file))->seals;
 147 #endif
 148
 149         return NULL;
 150 }
 151
 152 #define F_ALL_SEALS (F_SEAL_SEAL | \
 153                      F_SEAL_SHRINK | \
 154                      F_SEAL_GROW | \
 155                      F_SEAL_WRITE)
 156
 157 static int memfd_add_seals(struct file *file, unsigned int seals)
 158 {
 159         struct inode *inode = file_inode(file);
 160         unsigned int *file_seals;
 161         int error;
 162
 163         /*
 164          * SEALING
 165          * Sealing allows multiple parties to share a tmpfs or hugetlbfs file
 166          * but restrict access to a specific subset of file operations. Seals
 167          * can only be added, but never removed. This way, mutually untrusted
 168          * parties can share common memory regions with a well-defined policy.
 169          * A malicious peer can thus never perform unwanted operations on a
 170          * shared object.
 171          *
 172          * Seals are only supported on special tmpfs or hugetlbfs files and
 173          * always affect the whole underlying inode. Once a seal is set, it
 174          * may prevent some kinds of access to the file. Currently, the
 175          * following seals are defined:
 176          *   SEAL_SEAL: Prevent further seals from being set on this file
 177          *   SEAL_SHRINK: Prevent the file from shrinking
 178          *   SEAL_GROW: Prevent the file from growing
 179          *   SEAL_WRITE: Prevent write access to the file
 180          *
 181          * As we don't require any trust relationship between two parties, we
 182          * must prevent seals from being removed. Therefore, sealing a file
 183          * only adds a given set of seals to the file, it never touches
 184          * existing seals. Furthermore, the "setting seals"-operation can be
 185          * sealed itself, which basically prevents any further seal from being
 186          * added.
 187          *
 188          * Semantics of sealing are only defined on volatile files. Only
 189          * anonymous tmpfs and hugetlbfs files support sealing. More
 190          * importantly, seals are never written to disk. Therefore, there's
 191          * no plan to support it on other file types.
 192          */
 193
 194         if (!(file->f_mode & FMODE_WRITE))
 195                 return -EPERM;
 196         if (seals & ~(unsigned int)F_ALL_SEALS)
 197                 return -EINVAL;
 198
 199         inode_lock(inode);
 200
 201         file_seals = memfd_file_seals_ptr(file);
 202         if (!file_seals) {
 203                 error = -EINVAL;
 204                 goto unlock;
 205         }
 206
 207         if (*file_seals & F_SEAL_SEAL) {
 208                 error = -EPERM;
 209                 goto unlock;
 210         }
 211
 212         if ((seals & F_SEAL_WRITE) && !(*file_seals & F_SEAL_WRITE)) {
 213                 error = mapping_deny_writable(file->f_mapping);
 214                 if (error)
 215                         goto unlock;
 216
 217                 error = memfd_wait_for_pins(file->f_mapping);
 218                 if (error) {
 219                         mapping_allow_writable(file->f_mapping);
 220                         goto unlock;
 221                 }
 222         }
 223
 224         *file_seals |= seals;
 225         error = 0;
 226
 227 unlock:
 228         inode_unlock(inode);
 229         return error;
 230 }
 231
 232 static int memfd_get_seals(struct file *file)
 233 {
 234         unsigned int *seals = memfd_file_seals_ptr(file);
 235
 236         return seals ? *seals : -EINVAL;
 237 }
 238
 239 long memfd_fcntl(struct file *file, unsigned int cmd, unsigned long arg)
 240 {
 241         long error;
 242
 243         switch (cmd) {
 244         case F_ADD_SEALS:
 245                 /* disallow upper 32bit */
 246                 if (arg > UINT_MAX)
 247                         return -EINVAL;
 248
 249                 error = memfd_add_seals(file, arg);
 250                 break;
 251         case F_GET_SEALS:
 252                 error = memfd_get_seals(file);
 253                 break;
 254         default:
 255                 error = -EINVAL;
 256                 break;
 257         }
 258
 259         return error;
 260 }
 261
 262 #define MFD_NAME_PREFIX "memfd:"
 263 #define MFD_NAME_PREFIX_LEN (sizeof(MFD_NAME_PREFIX) - 1)
 264 #define MFD_NAME_MAX_LEN (NAME_MAX - MFD_NAME_PREFIX_LEN)
 265
 266 #define MFD_ALL_FLAGS (MFD_CLOEXEC | MFD_ALLOW_SEALING | MFD_HUGETLB)
 267
 268 SYSCALL_DEFINE2(memfd_create,
 269                 const char __user *, uname,
 270                 unsigned int, flags)
 271 {
 272         unsigned int *file_seals;
 273         struct file *file;
 274         int fd, error;
 275         char *name;
 276         long len;
 277
 278         if (!(flags & MFD_HUGETLB)) {
 279                 if (flags & ~(unsigned int)MFD_ALL_FLAGS)
 280                         return -EINVAL;
 281         } else {
 282                 /* Allow huge page size encoding in flags. */
 283                 if (flags & ~(unsigned int)(MFD_ALL_FLAGS |
 284                                 (MFD_HUGE_MASK << MFD_HUGE_SHIFT)))
 285                         return -EINVAL;
 286         }
 287
 288         /* length includes terminating zero */
 289         len = strnlen_user(uname, MFD_NAME_MAX_LEN + 1);
 290         if (len <= 0)
 291                 return -EFAULT;
 292         if (len > MFD_NAME_MAX_LEN + 1)
 293                 return -EINVAL;
 294
 295         name = kmalloc(len + MFD_NAME_PREFIX_LEN, GFP_KERNEL);
 296         if (!name)
 297                 return -ENOMEM;
 298
 299         strcpy(name, MFD_NAME_PREFIX);
 300         if (copy_from_user(&name[MFD_NAME_PREFIX_LEN], uname, len)) {
 301                 error = -EFAULT;
 302                 goto err_name;
 303         }
 304
 305         /* terminating-zero may have changed after strnlen_user() returned */
 306         if (name[len + MFD_NAME_PREFIX_LEN - 1]) {
 307                 error = -EFAULT;
 308                 goto err_name;
 309         }
 310
 311         fd = get_unused_fd_flags((flags & MFD_CLOEXEC) ? O_CLOEXEC : 0);
 312         if (fd < 0) {
 313                 error = fd;
 314                 goto err_name;
 315         }
 316
 317         if (flags & MFD_HUGETLB) {
 318                 struct user_struct *user = NULL;
 319
 320                 file = hugetlb_file_setup(name, 0, VM_NORESERVE, &user,
 321                                         HUGETLB_ANONHUGE_INODE,
 322                                         (flags >> MFD_HUGE_SHIFT) &
 323                                         MFD_HUGE_MASK);
 324         } else
 325                 file = shmem_file_setup(name, 0, VM_NORESERVE);
 326         if (IS_ERR(file)) {
 327                 error = PTR_ERR(file);
 328                 goto err_fd;
 329         }
 330         file->f_mode |= FMODE_LSEEK | FMODE_PREAD | FMODE_PWRITE;
 331         file->f_flags |= O_LARGEFILE;
 332
 333         if (flags & MFD_ALLOW_SEALING) {
 334                 file_seals = memfd_file_seals_ptr(file);
 335                 *file_seals &= ~F_SEAL_SEAL;
 336         }
 337
 338         fd_install(fd, file);
 339         kfree(name);
 340         return fd;
 341
 342 err_fd:
 343         put_unused_fd(fd);
 344 err_name:
 345         kfree(name);
 346         return error;
 347 }