fs/timerfd.c

   1 /*
   2  *  fs/timerfd.c
   3  *
   4  *  Copyright (C) 2007  Davide Libenzi <davidel@xmailserver.org>
   5  *
   6  *
   7  *  Thanks to Thomas Gleixner for code reviews and useful comments.
   8  *
   9  */
  10
  11 #include <linux/alarmtimer.h>
  12 #include <linux/file.h>
  13 #include <linux/poll.h>
  14 #include <linux/init.h>
  15 #include <linux/fs.h>
  16 #include <linux/sched.h>
  17 #include <linux/kernel.h>
  18 #include <linux/slab.h>
  19 #include <linux/list.h>
  20 #include <linux/spinlock.h>
  21 #include <linux/time.h>
  22 #include <linux/hrtimer.h>
  23 #include <linux/anon_inodes.h>
  24 #include <linux/timerfd.h>
  25 #include <linux/syscalls.h>
  26 #include <linux/compat.h>
  27 #include <linux/rcupdate.h>
  28
  29 struct timerfd_ctx {
  30         union {
  31                 struct hrtimer tmr;
  32                 struct alarm alarm;
  33         } t;
  34         ktime_t tintv;
  35         ktime_t moffs;
  36         wait_queue_head_t wqh;
  37         u64 ticks;
  38         int clockid;
  39         short unsigned expired;
  40         short unsigned settime_flags;   /* to show in fdinfo */
  41         struct rcu_head rcu;
  42         struct list_head clist;
  43         spinlock_t cancel_lock;
  44         bool might_cancel;
  45 };
  46
  47 static LIST_HEAD(cancel_list);
  48 static DEFINE_SPINLOCK(cancel_lock);
  49
  50 static inline bool isalarm(struct timerfd_ctx *ctx)
  51 {
  52         return ctx->clockid == CLOCK_REALTIME_ALARM ||
  53                 ctx->clockid == CLOCK_BOOTTIME_ALARM ||
  54                 ctx->clockid == CLOCK_POWEROFF_ALARM;
  55 }
  56
  57 /*
  58  * This gets called when the timer event triggers. We set the "expired"
  59  * flag, but we do not re-arm the timer (in case it's necessary,
  60  * tintv.tv64 != 0) until the timer is accessed.
  61  */
  62 static void timerfd_triggered(struct timerfd_ctx *ctx)
  63 {
  64         unsigned long flags;
  65
  66         spin_lock_irqsave(&ctx->wqh.lock, flags);
  67         ctx->expired = 1;
  68         ctx->ticks++;
  69         wake_up_locked(&ctx->wqh);
  70         spin_unlock_irqrestore(&ctx->wqh.lock, flags);
  71 }
  72
  73 static enum hrtimer_restart timerfd_tmrproc(struct hrtimer *htmr)
  74 {
  75         struct timerfd_ctx *ctx = container_of(htmr, struct timerfd_ctx,
  76                                                t.tmr);
  77         timerfd_triggered(ctx);
  78         return HRTIMER_NORESTART;
  79 }
  80
  81 static enum alarmtimer_restart timerfd_alarmproc(struct alarm *alarm,
  82         ktime_t now)
  83 {
  84         struct timerfd_ctx *ctx = container_of(alarm, struct timerfd_ctx,
  85                                                t.alarm);
  86         timerfd_triggered(ctx);
  87         return ALARMTIMER_NORESTART;
  88 }
  89
  90 /*
  91  * Called when the clock was set to cancel the timers in the cancel
  92  * list. This will wake up processes waiting on these timers. The
  93  * wake-up requires ctx->ticks to be non zero, therefore we increment
  94  * it before calling wake_up_locked().
  95  */
  96 void timerfd_clock_was_set(void)
  97 {
  98         ktime_t moffs = ktime_mono_to_real((ktime_t){ .tv64 = 0 });
  99         struct timerfd_ctx *ctx;
 100         unsigned long flags;
 101
 102         rcu_read_lock();
 103         list_for_each_entry_rcu(ctx, &cancel_list, clist) {
 104                 if (!ctx->might_cancel)
 105                         continue;
 106                 spin_lock_irqsave(&ctx->wqh.lock, flags);
 107                 if (ctx->moffs.tv64 != moffs.tv64) {
 108                         ctx->moffs.tv64 = KTIME_MAX;
 109                         ctx->ticks++;
 110                         wake_up_locked(&ctx->wqh);
 111                 }
 112                 spin_unlock_irqrestore(&ctx->wqh.lock, flags);
 113         }
 114         rcu_read_unlock();
 115 }
 116
 117 static void __timerfd_remove_cancel(struct timerfd_ctx *ctx)
 118 {
 119         if (ctx->might_cancel) {
 120                 ctx->might_cancel = false;
 121                 spin_lock(&cancel_lock);
 122                 list_del_rcu(&ctx->clist);
 123                 spin_unlock(&cancel_lock);
 124         }
 125 }
 126
 127 static void timerfd_remove_cancel(struct timerfd_ctx *ctx)
 128 {
 129         spin_lock(&ctx->cancel_lock);
 130         __timerfd_remove_cancel(ctx);
 131         spin_unlock(&ctx->cancel_lock);
 132 }
 133
 134 static bool timerfd_canceled(struct timerfd_ctx *ctx)
 135 {
 136         if (!ctx->might_cancel || ctx->moffs.tv64 != KTIME_MAX)
 137                 return false;
 138         ctx->moffs = ktime_mono_to_real((ktime_t){ .tv64 = 0 });
 139         return true;
 140 }
 141
 142 static void timerfd_setup_cancel(struct timerfd_ctx *ctx, int flags)
 143 {
 144         spin_lock(&ctx->cancel_lock);
 145         if ((ctx->clockid == CLOCK_REALTIME ||
 146              ctx->clockid == CLOCK_REALTIME_ALARM ||
 147              ctx->clockid == CLOCK_POWEROFF_ALARM) &&
 148             (flags & TFD_TIMER_ABSTIME) && (flags & TFD_TIMER_CANCEL_ON_SET)) {
 149                 if (!ctx->might_cancel) {
 150                         ctx->might_cancel = true;
 151                         spin_lock(&cancel_lock);
 152                         list_add_rcu(&ctx->clist, &cancel_list);
 153                         spin_unlock(&cancel_lock);
 154                 }
 155         } else {
 156                 __timerfd_remove_cancel(ctx);
 157         }
 158         spin_unlock(&ctx->cancel_lock);
 159 }
 160
 161 static ktime_t timerfd_get_remaining(struct timerfd_ctx *ctx)
 162 {
 163         ktime_t remaining;
 164
 165         if (isalarm(ctx))
 166                 remaining = alarm_expires_remaining(&ctx->t.alarm);
 167         else
 168                 remaining = hrtimer_expires_remaining_adjusted(&ctx->t.tmr);
 169
 170         return remaining.tv64 < 0 ? ktime_set(0, 0): remaining;
 171 }
 172
 173 static int timerfd_setup(struct timerfd_ctx *ctx, int flags,
 174                          const struct itimerspec *ktmr)
 175 {
 176         enum hrtimer_mode htmode;
 177         ktime_t texp;
 178         int clockid = ctx->clockid;
 179         enum alarmtimer_type type;
 180
 181         htmode = (flags & TFD_TIMER_ABSTIME) ?
 182                 HRTIMER_MODE_ABS: HRTIMER_MODE_REL;
 183
 184         texp = timespec_to_ktime(ktmr->it_value);
 185         ctx->expired = 0;
 186         ctx->ticks = 0;
 187         ctx->tintv = timespec_to_ktime(ktmr->it_interval);
 188
 189         if (isalarm(ctx)) {
 190                 type = clock2alarm(ctx->clockid);
 191                 alarm_init(&ctx->t.alarm, type, timerfd_alarmproc);
 192         } else {
 193                 hrtimer_init(&ctx->t.tmr, clockid, htmode);
 194                 hrtimer_set_expires(&ctx->t.tmr, texp);
 195                 ctx->t.tmr.function = timerfd_tmrproc;
 196         }
 197
 198         if (texp.tv64 != 0) {
 199                 if (isalarm(ctx)) {
 200                         if (flags & TFD_TIMER_ABSTIME)
 201                                 alarm_start(&ctx->t.alarm, texp);
 202                         else
 203                                 alarm_start_relative(&ctx->t.alarm, texp);
 204                 } else {
 205                         hrtimer_start(&ctx->t.tmr, texp, htmode);
 206                 }
 207
 208                 if (timerfd_canceled(ctx))
 209                         return -ECANCELED;
 210         }
 211
 212         ctx->settime_flags = flags & TFD_SETTIME_FLAGS;
 213         return 0;
 214 }
 215
 216 static int timerfd_release(struct inode *inode, struct file *file)
 217 {
 218         struct timerfd_ctx *ctx = file->private_data;
 219
 220         timerfd_remove_cancel(ctx);
 221
 222         if (isalarm(ctx))
 223                 alarm_cancel(&ctx->t.alarm);
 224         else
 225                 hrtimer_cancel(&ctx->t.tmr);
 226         kfree_rcu(ctx, rcu);
 227         return 0;
 228 }
 229
 230 static unsigned int timerfd_poll(struct file *file, poll_table *wait)
 231 {
 232         struct timerfd_ctx *ctx = file->private_data;
 233         unsigned int events = 0;
 234         unsigned long flags;
 235
 236         poll_wait(file, &ctx->wqh, wait);
 237
 238         spin_lock_irqsave(&ctx->wqh.lock, flags);
 239         if (ctx->ticks)
 240                 events |= POLLIN;
 241         spin_unlock_irqrestore(&ctx->wqh.lock, flags);
 242
 243         return events;
 244 }
 245
 246 static ssize_t timerfd_read(struct file *file, char __user *buf, size_t count,
 247                             loff_t *ppos)
 248 {
 249         struct timerfd_ctx *ctx = file->private_data;
 250         ssize_t res;
 251         u64 ticks = 0;
 252
 253         if (count < sizeof(ticks))
 254                 return -EINVAL;
 255         spin_lock_irq(&ctx->wqh.lock);
 256         if (file->f_flags & O_NONBLOCK)
 257                 res = -EAGAIN;
 258         else
 259                 res = wait_event_interruptible_locked_irq(ctx->wqh, ctx->ticks);
 260
 261         /*
 262          * If clock has changed, we do not care about the
 263          * ticks and we do not rearm the timer. Userspace must
 264          * reevaluate anyway.
 265          */
 266         if (timerfd_canceled(ctx)) {
 267                 ctx->ticks = 0;
 268                 ctx->expired = 0;
 269                 res = -ECANCELED;
 270         }
 271
 272         if (ctx->ticks) {
 273                 ticks = ctx->ticks;
 274
 275                 if (ctx->expired && ctx->tintv.tv64) {
 276                         /*
 277                          * If tintv.tv64 != 0, this is a periodic timer that
 278                          * needs to be re-armed. We avoid doing it in the timer
 279                          * callback to avoid DoS attacks specifying a very
 280                          * short timer period.
 281                          */
 282                         if (isalarm(ctx)) {
 283                                 ticks += alarm_forward_now(
 284                                         &ctx->t.alarm, ctx->tintv) - 1;
 285                                 alarm_restart(&ctx->t.alarm);
 286                         } else {
 287                                 ticks += hrtimer_forward_now(&ctx->t.tmr,
 288                                                              ctx->tintv) - 1;
 289                                 hrtimer_restart(&ctx->t.tmr);
 290                         }
 291                 }
 292                 ctx->expired = 0;
 293                 ctx->ticks = 0;
 294         }
 295         spin_unlock_irq(&ctx->wqh.lock);
 296         if (ticks)
 297                 res = put_user(ticks, (u64 __user *) buf) ? -EFAULT: sizeof(ticks);
 298         return res;
 299 }
 300
 301 #ifdef CONFIG_PROC_FS
 302 static void timerfd_show(struct seq_file *m, struct file *file)
 303 {
 304         struct timerfd_ctx *ctx = file->private_data;
 305         struct itimerspec t;
 306
 307         spin_lock_irq(&ctx->wqh.lock);
 308         t.it_value = ktime_to_timespec(timerfd_get_remaining(ctx));
 309         t.it_interval = ktime_to_timespec(ctx->tintv);
 310         spin_unlock_irq(&ctx->wqh.lock);
 311
 312         seq_printf(m,
 313                    "clockid: %d\n"
 314                    "ticks: %llu\n"
 315                    "settime flags: 0%o\n"
 316                    "it_value: (%llu, %llu)\n"
 317                    "it_interval: (%llu, %llu)\n",
 318                    ctx->clockid,
 319                    (unsigned long long)ctx->ticks,
 320                    ctx->settime_flags,
 321                    (unsigned long long)t.it_value.tv_sec,
 322                    (unsigned long long)t.it_value.tv_nsec,
 323                    (unsigned long long)t.it_interval.tv_sec,
 324                    (unsigned long long)t.it_interval.tv_nsec);
 325 }
 326 #else
 327 #define timerfd_show NULL
 328 #endif
 329
 330 #ifdef CONFIG_CHECKPOINT_RESTORE
 331 static long timerfd_ioctl(struct file *file, unsigned int cmd, unsigned long arg)
 332 {
 333         struct timerfd_ctx *ctx = file->private_data;
 334         int ret = 0;
 335
 336         switch (cmd) {
 337         case TFD_IOC_SET_TICKS: {
 338                 u64 ticks;
 339
 340                 if (copy_from_user(&ticks, (u64 __user *)arg, sizeof(ticks)))
 341                         return -EFAULT;
 342                 if (!ticks)
 343                         return -EINVAL;
 344
 345                 spin_lock_irq(&ctx->wqh.lock);
 346                 if (!timerfd_canceled(ctx)) {
 347                         ctx->ticks = ticks;
 348                         wake_up_locked(&ctx->wqh);
 349                 } else
 350                         ret = -ECANCELED;
 351                 spin_unlock_irq(&ctx->wqh.lock);
 352                 break;
 353         }
 354         default:
 355                 ret = -ENOTTY;
 356                 break;
 357         }
 358
 359         return ret;
 360 }
 361 #else
 362 #define timerfd_ioctl NULL
 363 #endif
 364
 365 static const struct file_operations timerfd_fops = {
 366         .release        = timerfd_release,
 367         .poll           = timerfd_poll,
 368         .read           = timerfd_read,
 369         .llseek         = noop_llseek,
 370         .show_fdinfo    = timerfd_show,
 371         .unlocked_ioctl = timerfd_ioctl,
 372 };
 373
 374 static int timerfd_fget(int fd, struct fd *p)
 375 {
 376         struct fd f = fdget(fd);
 377         if (!f.file)
 378                 return -EBADF;
 379         if (f.file->f_op != &timerfd_fops) {
 380                 fdput(f);
 381                 return -EINVAL;
 382         }
 383         *p = f;
 384         return 0;
 385 }
 386
 387 SYSCALL_DEFINE2(timerfd_create, int, clockid, int, flags)
 388 {
 389         int ufd;
 390         struct timerfd_ctx *ctx;
 391         enum alarmtimer_type type;
 392
 393         /* Check the TFD_* constants for consistency.  */
 394         BUILD_BUG_ON(TFD_CLOEXEC != O_CLOEXEC);
 395         BUILD_BUG_ON(TFD_NONBLOCK != O_NONBLOCK);
 396
 397         if ((flags & ~TFD_CREATE_FLAGS) ||
 398             (clockid != CLOCK_MONOTONIC &&
 399              clockid != CLOCK_REALTIME &&
 400              clockid != CLOCK_REALTIME_ALARM &&
 401              clockid != CLOCK_BOOTTIME &&
 402              clockid != CLOCK_BOOTTIME_ALARM &&
 403              clockid != CLOCK_POWEROFF_ALARM))
 404                 return -EINVAL;
 405
 406         ctx = kzalloc(sizeof(*ctx), GFP_KERNEL);
 407         if (!ctx)
 408                 return -ENOMEM;
 409
 410         init_waitqueue_head(&ctx->wqh);
 411         spin_lock_init(&ctx->cancel_lock);
 412         ctx->clockid = clockid;
 413
 414         if (isalarm(ctx)) {
 415                 type = clock2alarm(ctx->clockid);
 416                 alarm_init(&ctx->t.alarm, type, timerfd_alarmproc);
 417         } else {
 418                 hrtimer_init(&ctx->t.tmr, clockid, HRTIMER_MODE_ABS);
 419         }
 420
 421         ctx->moffs = ktime_mono_to_real((ktime_t){ .tv64 = 0 });
 422
 423         ufd = anon_inode_getfd("[timerfd]", &timerfd_fops, ctx,
 424                                O_RDWR | (flags & TFD_SHARED_FCNTL_FLAGS));
 425         if (ufd < 0)
 426                 kfree(ctx);
 427
 428         return ufd;
 429 }
 430
 431 static int do_timerfd_settime(int ufd, int flags,
 432                 const struct itimerspec *new,
 433                 struct itimerspec *old)
 434 {
 435         struct fd f;
 436         struct timerfd_ctx *ctx;
 437         int ret;
 438
 439         if ((flags & ~TFD_SETTIME_FLAGS) ||
 440             !timespec_valid(&new->it_value) ||
 441             !timespec_valid(&new->it_interval))
 442                 return -EINVAL;
 443
 444         ret = timerfd_fget(ufd, &f);
 445         if (ret)
 446                 return ret;
 447         ctx = f.file->private_data;
 448
 449         timerfd_setup_cancel(ctx, flags);
 450
 451         /*
 452          * We need to stop the existing timer before reprogramming
 453          * it to the new values.
 454          */
 455         for (;;) {
 456                 spin_lock_irq(&ctx->wqh.lock);
 457
 458                 if (isalarm(ctx)) {
 459                         if (alarm_try_to_cancel(&ctx->t.alarm) >= 0)
 460                                 break;
 461                 } else {
 462                         if (hrtimer_try_to_cancel(&ctx->t.tmr) >= 0)
 463                                 break;
 464                 }
 465                 spin_unlock_irq(&ctx->wqh.lock);
 466                 cpu_relax();
 467         }
 468
 469         /*
 470          * If the timer is expired and it's periodic, we need to advance it
 471          * because the caller may want to know the previous expiration time.
 472          * We do not update "ticks" and "expired" since the timer will be
 473          * re-programmed again in the following timerfd_setup() call.
 474          */
 475         if (ctx->expired && ctx->tintv.tv64) {
 476                 if (isalarm(ctx))
 477                         alarm_forward_now(&ctx->t.alarm, ctx->tintv);
 478                 else
 479                         hrtimer_forward_now(&ctx->t.tmr, ctx->tintv);
 480         }
 481
 482         old->it_value = ktime_to_timespec(timerfd_get_remaining(ctx));
 483         old->it_interval = ktime_to_timespec(ctx->tintv);
 484
 485         /*
 486          * Re-program the timer to the new value ...
 487          */
 488         ret = timerfd_setup(ctx, flags, new);
 489
 490         spin_unlock_irq(&ctx->wqh.lock);
 491
 492         if (ctx->clockid == CLOCK_POWEROFF_ALARM)
 493                 set_power_on_alarm();
 494
 495         fdput(f);
 496         return ret;
 497 }
 498
 499 static int do_timerfd_gettime(int ufd, struct itimerspec *t)
 500 {
 501         struct fd f;
 502         struct timerfd_ctx *ctx;
 503         int ret = timerfd_fget(ufd, &f);
 504         if (ret)
 505                 return ret;
 506         ctx = f.file->private_data;
 507
 508         spin_lock_irq(&ctx->wqh.lock);
 509         if (ctx->expired && ctx->tintv.tv64) {
 510                 ctx->expired = 0;
 511
 512                 if (isalarm(ctx)) {
 513                         ctx->ticks +=
 514                                 alarm_forward_now(
 515                                         &ctx->t.alarm, ctx->tintv) - 1;
 516                         alarm_restart(&ctx->t.alarm);
 517                 } else {
 518                         ctx->ticks +=
 519                                 hrtimer_forward_now(&ctx->t.tmr, ctx->tintv)
 520                                 - 1;
 521                         hrtimer_restart(&ctx->t.tmr);
 522                 }
 523         }
 524         t->it_value = ktime_to_timespec(timerfd_get_remaining(ctx));
 525         t->it_interval = ktime_to_timespec(ctx->tintv);
 526         spin_unlock_irq(&ctx->wqh.lock);
 527         fdput(f);
 528         return 0;
 529 }
 530
 531 SYSCALL_DEFINE4(timerfd_settime, int, ufd, int, flags,
 532                 const struct itimerspec __user *, utmr,
 533                 struct itimerspec __user *, otmr)
 534 {
 535         struct itimerspec new, old;
 536         int ret;
 537
 538         if (copy_from_user(&new, utmr, sizeof(new)))
 539                 return -EFAULT;
 540         ret = do_timerfd_settime(ufd, flags, &new, &old);
 541         if (ret)
 542                 return ret;
 543         if (otmr && copy_to_user(otmr, &old, sizeof(old)))
 544                 return -EFAULT;
 545
 546         return ret;
 547 }
 548
 549 SYSCALL_DEFINE2(timerfd_gettime, int, ufd, struct itimerspec __user *, otmr)
 550 {
 551         struct itimerspec kotmr;
 552         int ret = do_timerfd_gettime(ufd, &kotmr);
 553         if (ret)
 554                 return ret;
 555         return copy_to_user(otmr, &kotmr, sizeof(kotmr)) ? -EFAULT: 0;
 556 }
 557
 558 #ifdef CONFIG_COMPAT
 559 COMPAT_SYSCALL_DEFINE4(timerfd_settime, int, ufd, int, flags,
 560                 const struct compat_itimerspec __user *, utmr,
 561                 struct compat_itimerspec __user *, otmr)
 562 {
 563         struct itimerspec new, old;
 564         int ret;
 565
 566         if (get_compat_itimerspec(&new, utmr))
 567                 return -EFAULT;
 568         ret = do_timerfd_settime(ufd, flags, &new, &old);
 569         if (ret)
 570                 return ret;
 571         if (otmr && put_compat_itimerspec(otmr, &old))
 572                 return -EFAULT;
 573         return ret;
 574 }
 575
 576 COMPAT_SYSCALL_DEFINE2(timerfd_gettime, int, ufd,
 577                 struct compat_itimerspec __user *, otmr)
 578 {
 579         struct itimerspec kotmr;
 580         int ret = do_timerfd_gettime(ufd, &kotmr);
 581         if (ret)
 582                 return ret;
 583         return put_compat_itimerspec(otmr, &kotmr) ? -EFAULT: 0;
 584 }
 585 #endif