crypto/ctr.c

   1 /*
   2  * CTR: Counter mode
   3  *
   4  * (C) Copyright IBM Corp. 2007 - Joy Latten <latten@us.ibm.com>
   5  *
   6  * This program is free software; you can redistribute it and/or modify it
   7  * under the terms of the GNU General Public License as published by the Free
   8  * Software Foundation; either version 2 of the License, or (at your option)
   9  * any later version.
  10  *
  11  */
  12
  13 #include <crypto/algapi.h>
  14 #include <crypto/ctr.h>
  15 #include <crypto/internal/skcipher.h>
  16 #include <linux/err.h>
  17 #include <linux/init.h>
  18 #include <linux/kernel.h>
  19 #include <linux/module.h>
  20 #include <linux/slab.h>
  21
  22 struct crypto_rfc3686_ctx {
  23         struct crypto_skcipher *child;
  24         u8 nonce[CTR_RFC3686_NONCE_SIZE];
  25 };
  26
  27 struct crypto_rfc3686_req_ctx {
  28         u8 iv[CTR_RFC3686_BLOCK_SIZE];
  29         struct skcipher_request subreq CRYPTO_MINALIGN_ATTR;
  30 };
  31
  32 static void crypto_ctr_crypt_final(struct skcipher_walk *walk,
  33                                    struct crypto_cipher *tfm)
  34 {
  35         unsigned int bsize = crypto_cipher_blocksize(tfm);
  36         unsigned long alignmask = crypto_cipher_alignmask(tfm);
  37         u8 *ctrblk = walk->iv;
  38         u8 tmp[MAX_CIPHER_BLOCKSIZE + MAX_CIPHER_ALIGNMASK];
  39         u8 *keystream = PTR_ALIGN(tmp + 0, alignmask + 1);
  40         u8 *src = walk->src.virt.addr;
  41         u8 *dst = walk->dst.virt.addr;
  42         unsigned int nbytes = walk->nbytes;
  43
  44         crypto_cipher_encrypt_one(tfm, keystream, ctrblk);
  45         crypto_xor_cpy(dst, keystream, src, nbytes);
  46
  47         crypto_inc(ctrblk, bsize);
  48 }
  49
  50 static int crypto_ctr_crypt_segment(struct skcipher_walk *walk,
  51                                     struct crypto_cipher *tfm)
  52 {
  53         void (*fn)(struct crypto_tfm *, u8 *, const u8 *) =
  54                    crypto_cipher_alg(tfm)->cia_encrypt;
  55         unsigned int bsize = crypto_cipher_blocksize(tfm);
  56         u8 *ctrblk = walk->iv;
  57         u8 *src = walk->src.virt.addr;
  58         u8 *dst = walk->dst.virt.addr;
  59         unsigned int nbytes = walk->nbytes;
  60
  61         do {
  62                 /* create keystream */
  63                 fn(crypto_cipher_tfm(tfm), dst, ctrblk);
  64                 crypto_xor(dst, src, bsize);
  65
  66                 /* increment counter in counterblock */
  67                 crypto_inc(ctrblk, bsize);
  68
  69                 src += bsize;
  70                 dst += bsize;
  71         } while ((nbytes -= bsize) >= bsize);
  72
  73         return nbytes;
  74 }
  75
  76 static int crypto_ctr_crypt_inplace(struct skcipher_walk *walk,
  77                                     struct crypto_cipher *tfm)
  78 {
  79         void (*fn)(struct crypto_tfm *, u8 *, const u8 *) =
  80                    crypto_cipher_alg(tfm)->cia_encrypt;
  81         unsigned int bsize = crypto_cipher_blocksize(tfm);
  82         unsigned long alignmask = crypto_cipher_alignmask(tfm);
  83         unsigned int nbytes = walk->nbytes;
  84         u8 *ctrblk = walk->iv;
  85         u8 *src = walk->src.virt.addr;
  86         u8 tmp[MAX_CIPHER_BLOCKSIZE + MAX_CIPHER_ALIGNMASK];
  87         u8 *keystream = PTR_ALIGN(tmp + 0, alignmask + 1);
  88
  89         do {
  90                 /* create keystream */
  91                 fn(crypto_cipher_tfm(tfm), keystream, ctrblk);
  92                 crypto_xor(src, keystream, bsize);
  93
  94                 /* increment counter in counterblock */
  95                 crypto_inc(ctrblk, bsize);
  96
  97                 src += bsize;
  98         } while ((nbytes -= bsize) >= bsize);
  99
 100         return nbytes;
 101 }
 102
 103 static int crypto_ctr_crypt(struct skcipher_request *req)
 104 {
 105         struct crypto_skcipher *tfm = crypto_skcipher_reqtfm(req);
 106         struct crypto_cipher *cipher = skcipher_cipher_simple(tfm);
 107         const unsigned int bsize = crypto_cipher_blocksize(cipher);
 108         struct skcipher_walk walk;
 109         unsigned int nbytes;
 110         int err;
 111
 112         err = skcipher_walk_virt(&walk, req, false);
 113
 114         while (walk.nbytes >= bsize) {
 115                 if (walk.src.virt.addr == walk.dst.virt.addr)
 116                         nbytes = crypto_ctr_crypt_inplace(&walk, cipher);
 117                 else
 118                         nbytes = crypto_ctr_crypt_segment(&walk, cipher);
 119
 120                 err = skcipher_walk_done(&walk, nbytes);
 121         }
 122
 123         if (walk.nbytes) {
 124                 crypto_ctr_crypt_final(&walk, cipher);
 125                 err = skcipher_walk_done(&walk, 0);
 126         }
 127
 128         return err;
 129 }
 130
 131 static int crypto_ctr_create(struct crypto_template *tmpl, struct rtattr **tb)
 132 {
 133         struct skcipher_instance *inst;
 134         struct crypto_alg *alg;
 135         int err;
 136
 137         inst = skcipher_alloc_instance_simple(tmpl, tb, &alg);
 138         if (IS_ERR(inst))
 139                 return PTR_ERR(inst);
 140
 141         /* Block size must be >= 4 bytes. */
 142         err = -EINVAL;
 143         if (alg->cra_blocksize < 4)
 144                 goto out_free_inst;
 145
 146         /* If this is false we'd fail the alignment of crypto_inc. */
 147         if (alg->cra_blocksize % 4)
 148                 goto out_free_inst;
 149
 150         /* CTR mode is a stream cipher. */
 151         inst->alg.base.cra_blocksize = 1;
 152
 153         /*
 154          * To simplify the implementation, configure the skcipher walk to only
 155          * give a partial block at the very end, never earlier.
 156          */
 157         inst->alg.chunksize = alg->cra_blocksize;
 158
 159         inst->alg.encrypt = crypto_ctr_crypt;
 160         inst->alg.decrypt = crypto_ctr_crypt;
 161
 162         err = skcipher_register_instance(tmpl, inst);
 163         if (err)
 164                 goto out_free_inst;
 165         goto out_put_alg;
 166
 167 out_free_inst:
 168         inst->free(inst);
 169 out_put_alg:
 170         crypto_mod_put(alg);
 171         return err;
 172 }
 173
 174 static struct crypto_template crypto_ctr_tmpl = {
 175         .name = "ctr",
 176         .create = crypto_ctr_create,
 177         .module = THIS_MODULE,
 178 };
 179
 180 static int crypto_rfc3686_setkey(struct crypto_skcipher *parent,
 181                                  const u8 *key, unsigned int keylen)
 182 {
 183         struct crypto_rfc3686_ctx *ctx = crypto_skcipher_ctx(parent);
 184         struct crypto_skcipher *child = ctx->child;
 185         int err;
 186
 187         /* the nonce is stored in bytes at end of key */
 188         if (keylen < CTR_RFC3686_NONCE_SIZE)
 189                 return -EINVAL;
 190
 191         memcpy(ctx->nonce, key + (keylen - CTR_RFC3686_NONCE_SIZE),
 192                CTR_RFC3686_NONCE_SIZE);
 193
 194         keylen -= CTR_RFC3686_NONCE_SIZE;
 195
 196         crypto_skcipher_clear_flags(child, CRYPTO_TFM_REQ_MASK);
 197         crypto_skcipher_set_flags(child, crypto_skcipher_get_flags(parent) &
 198                                          CRYPTO_TFM_REQ_MASK);
 199         err = crypto_skcipher_setkey(child, key, keylen);
 200         crypto_skcipher_set_flags(parent, crypto_skcipher_get_flags(child) &
 201                                           CRYPTO_TFM_RES_MASK);
 202
 203         return err;
 204 }
 205
 206 static int crypto_rfc3686_crypt(struct skcipher_request *req)
 207 {
 208         struct crypto_skcipher *tfm = crypto_skcipher_reqtfm(req);
 209         struct crypto_rfc3686_ctx *ctx = crypto_skcipher_ctx(tfm);
 210         struct crypto_skcipher *child = ctx->child;
 211         unsigned long align = crypto_skcipher_alignmask(tfm);
 212         struct crypto_rfc3686_req_ctx *rctx =
 213                 (void *)PTR_ALIGN((u8 *)skcipher_request_ctx(req), align + 1);
 214         struct skcipher_request *subreq = &rctx->subreq;
 215         u8 *iv = rctx->iv;
 216
 217         /* set up counter block */
 218         memcpy(iv, ctx->nonce, CTR_RFC3686_NONCE_SIZE);
 219         memcpy(iv + CTR_RFC3686_NONCE_SIZE, req->iv, CTR_RFC3686_IV_SIZE);
 220
 221         /* initialize counter portion of counter block */
 222         *(__be32 *)(iv + CTR_RFC3686_NONCE_SIZE + CTR_RFC3686_IV_SIZE) =
 223                 cpu_to_be32(1);
 224
 225         skcipher_request_set_tfm(subreq, child);
 226         skcipher_request_set_callback(subreq, req->base.flags,
 227                                       req->base.complete, req->base.data);
 228         skcipher_request_set_crypt(subreq, req->src, req->dst,
 229                                    req->cryptlen, iv);
 230
 231         return crypto_skcipher_encrypt(subreq);
 232 }
 233
 234 static int crypto_rfc3686_init_tfm(struct crypto_skcipher *tfm)
 235 {
 236         struct skcipher_instance *inst = skcipher_alg_instance(tfm);
 237         struct crypto_skcipher_spawn *spawn = skcipher_instance_ctx(inst);
 238         struct crypto_rfc3686_ctx *ctx = crypto_skcipher_ctx(tfm);
 239         struct crypto_skcipher *cipher;
 240         unsigned long align;
 241         unsigned int reqsize;
 242
 243         cipher = crypto_spawn_skcipher(spawn);
 244         if (IS_ERR(cipher))
 245                 return PTR_ERR(cipher);
 246
 247         ctx->child = cipher;
 248
 249         align = crypto_skcipher_alignmask(tfm);
 250         align &= ~(crypto_tfm_ctx_alignment() - 1);
 251         reqsize = align + sizeof(struct crypto_rfc3686_req_ctx) +
 252                   crypto_skcipher_reqsize(cipher);
 253         crypto_skcipher_set_reqsize(tfm, reqsize);
 254
 255         return 0;
 256 }
 257
 258 static void crypto_rfc3686_exit_tfm(struct crypto_skcipher *tfm)
 259 {
 260         struct crypto_rfc3686_ctx *ctx = crypto_skcipher_ctx(tfm);
 261
 262         crypto_free_skcipher(ctx->child);
 263 }
 264
 265 static void crypto_rfc3686_free(struct skcipher_instance *inst)
 266 {
 267         struct crypto_skcipher_spawn *spawn = skcipher_instance_ctx(inst);
 268
 269         crypto_drop_skcipher(spawn);
 270         kfree(inst);
 271 }
 272
 273 static int crypto_rfc3686_create(struct crypto_template *tmpl,
 274                                  struct rtattr **tb)
 275 {
 276         struct crypto_attr_type *algt;
 277         struct skcipher_instance *inst;
 278         struct skcipher_alg *alg;
 279         struct crypto_skcipher_spawn *spawn;
 280         const char *cipher_name;
 281         u32 mask;
 282
 283         int err;
 284
 285         algt = crypto_get_attr_type(tb);
 286         if (IS_ERR(algt))
 287                 return PTR_ERR(algt);
 288
 289         if ((algt->type ^ CRYPTO_ALG_TYPE_SKCIPHER) & algt->mask)
 290                 return -EINVAL;
 291
 292         cipher_name = crypto_attr_alg_name(tb[1]);
 293         if (IS_ERR(cipher_name))
 294                 return PTR_ERR(cipher_name);
 295
 296         inst = kzalloc(sizeof(*inst) + sizeof(*spawn), GFP_KERNEL);
 297         if (!inst)
 298                 return -ENOMEM;
 299
 300         mask = crypto_requires_sync(algt->type, algt->mask) |
 301                 crypto_requires_off(algt->type, algt->mask,
 302                                     CRYPTO_ALG_NEED_FALLBACK);
 303
 304         spawn = skcipher_instance_ctx(inst);
 305
 306         crypto_set_skcipher_spawn(spawn, skcipher_crypto_instance(inst));
 307         err = crypto_grab_skcipher(spawn, cipher_name, 0, mask);
 308         if (err)
 309                 goto err_free_inst;
 310
 311         alg = crypto_spawn_skcipher_alg(spawn);
 312
 313         /* We only support 16-byte blocks. */
 314         err = -EINVAL;
 315         if (crypto_skcipher_alg_ivsize(alg) != CTR_RFC3686_BLOCK_SIZE)
 316                 goto err_drop_spawn;
 317
 318         /* Not a stream cipher? */
 319         if (alg->base.cra_blocksize != 1)
 320                 goto err_drop_spawn;
 321
 322         err = -ENAMETOOLONG;
 323         if (snprintf(inst->alg.base.cra_name, CRYPTO_MAX_ALG_NAME,
 324                      "rfc3686(%s)", alg->base.cra_name) >= CRYPTO_MAX_ALG_NAME)
 325                 goto err_drop_spawn;
 326         if (snprintf(inst->alg.base.cra_driver_name, CRYPTO_MAX_ALG_NAME,
 327                      "rfc3686(%s)", alg->base.cra_driver_name) >=
 328             CRYPTO_MAX_ALG_NAME)
 329                 goto err_drop_spawn;
 330
 331         inst->alg.base.cra_priority = alg->base.cra_priority;
 332         inst->alg.base.cra_blocksize = 1;
 333         inst->alg.base.cra_alignmask = alg->base.cra_alignmask;
 334
 335         inst->alg.base.cra_flags = alg->base.cra_flags & CRYPTO_ALG_ASYNC;
 336
 337         inst->alg.ivsize = CTR_RFC3686_IV_SIZE;
 338         inst->alg.chunksize = crypto_skcipher_alg_chunksize(alg);
 339         inst->alg.min_keysize = crypto_skcipher_alg_min_keysize(alg) +
 340                                 CTR_RFC3686_NONCE_SIZE;
 341         inst->alg.max_keysize = crypto_skcipher_alg_max_keysize(alg) +
 342                                 CTR_RFC3686_NONCE_SIZE;
 343
 344         inst->alg.setkey = crypto_rfc3686_setkey;
 345         inst->alg.encrypt = crypto_rfc3686_crypt;
 346         inst->alg.decrypt = crypto_rfc3686_crypt;
 347
 348         inst->alg.base.cra_ctxsize = sizeof(struct crypto_rfc3686_ctx);
 349
 350         inst->alg.init = crypto_rfc3686_init_tfm;
 351         inst->alg.exit = crypto_rfc3686_exit_tfm;
 352
 353         inst->free = crypto_rfc3686_free;
 354
 355         err = skcipher_register_instance(tmpl, inst);
 356         if (err)
 357                 goto err_drop_spawn;
 358
 359 out:
 360         return err;
 361
 362 err_drop_spawn:
 363         crypto_drop_skcipher(spawn);
 364 err_free_inst:
 365         kfree(inst);
 366         goto out;
 367 }
 368
 369 static struct crypto_template crypto_rfc3686_tmpl = {
 370         .name = "rfc3686",
 371         .create = crypto_rfc3686_create,
 372         .module = THIS_MODULE,
 373 };
 374
 375 static int __init crypto_ctr_module_init(void)
 376 {
 377         int err;
 378
 379         err = crypto_register_template(&crypto_ctr_tmpl);
 380         if (err)
 381                 goto out;
 382
 383         err = crypto_register_template(&crypto_rfc3686_tmpl);
 384         if (err)
 385                 goto out_drop_ctr;
 386
 387 out:
 388         return err;
 389
 390 out_drop_ctr:
 391         crypto_unregister_template(&crypto_ctr_tmpl);
 392         goto out;
 393 }
 394
 395 static void __exit crypto_ctr_module_exit(void)
 396 {
 397         crypto_unregister_template(&crypto_rfc3686_tmpl);
 398         crypto_unregister_template(&crypto_ctr_tmpl);
 399 }
 400
 401 module_init(crypto_ctr_module_init);
 402 module_exit(crypto_ctr_module_exit);
 403
 404 MODULE_LICENSE("GPL");
 405 MODULE_DESCRIPTION("CTR block cipher mode of operation");
 406 MODULE_ALIAS_CRYPTO("rfc3686");
 407 MODULE_ALIAS_CRYPTO("ctr");