libavfilter/vf_uspp.c

   1 /*
   2  * Copyright (c) 2003 Michael Niedermayer <michaelni@gmx.at>
   3  * Copyright (c) 2014 Arwa Arif <arwaarif1994@gmail.com>
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License as published by
   9  * the Free Software Foundation; either version 2 of the License, or
  10  * (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License along
  18  * with FFmpeg; if not, write to the Free Software Foundation, Inc.,
  19  * 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
  20  */
  21
  22 /**
  23  * @file
  24  * Ultra Slow/Simple Post-processing filter.
  25  *
  26  * Originally written by Michael Niedermayer for the MPlayer project, and
  27  * ported by Arwa Arif for FFmpeg.
  28  */
  29
  30 #include "libavutil/avassert.h"
  31 #include "libavutil/imgutils.h"
  32 #include "libavutil/opt.h"
  33 #include "libavutil/pixdesc.h"
  34 #include "internal.h"
  35 #include "avfilter.h"
  36
  37 #define MAX_LEVEL 8 /* quality levels */
  38 #define BLOCK 16
  39
  40 typedef struct USPPContext {
  41     const AVClass *av_class;
  42     int log2_count;
  43     int hsub, vsub;
  44     int qp;
  45     int qscale_type;
  46     int temp_stride[3];
  47     uint8_t *src[3];
  48     uint16_t *temp[3];
  49     int outbuf_size;
  50     uint8_t *outbuf;
  51     AVCodecContext *avctx_enc[BLOCK*BLOCK];
  52     AVFrame *frame;
  53     AVFrame *frame_dec;
  54     uint8_t *non_b_qp_table;
  55     int non_b_qp_alloc_size;
  56     int use_bframe_qp;
  57 } USPPContext;
  58
  59 #define OFFSET(x) offsetof(USPPContext, x)
  60 #define FLAGS AV_OPT_FLAG_FILTERING_PARAM|AV_OPT_FLAG_VIDEO_PARAM
  61 static const AVOption uspp_options[] = {
  62     { "quality",       "set quality",                          OFFSET(log2_count),    AV_OPT_TYPE_INT, {.i64 = 3}, 0, MAX_LEVEL, FLAGS },
  63     { "qp",            "force a constant quantizer parameter", OFFSET(qp),            AV_OPT_TYPE_INT, {.i64 = 0}, 0, 63,        FLAGS },
  64     { "use_bframe_qp", "use B-frames' QP",                     OFFSET(use_bframe_qp), AV_OPT_TYPE_BOOL,{.i64 = 0}, 0, 1,         FLAGS },
  65     { NULL }
  66 };
  67
  68 AVFILTER_DEFINE_CLASS(uspp);
  69
  70 DECLARE_ALIGNED(8, static const uint8_t, dither)[8][8] = {
  71     {  0*4,  48*4,  12*4,  60*4,   3*4,  51*4,  15*4,  63*4, },
  72     { 32*4,  16*4,  44*4,  28*4,  35*4,  19*4,  47*4,  31*4, },
  73     {  8*4,  56*4,   4*4,  52*4,  11*4,  59*4,   7*4,  55*4, },
  74     { 40*4,  24*4,  36*4,  20*4,  43*4,  27*4,  39*4,  23*4, },
  75     {  2*4,  50*4,  14*4,  62*4,   1*4,  49*4,  13*4,  61*4, },
  76     { 34*4,  18*4,  46*4,  30*4,  33*4,  17*4,  45*4,  29*4, },
  77     { 10*4,  58*4,   6*4,  54*4,   9*4,  57*4,   5*4,  53*4, },
  78     { 42*4,  26*4,  38*4,  22*4,  41*4,  25*4,  37*4,  21*4, },
  79 };
  80
  81 static const uint8_t offset[511][2] = {
  82     { 0, 0},
  83     { 0, 0}, { 8, 8},                                                              // quality 1
  84     { 0, 0}, { 4, 4}, {12, 8}, { 8,12},                                            // quality 2
  85     { 0, 0}, {10, 2}, { 4, 4}, {14, 6}, { 8, 8}, { 2,10}, {12,12}, { 6,14},        // quality 3
  86
  87     { 0, 0}, {10, 2}, { 4, 4}, {14, 6}, { 8, 8}, { 2,10}, {12,12}, { 6,14},
  88     { 5, 1}, {15, 3}, { 9, 5}, { 3, 7}, {13, 9}, { 7,11}, { 1,13}, {11,15},        // quality 4
  89
  90     { 0, 0}, { 8, 0}, { 0, 8}, { 8, 8}, { 5, 1}, {13, 1}, { 5, 9}, {13, 9},
  91     { 2, 2}, {10, 2}, { 2,10}, {10,10}, { 7, 3}, {15, 3}, { 7,11}, {15,11},
  92     { 4, 4}, {12, 4}, { 4,12}, {12,12}, { 1, 5}, { 9, 5}, { 1,13}, { 9,13},
  93     { 6, 6}, {14, 6}, { 6,14}, {14,14}, { 3, 7}, {11, 7}, { 3,15}, {11,15},        // quality 5
  94
  95     { 0, 0}, { 8, 0}, { 0, 8}, { 8, 8}, { 4, 0}, {12, 0}, { 4, 8}, {12, 8},
  96     { 1, 1}, { 9, 1}, { 1, 9}, { 9, 9}, { 5, 1}, {13, 1}, { 5, 9}, {13, 9},
  97     { 3, 2}, {11, 2}, { 3,10}, {11,10}, { 7, 2}, {15, 2}, { 7,10}, {15,10},
  98     { 2, 3}, {10, 3}, { 2,11}, {10,11}, { 6, 3}, {14, 3}, { 6,11}, {14,11},
  99     { 0, 4}, { 8, 4}, { 0,12}, { 8,12}, { 4, 4}, {12, 4}, { 4,12}, {12,12},
 100     { 1, 5}, { 9, 5}, { 1,13}, { 9,13}, { 5, 5}, {13, 5}, { 5,13}, {13,13},
 101     { 3, 6}, {11, 6}, { 3,14}, {11,14}, { 7, 6}, {15, 6}, { 7,14}, {15,14},
 102     { 2, 7}, {10, 7}, { 2,15}, {10,15}, { 6, 7}, {14, 7}, { 6,15}, {14,15},        // quality 6
 103
 104     { 0, 0}, { 8, 0}, { 0, 8}, { 8, 8}, { 0, 2}, { 8, 2}, { 0,10}, { 8,10},
 105     { 0, 4}, { 8, 4}, { 0,12}, { 8,12}, { 0, 6}, { 8, 6}, { 0,14}, { 8,14},
 106     { 1, 1}, { 9, 1}, { 1, 9}, { 9, 9}, { 1, 3}, { 9, 3}, { 1,11}, { 9,11},
 107     { 1, 5}, { 9, 5}, { 1,13}, { 9,13}, { 1, 7}, { 9, 7}, { 1,15}, { 9,15},
 108     { 2, 0}, {10, 0}, { 2, 8}, {10, 8}, { 2, 2}, {10, 2}, { 2,10}, {10,10},
 109     { 2, 4}, {10, 4}, { 2,12}, {10,12}, { 2, 6}, {10, 6}, { 2,14}, {10,14},
 110     { 3, 1}, {11, 1}, { 3, 9}, {11, 9}, { 3, 3}, {11, 3}, { 3,11}, {11,11},
 111     { 3, 5}, {11, 5}, { 3,13}, {11,13}, { 3, 7}, {11, 7}, { 3,15}, {11,15},
 112     { 4, 0}, {12, 0}, { 4, 8}, {12, 8}, { 4, 2}, {12, 2}, { 4,10}, {12,10},
 113     { 4, 4}, {12, 4}, { 4,12}, {12,12}, { 4, 6}, {12, 6}, { 4,14}, {12,14},
 114     { 5, 1}, {13, 1}, { 5, 9}, {13, 9}, { 5, 3}, {13, 3}, { 5,11}, {13,11},
 115     { 5, 5}, {13, 5}, { 5,13}, {13,13}, { 5, 7}, {13, 7}, { 5,15}, {13,15},
 116     { 6, 0}, {14, 0}, { 6, 8}, {14, 8}, { 6, 2}, {14, 2}, { 6,10}, {14,10},
 117     { 6, 4}, {14, 4}, { 6,12}, {14,12}, { 6, 6}, {14, 6}, { 6,14}, {14,14},
 118     { 7, 1}, {15, 1}, { 7, 9}, {15, 9}, { 7, 3}, {15, 3}, { 7,11}, {15,11},
 119     { 7, 5}, {15, 5}, { 7,13}, {15,13}, { 7, 7}, {15, 7}, { 7,15}, {15,15},        // quality 7
 120
 121     { 0, 0}, { 8, 0}, { 0, 8}, { 8, 8}, { 4, 4}, {12, 4}, { 4,12}, {12,12},
 122     { 0, 4}, { 8, 4}, { 0,12}, { 8,12}, { 4, 0}, {12, 0}, { 4, 8}, {12, 8},
 123     { 2, 2}, {10, 2}, { 2,10}, {10,10}, { 6, 6}, {14, 6}, { 6,14}, {14,14},
 124     { 2, 6}, {10, 6}, { 2,14}, {10,14}, { 6, 2}, {14, 2}, { 6,10}, {14,10},
 125     { 0, 2}, { 8, 2}, { 0,10}, { 8,10}, { 4, 6}, {12, 6}, { 4,14}, {12,14},
 126     { 0, 6}, { 8, 6}, { 0,14}, { 8,14}, { 4, 2}, {12, 2}, { 4,10}, {12,10},
 127     { 2, 0}, {10, 0}, { 2, 8}, {10, 8}, { 6, 4}, {14, 4}, { 6,12}, {14,12},
 128     { 2, 4}, {10, 4}, { 2,12}, {10,12}, { 6, 0}, {14, 0}, { 6, 8}, {14, 8},
 129     { 1, 1}, { 9, 1}, { 1, 9}, { 9, 9}, { 5, 5}, {13, 5}, { 5,13}, {13,13},
 130     { 1, 5}, { 9, 5}, { 1,13}, { 9,13}, { 5, 1}, {13, 1}, { 5, 9}, {13, 9},
 131     { 3, 3}, {11, 3}, { 3,11}, {11,11}, { 7, 7}, {15, 7}, { 7,15}, {15,15},
 132     { 3, 7}, {11, 7}, { 3,15}, {11,15}, { 7, 3}, {15, 3}, { 7,11}, {15,11},
 133     { 1, 3}, { 9, 3}, { 1,11}, { 9,11}, { 5, 7}, {13, 7}, { 5,15}, {13,15},
 134     { 1, 7}, { 9, 7}, { 1,15}, { 9,15}, { 5, 3}, {13, 3}, { 5,11}, {13,11},        // quality 8
 135     { 3, 1}, {11, 1}, { 3, 9}, {11, 9}, { 7, 5}, {15, 5}, { 7,13}, {15,13},
 136     { 3, 5}, {11, 5}, { 3,13}, {11,13}, { 7, 1}, {15, 1}, { 7, 9}, {15, 9},
 137     { 0, 1}, { 8, 1}, { 0, 9}, { 8, 9}, { 4, 5}, {12, 5}, { 4,13}, {12,13},
 138     { 0, 5}, { 8, 5}, { 0,13}, { 8,13}, { 4, 1}, {12, 1}, { 4, 9}, {12, 9},
 139     { 2, 3}, {10, 3}, { 2,11}, {10,11}, { 6, 7}, {14, 7}, { 6,15}, {14,15},
 140     { 2, 7}, {10, 7}, { 2,15}, {10,15}, { 6, 3}, {14, 3}, { 6,11}, {14,11},
 141     { 0, 3}, { 8, 3}, { 0,11}, { 8,11}, { 4, 7}, {12, 7}, { 4,15}, {12,15},
 142     { 0, 7}, { 8, 7}, { 0,15}, { 8,15}, { 4, 3}, {12, 3}, { 4,11}, {12,11},
 143     { 2, 1}, {10, 1}, { 2, 9}, {10, 9}, { 6, 5}, {14, 5}, { 6,13}, {14,13},
 144     { 2, 5}, {10, 5}, { 2,13}, {10,13}, { 6, 1}, {14, 1}, { 6, 9}, {14, 9},
 145     { 1, 0}, { 9, 0}, { 1, 8}, { 9, 8}, { 5, 4}, {13, 4}, { 5,12}, {13,12},
 146     { 1, 4}, { 9, 4}, { 1,12}, { 9,12}, { 5, 0}, {13, 0}, { 5, 8}, {13, 8},
 147     { 3, 2}, {11, 2}, { 3,10}, {11,10}, { 7, 6}, {15, 6}, { 7,14}, {15,14},
 148     { 3, 6}, {11, 6}, { 3,14}, {11,14}, { 7, 2}, {15, 2}, { 7,10}, {15,10},
 149     { 1, 2}, { 9, 2}, { 1,10}, { 9,10}, { 5, 6}, {13, 6}, { 5,14}, {13,14},
 150     { 1, 6}, { 9, 6}, { 1,14}, { 9,14}, { 5, 2}, {13, 2}, { 5,10}, {13,10},
 151     { 3, 0}, {11, 0}, { 3, 8}, {11, 8}, { 7, 4}, {15, 4}, { 7,12}, {15,12},
 152     { 3, 4}, {11, 4}, { 3,12}, {11,12}, { 7, 0}, {15, 0}, { 7, 8}, {15, 8},
 153 };
 154
 155 static void store_slice_c(uint8_t *dst, const uint16_t *src,
 156                           int dst_stride, int src_stride,
 157                           int width, int height, int log2_scale)
 158 {
 159     int y, x;
 160
 161 #define STORE(pos) do {                                                     \
 162     temp = ((src[x + y * src_stride + pos] << log2_scale) + d[pos]) >> 8;   \
 163     if (temp & 0x100) temp = ~(temp >> 31);                                 \
 164     dst[x + y * dst_stride + pos] = temp;                                   \
 165 } while (0)
 166
 167     for (y = 0; y < height; y++) {
 168         const uint8_t *d = dither[y&7];
 169         for (x = 0; x < width; x += 8) {
 170             int temp;
 171             STORE(0);
 172             STORE(1);
 173             STORE(2);
 174             STORE(3);
 175             STORE(4);
 176             STORE(5);
 177             STORE(6);
 178             STORE(7);
 179         }
 180     }
 181 }
 182
 183 static void filter(USPPContext *p, uint8_t *dst[3], uint8_t *src[3],
 184                    int dst_stride[3], int src_stride[3], int width,
 185                    int height, uint8_t *qp_store, int qp_stride)
 186 {
 187     int x, y, i, j;
 188     const int count = 1<<p->log2_count;
 189     int ret;
 190
 191     for (i = 0; i < 3; i++) {
 192         int is_chroma = !!i;
 193         int w = AV_CEIL_RSHIFT(width,  is_chroma ? p->hsub : 0);
 194         int h = AV_CEIL_RSHIFT(height, is_chroma ? p->vsub : 0);
 195         int stride = p->temp_stride[i];
 196         int block = BLOCK >> (is_chroma ? p->hsub : 0);
 197
 198         if (!src[i] || !dst[i])
 199             continue;
 200         for (y = 0; y < h; y++) {
 201             int index = block + block * stride + y * stride;
 202
 203             memcpy(p->src[i] + index, src[i] + y * src_stride[i], w );
 204             for (x = 0; x < block; x++) {
 205                 p->src[i][index     - x - 1] = p->src[i][index +     x    ];
 206                 p->src[i][index + w + x    ] = p->src[i][index + w - x - 1];
 207             }
 208         }
 209         for (y = 0; y < block; y++) {
 210             memcpy(p->src[i] + (  block-1-y) * stride, p->src[i] + (  y+block  ) * stride, stride);
 211             memcpy(p->src[i] + (h+block  +y) * stride, p->src[i] + (h-y+block-1) * stride, stride);
 212         }
 213
 214         p->frame->linesize[i] = stride;
 215         memset(p->temp[i], 0, (h + 2 * block) * stride * sizeof(int16_t));
 216     }
 217
 218     if (p->qp)
 219         p->frame->quality = p->qp * FF_QP2LAMBDA;
 220     else {
 221         int qpsum=0;
 222         int qpcount = (height>>4) * (height>>4);
 223
 224         for (y = 0; y < (height>>4); y++) {
 225             for (x = 0; x < (width>>4); x++)
 226                 qpsum += qp_store[x + y * qp_stride];
 227         }
 228         p->frame->quality = ff_norm_qscale((qpsum + qpcount/2) / qpcount, p->qscale_type) * FF_QP2LAMBDA;
 229     }
 230 //    init per MB qscale stuff FIXME
 231     p->frame->height = height + BLOCK;
 232     p->frame->width  = width + BLOCK;
 233
 234     for (i = 0; i < count; i++) {
 235         const int x1 = offset[i+count-1][0];
 236         const int y1 = offset[i+count-1][1];
 237         const int x1c = x1 >> p->hsub;
 238         const int y1c = y1 >> p->vsub;
 239         const int BLOCKc = BLOCK >> p->hsub;
 240         int offset;
 241         AVPacket pkt = {0};
 242         int got_pkt_ptr;
 243
 244         av_init_packet(&pkt);
 245         pkt.data = p->outbuf;
 246         pkt.size = p->outbuf_size;
 247
 248         p->frame->data[0] = p->src[0] + x1   + y1   * p->frame->linesize[0];
 249         p->frame->data[1] = p->src[1] + x1c  + y1c  * p->frame->linesize[1];
 250         p->frame->data[2] = p->src[2] + x1c  + y1c  * p->frame->linesize[2];
 251         p->frame->format  = p->avctx_enc[i]->pix_fmt;
 252
 253         ret = avcodec_encode_video2(p->avctx_enc[i], &pkt, p->frame, &got_pkt_ptr);
 254         if (ret < 0) {
 255             av_log(p->avctx_enc[i], AV_LOG_ERROR, "Encoding failed\n");
 256             continue;
 257         }
 258
 259         p->frame_dec = p->avctx_enc[i]->coded_frame;
 260
 261         offset = (BLOCK-x1) + (BLOCK-y1) * p->frame_dec->linesize[0];
 262
 263         for (y = 0; y < height; y++)
 264             for (x = 0; x < width; x++)
 265                 p->temp[0][x + y * p->temp_stride[0]] += p->frame_dec->data[0][x + y * p->frame_dec->linesize[0] + offset];
 266
 267         if (!src[2] || !dst[2])
 268             continue;
 269
 270         offset = (BLOCKc-x1c) + (BLOCKc-y1c) * p->frame_dec->linesize[1];
 271
 272         for (y = 0; y < AV_CEIL_RSHIFT(height, p->vsub); y++) {
 273             for (x = 0; x < AV_CEIL_RSHIFT(width, p->hsub); x++) {
 274                 p->temp[1][x + y * p->temp_stride[1]] += p->frame_dec->data[1][x + y * p->frame_dec->linesize[1] + offset];
 275                 p->temp[2][x + y * p->temp_stride[2]] += p->frame_dec->data[2][x + y * p->frame_dec->linesize[2] + offset];
 276             }
 277         }
 278     }
 279
 280     for (j = 0; j < 3; j++) {
 281         int is_chroma = !!j;
 282         if (!dst[j])
 283             continue;
 284         store_slice_c(dst[j], p->temp[j], dst_stride[j], p->temp_stride[j],
 285                       AV_CEIL_RSHIFT(width,  is_chroma ? p->hsub : 0),
 286                       AV_CEIL_RSHIFT(height, is_chroma ? p->vsub : 0),
 287                       8-p->log2_count);
 288     }
 289 }
 290
 291 static int query_formats(AVFilterContext *ctx)
 292 {
 293     static const enum AVPixelFormat pix_fmts[] = {
 294         AV_PIX_FMT_YUV444P,
 295         AV_PIX_FMT_YUV420P,
 296         AV_PIX_FMT_YUV410P,
 297         AV_PIX_FMT_YUVJ444P,
 298         AV_PIX_FMT_YUVJ420P,
 299         AV_PIX_FMT_GRAY8,
 300         AV_PIX_FMT_NONE
 301     };
 302
 303     AVFilterFormats *fmts_list = ff_make_format_list(pix_fmts);
 304     if (!fmts_list)
 305         return AVERROR(ENOMEM);
 306     return ff_set_common_formats(ctx, fmts_list);
 307 }
 308
 309 static int config_input(AVFilterLink *inlink)
 310 {
 311
 312     AVFilterContext *ctx = inlink->dst;
 313     USPPContext *uspp = ctx->priv;
 314     const int height = inlink->h;
 315     const int width  = inlink->w;
 316     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(inlink->format);
 317     int i;
 318
 319     AVCodec *enc = avcodec_find_encoder(AV_CODEC_ID_SNOW);
 320     if (!enc) {
 321         av_log(ctx, AV_LOG_ERROR, "SNOW encoder not found.\n");
 322         return AVERROR(EINVAL);
 323     }
 324
 325     uspp->hsub = desc->log2_chroma_w;
 326     uspp->vsub = desc->log2_chroma_h;
 327
 328     for (i = 0; i < 3; i++) {
 329         int is_chroma = !!i;
 330         int w = (width  + 4 * BLOCK-1) & (~(2 * BLOCK-1));
 331         int h = (height + 4 * BLOCK-1) & (~(2 * BLOCK-1));
 332
 333         if (is_chroma) {
 334             w = AV_CEIL_RSHIFT(w, uspp->hsub);
 335             h = AV_CEIL_RSHIFT(h, uspp->vsub);
 336         }
 337
 338         uspp->temp_stride[i] = w;
 339         if (!(uspp->temp[i] = av_malloc_array(uspp->temp_stride[i], h * sizeof(int16_t))))
 340             return AVERROR(ENOMEM);
 341         if (!(uspp->src [i] = av_malloc_array(uspp->temp_stride[i], h * sizeof(uint8_t))))
 342             return AVERROR(ENOMEM);
 343     }
 344
 345     for (i = 0; i < (1<<uspp->log2_count); i++) {
 346         AVCodecContext *avctx_enc;
 347         AVDictionary *opts = NULL;
 348         int ret;
 349
 350         if (!(uspp->avctx_enc[i] = avcodec_alloc_context3(NULL)))
 351             return AVERROR(ENOMEM);
 352
 353         avctx_enc = uspp->avctx_enc[i];
 354         avctx_enc->width = width + BLOCK;
 355         avctx_enc->height = height + BLOCK;
 356         avctx_enc->time_base = (AVRational){1,25};  // meaningless
 357         avctx_enc->gop_size = INT_MAX;
 358         avctx_enc->max_b_frames = 0;
 359         avctx_enc->pix_fmt = inlink->format;
 360         avctx_enc->flags = AV_CODEC_FLAG_QSCALE | AV_CODEC_FLAG_LOW_DELAY;
 361         avctx_enc->strict_std_compliance = FF_COMPLIANCE_EXPERIMENTAL;
 362         avctx_enc->global_quality = 123;
 363         av_dict_set(&opts, "no_bitstream", "1", 0);
 364         ret = avcodec_open2(avctx_enc, enc, &opts);
 365         if (ret < 0)
 366             return ret;
 367         av_dict_free(&opts);
 368         av_assert0(avctx_enc->codec);
 369     }
 370
 371     uspp->outbuf_size = (width + BLOCK) * (height + BLOCK) * 10;
 372     if (!(uspp->frame = av_frame_alloc()))
 373         return AVERROR(ENOMEM);
 374     if (!(uspp->outbuf = av_malloc(uspp->outbuf_size)))
 375         return AVERROR(ENOMEM);
 376
 377     return 0;
 378 }
 379
 380 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
 381 {
 382     AVFilterContext *ctx = inlink->dst;
 383     USPPContext *uspp = ctx->priv;
 384     AVFilterLink *outlink = ctx->outputs[0];
 385     AVFrame *out = in;
 386
 387     int qp_stride = 0;
 388     uint8_t *qp_table = NULL;
 389
 390     /* if we are not in a constant user quantizer mode and we don't want to use
 391      * the quantizers from the B-frames (B-frames often have a higher QP), we
 392      * need to save the qp table from the last non B-frame; this is what the
 393      * following code block does */
 394     if (!uspp->qp) {
 395         qp_table = av_frame_get_qp_table(in, &qp_stride, &uspp->qscale_type);
 396
 397         if (qp_table && !uspp->use_bframe_qp && in->pict_type != AV_PICTURE_TYPE_B) {
 398             int w, h;
 399
 400             /* if the qp stride is not set, it means the QP are only defined on
 401              * a line basis */
 402             if (!qp_stride) {
 403                 w = AV_CEIL_RSHIFT(inlink->w, 4);
 404                 h = 1;
 405             } else {
 406                 w = qp_stride;
 407                 h = AV_CEIL_RSHIFT(inlink->h, 4);
 408             }
 409
 410             if (w * h > uspp->non_b_qp_alloc_size) {
 411                 int ret = av_reallocp_array(&uspp->non_b_qp_table, w, h);
 412                 if (ret < 0) {
 413                     uspp->non_b_qp_alloc_size = 0;
 414                     return ret;
 415                 }
 416                 uspp->non_b_qp_alloc_size = w * h;
 417             }
 418
 419             av_assert0(w * h <= uspp->non_b_qp_alloc_size);
 420             memcpy(uspp->non_b_qp_table, qp_table, w * h);
 421         }
 422     }
 423
 424     if (uspp->log2_count && !ctx->is_disabled) {
 425         if (!uspp->use_bframe_qp && uspp->non_b_qp_table)
 426             qp_table = uspp->non_b_qp_table;
 427
 428         if (qp_table || uspp->qp) {
 429
 430             /* get a new frame if in-place is not possible or if the dimensions
 431              * are not multiple of 8 */
 432             if (!av_frame_is_writable(in) || (inlink->w & 7) || (inlink->h & 7)) {
 433                 const int aligned_w = FFALIGN(inlink->w, 8);
 434                 const int aligned_h = FFALIGN(inlink->h, 8);
 435
 436                 out = ff_get_video_buffer(outlink, aligned_w, aligned_h);
 437                 if (!out) {
 438                     av_frame_free(&in);
 439                     return AVERROR(ENOMEM);
 440                 }
 441                 av_frame_copy_props(out, in);
 442                 out->width  = in->width;
 443                 out->height = in->height;
 444             }
 445
 446             filter(uspp, out->data, in->data, out->linesize, in->linesize,
 447                    inlink->w, inlink->h, qp_table, qp_stride);
 448         }
 449     }
 450
 451     if (in != out) {
 452         if (in->data[3])
 453             av_image_copy_plane(out->data[3], out->linesize[3],
 454                                 in ->data[3], in ->linesize[3],
 455                                 inlink->w, inlink->h);
 456         av_frame_free(&in);
 457     }
 458     return ff_filter_frame(outlink, out);
 459 }
 460
 461 static av_cold void uninit(AVFilterContext *ctx)
 462 {
 463     USPPContext *uspp = ctx->priv;
 464     int i;
 465
 466     for (i = 0; i < 3; i++) {
 467         av_freep(&uspp->temp[i]);
 468         av_freep(&uspp->src[i]);
 469     }
 470
 471     for (i = 0; i < (1 << uspp->log2_count); i++) {
 472         avcodec_close(uspp->avctx_enc[i]);
 473         av_freep(&uspp->avctx_enc[i]);
 474     }
 475
 476     av_freep(&uspp->non_b_qp_table);
 477     av_freep(&uspp->outbuf);
 478     av_frame_free(&uspp->frame);
 479 }
 480
 481 static const AVFilterPad uspp_inputs[] = {
 482     {
 483         .name         = "default",
 484         .type         = AVMEDIA_TYPE_VIDEO,
 485         .config_props = config_input,
 486         .filter_frame = filter_frame,
 487     },
 488     { NULL }
 489 };
 490
 491 static const AVFilterPad uspp_outputs[] = {
 492     {
 493         .name = "default",
 494         .type = AVMEDIA_TYPE_VIDEO,
 495     },
 496     { NULL }
 497 };
 498
 499 AVFilter ff_vf_uspp = {
 500     .name            = "uspp",
 501     .description     = NULL_IF_CONFIG_SMALL("Apply Ultra Simple / Slow Post-processing filter."),
 502     .priv_size       = sizeof(USPPContext),
 503     .uninit          = uninit,
 504     .query_formats   = query_formats,
 505     .inputs          = uspp_inputs,
 506     .outputs         = uspp_outputs,
 507     .priv_class      = &uspp_class,
 508     .flags           = AVFILTER_FLAG_SUPPORT_TIMELINE_INTERNAL,
 509 };