OSDN Git Service

avcodec/vp9block: fix runtime error: signed integer overflow: 196675 * 20670 cannot...
[android-x86/external-ffmpeg.git] / libavcodec / mdec.c
1 /*
2  * Sony PlayStation MDEC (Motion DECoder)
3  * Copyright (c) 2003 Michael Niedermayer
4  *
5  * based upon code from Sebastian Jedruszkiewicz <elf@frogger.rules.pl>
6  *
7  * This file is part of FFmpeg.
8  *
9  * FFmpeg is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public
11  * License as published by the Free Software Foundation; either
12  * version 2.1 of the License, or (at your option) any later version.
13  *
14  * FFmpeg is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with FFmpeg; if not, write to the Free Software
21  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
22  */
23
24 /**
25  * @file
26  * Sony PlayStation MDEC (Motion DECoder)
27  * This is very similar to intra-only MPEG-1.
28  */
29
30 #include "avcodec.h"
31 #include "blockdsp.h"
32 #include "bswapdsp.h"
33 #include "idctdsp.h"
34 #include "mpeg12.h"
35 #include "thread.h"
36
37 typedef struct MDECContext {
38     AVCodecContext *avctx;
39     BlockDSPContext bdsp;
40     BswapDSPContext bbdsp;
41     IDCTDSPContext idsp;
42     ThreadFrame frame;
43     GetBitContext gb;
44     ScanTable scantable;
45     int version;
46     int qscale;
47     int last_dc[3];
48     int mb_width;
49     int mb_height;
50     int mb_x, mb_y;
51     DECLARE_ALIGNED(16, int16_t, block)[6][64];
52     uint8_t *bitstream_buffer;
53     unsigned int bitstream_buffer_size;
54     int block_last_index[6];
55 } MDECContext;
56
57 //very similar to MPEG-1
58 static inline int mdec_decode_block_intra(MDECContext *a, int16_t *block, int n)
59 {
60     int level, diff, i, j, run;
61     int component;
62     RLTable *rl = &ff_rl_mpeg1;
63     uint8_t * const scantable = a->scantable.permutated;
64     const uint16_t *quant_matrix = ff_mpeg1_default_intra_matrix;
65     const int qscale = a->qscale;
66
67     /* DC coefficient */
68     if (a->version == 2) {
69         block[0] = 2 * get_sbits(&a->gb, 10) + 1024;
70     } else {
71         component = (n <= 3 ? 0 : n - 4 + 1);
72         diff = decode_dc(&a->gb, component);
73         if (diff >= 0xffff)
74             return AVERROR_INVALIDDATA;
75         a->last_dc[component] += diff;
76         block[0] = a->last_dc[component] * (1 << 3);
77     }
78
79     i = 0;
80     {
81         OPEN_READER(re, &a->gb);
82         /* now quantify & encode AC coefficients */
83         for (;;) {
84             UPDATE_CACHE(re, &a->gb);
85             GET_RL_VLC(level, run, re, &a->gb, rl->rl_vlc[0], TEX_VLC_BITS, 2, 0);
86
87             if (level == 127) {
88                 break;
89             } else if (level != 0) {
90                 i += run;
91                 if (i > 63) {
92                     av_log(a->avctx, AV_LOG_ERROR,
93                            "ac-tex damaged at %d %d\n", a->mb_x, a->mb_y);
94                     return AVERROR_INVALIDDATA;
95                 }
96                 j     = scantable[i];
97                 level = (level * qscale * quant_matrix[j]) >> 3;
98                 level = (level ^ SHOW_SBITS(re, &a->gb, 1)) - SHOW_SBITS(re, &a->gb, 1);
99                 LAST_SKIP_BITS(re, &a->gb, 1);
100             } else {
101                 /* escape */
102                 run = SHOW_UBITS(re, &a->gb, 6)+1; LAST_SKIP_BITS(re, &a->gb, 6);
103                 UPDATE_CACHE(re, &a->gb);
104                 level = SHOW_SBITS(re, &a->gb, 10); SKIP_BITS(re, &a->gb, 10);
105                 i += run;
106                 if (i > 63) {
107                     av_log(a->avctx, AV_LOG_ERROR,
108                            "ac-tex damaged at %d %d\n", a->mb_x, a->mb_y);
109                     return AVERROR_INVALIDDATA;
110                 }
111                 j = scantable[i];
112                 if (level < 0) {
113                     level = -level;
114                     level = (level * (unsigned)qscale * quant_matrix[j]) >> 3;
115                     level = (level - 1) | 1;
116                     level = -level;
117                 } else {
118                     level = (level * (unsigned)qscale * quant_matrix[j]) >> 3;
119                     level = (level - 1) | 1;
120                 }
121             }
122
123             block[j] = level;
124         }
125         CLOSE_READER(re, &a->gb);
126     }
127     a->block_last_index[n] = i;
128     return 0;
129 }
130
131 static inline int decode_mb(MDECContext *a, int16_t block[6][64])
132 {
133     int i, ret;
134     static const int block_index[6] = { 5, 4, 0, 1, 2, 3 };
135
136     a->bdsp.clear_blocks(block[0]);
137
138     for (i = 0; i < 6; i++) {
139         if ((ret = mdec_decode_block_intra(a, block[block_index[i]],
140                                            block_index[i])) < 0)
141             return ret;
142         if (get_bits_left(&a->gb) < 0)
143             return AVERROR_INVALIDDATA;
144     }
145     return 0;
146 }
147
148 static inline void idct_put(MDECContext *a, AVFrame *frame, int mb_x, int mb_y)
149 {
150     int16_t (*block)[64] = a->block;
151     int linesize = frame->linesize[0];
152
153     uint8_t *dest_y  = frame->data[0] + (mb_y * 16* linesize              ) + mb_x * 16;
154     uint8_t *dest_cb = frame->data[1] + (mb_y * 8 * frame->linesize[1]) + mb_x * 8;
155     uint8_t *dest_cr = frame->data[2] + (mb_y * 8 * frame->linesize[2]) + mb_x * 8;
156
157     a->idsp.idct_put(dest_y,                    linesize, block[0]);
158     a->idsp.idct_put(dest_y + 8,                linesize, block[1]);
159     a->idsp.idct_put(dest_y + 8 * linesize,     linesize, block[2]);
160     a->idsp.idct_put(dest_y + 8 * linesize + 8, linesize, block[3]);
161
162     if (!(a->avctx->flags & AV_CODEC_FLAG_GRAY)) {
163         a->idsp.idct_put(dest_cb, frame->linesize[1], block[4]);
164         a->idsp.idct_put(dest_cr, frame->linesize[2], block[5]);
165     }
166 }
167
168 static int decode_frame(AVCodecContext *avctx,
169                         void *data, int *got_frame,
170                         AVPacket *avpkt)
171 {
172     MDECContext * const a = avctx->priv_data;
173     const uint8_t *buf    = avpkt->data;
174     int buf_size          = avpkt->size;
175     ThreadFrame frame     = { .f = data };
176     int ret;
177
178     if ((ret = ff_thread_get_buffer(avctx, &frame, 0)) < 0)
179         return ret;
180     frame.f->pict_type = AV_PICTURE_TYPE_I;
181     frame.f->key_frame = 1;
182
183     av_fast_padded_malloc(&a->bitstream_buffer, &a->bitstream_buffer_size, buf_size);
184     if (!a->bitstream_buffer)
185         return AVERROR(ENOMEM);
186     a->bbdsp.bswap16_buf((uint16_t *)a->bitstream_buffer, (uint16_t *)buf, (buf_size + 1) / 2);
187     if ((ret = init_get_bits8(&a->gb, a->bitstream_buffer, buf_size)) < 0)
188         return ret;
189
190     /* skip over 4 preamble bytes in stream (typically 0xXX 0xXX 0x00 0x38) */
191     skip_bits(&a->gb, 32);
192
193     a->qscale  = get_bits(&a->gb, 16);
194     a->version = get_bits(&a->gb, 16);
195
196     a->last_dc[0] = a->last_dc[1] = a->last_dc[2] = 128;
197
198     for (a->mb_x = 0; a->mb_x < a->mb_width; a->mb_x++) {
199         for (a->mb_y = 0; a->mb_y < a->mb_height; a->mb_y++) {
200             if ((ret = decode_mb(a, a->block)) < 0)
201                 return ret;
202
203             idct_put(a, frame.f, a->mb_x, a->mb_y);
204         }
205     }
206
207     *got_frame = 1;
208
209     return (get_bits_count(&a->gb) + 31) / 32 * 4;
210 }
211
212 static av_cold int decode_init(AVCodecContext *avctx)
213 {
214     MDECContext * const a = avctx->priv_data;
215
216     a->mb_width  = (avctx->coded_width  + 15) / 16;
217     a->mb_height = (avctx->coded_height + 15) / 16;
218
219     a->avctx           = avctx;
220
221     ff_blockdsp_init(&a->bdsp, avctx);
222     ff_bswapdsp_init(&a->bbdsp);
223     ff_idctdsp_init(&a->idsp, avctx);
224     ff_mpeg12_init_vlcs();
225     ff_init_scantable(a->idsp.idct_permutation, &a->scantable,
226                       ff_zigzag_direct);
227
228     if (avctx->idct_algo == FF_IDCT_AUTO)
229         avctx->idct_algo = FF_IDCT_SIMPLE;
230     avctx->pix_fmt  = AV_PIX_FMT_YUVJ420P;
231     avctx->color_range = AVCOL_RANGE_JPEG;
232
233     return 0;
234 }
235
236 #if HAVE_THREADS
237 static av_cold int decode_init_thread_copy(AVCodecContext *avctx)
238 {
239     MDECContext * const a = avctx->priv_data;
240
241     a->avctx           = avctx;
242
243     return 0;
244 }
245 #endif
246
247 static av_cold int decode_end(AVCodecContext *avctx)
248 {
249     MDECContext * const a = avctx->priv_data;
250
251     av_freep(&a->bitstream_buffer);
252     a->bitstream_buffer_size = 0;
253
254     return 0;
255 }
256
257 AVCodec ff_mdec_decoder = {
258     .name             = "mdec",
259     .long_name        = NULL_IF_CONFIG_SMALL("Sony PlayStation MDEC (Motion DECoder)"),
260     .type             = AVMEDIA_TYPE_VIDEO,
261     .id               = AV_CODEC_ID_MDEC,
262     .priv_data_size   = sizeof(MDECContext),
263     .init             = decode_init,
264     .close            = decode_end,
265     .decode           = decode_frame,
266     .capabilities     = AV_CODEC_CAP_DR1 | AV_CODEC_CAP_FRAME_THREADS,
267     .init_thread_copy = ONLY_IF_THREADS_ENABLED(decode_init_thread_copy)
268 };