OSDN Git Service

avcodec/vp9block: fix runtime error: signed integer overflow: 196675 * 20670 cannot...
[android-x86/external-ffmpeg.git] / libavcodec / rangecoder.c
1 /*
2  * Range coder
3  * Copyright (c) 2004 Michael Niedermayer <michaelni@gmx.at>
4  *
5  * This file is part of FFmpeg.
6  *
7  * FFmpeg is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * FFmpeg is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with FFmpeg; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Range coder.
25  * based upon
26  *    "Range encoding: an algorithm for removing redundancy from a digitised
27  *                     message.
28  *     G. N. N. Martin                  Presented in March 1979 to the Video &
29  *                                      Data Recording Conference,
30  *     IBM UK Scientific Center         held in Southampton July 24-27 1979."
31  */
32
33 #include <string.h>
34
35 #include "libavutil/attributes.h"
36 #include "libavutil/avassert.h"
37 #include "libavutil/intreadwrite.h"
38
39 #include "avcodec.h"
40 #include "rangecoder.h"
41
42 av_cold void ff_init_range_encoder(RangeCoder *c, uint8_t *buf, int buf_size)
43 {
44     c->bytestream_start  =
45     c->bytestream        = buf;
46     c->bytestream_end    = buf + buf_size;
47     c->low               = 0;
48     c->range             = 0xFF00;
49     c->outstanding_count = 0;
50     c->outstanding_byte  = -1;
51 }
52
53 av_cold void ff_init_range_decoder(RangeCoder *c, const uint8_t *buf,
54                                    int buf_size)
55 {
56     /* cast to avoid compiler warning */
57     ff_init_range_encoder(c, (uint8_t *)buf, buf_size);
58
59     c->low         = AV_RB16(c->bytestream);
60     c->bytestream += 2;
61     if (c->low >= 0xFF00) {
62         c->low = 0xFF00;
63         c->bytestream_end = c->bytestream;
64     }
65 }
66
67 void ff_build_rac_states(RangeCoder *c, int factor, int max_p)
68 {
69     const int64_t one = 1LL << 32;
70     int64_t p;
71     int last_p8, p8, i;
72
73     memset(c->zero_state, 0, sizeof(c->zero_state));
74     memset(c->one_state, 0, sizeof(c->one_state));
75
76     last_p8 = 0;
77     p       = one / 2;
78     for (i = 0; i < 128; i++) {
79         p8 = (256 * p + one / 2) >> 32; // FIXME: try without the one
80         if (p8 <= last_p8)
81             p8 = last_p8 + 1;
82         if (last_p8 && last_p8 < 256 && p8 <= max_p)
83             c->one_state[last_p8] = p8;
84
85         p      += ((one - p) * factor + one / 2) >> 32;
86         last_p8 = p8;
87     }
88
89     for (i = 256 - max_p; i <= max_p; i++) {
90         if (c->one_state[i])
91             continue;
92
93         p  = (i * one + 128) >> 8;
94         p += ((one - p) * factor + one / 2) >> 32;
95         p8 = (256 * p + one / 2) >> 32; // FIXME: try without the one
96         if (p8 <= i)
97             p8 = i + 1;
98         if (p8 > max_p)
99             p8 = max_p;
100         c->one_state[i] = p8;
101     }
102
103     for (i = 1; i < 255; i++)
104         c->zero_state[i] = 256 - c->one_state[256 - i];
105 }
106
107 /* Return the number of bytes written. */
108 int ff_rac_terminate(RangeCoder *c)
109 {
110     c->range = 0xFF;
111     c->low  += 0xFF;
112     renorm_encoder(c);
113     c->range = 0xFF;
114     renorm_encoder(c);
115
116     av_assert1(c->low   == 0);
117     av_assert1(c->range >= 0x100);
118
119     return c->bytestream - c->bytestream_start;
120 }