h264: make sure the current picture is not made a long ref multiple times

Fixes possible invalid reads, once one of those refs is freed, but the
others remain.
CC: libav-stable@libav.org

avconv: do not stop processing the input packet on decoding error

We still want to flush the filters on EOF and possibly apply streamcopy.

avconv: factor out flushing the filters

This also ensures this is always done, avoiding infinite loops if an
error occurs at the end of the input.

h264: make sure the slices do not overlap during slice threading

Based on a patch by Michael Niedermayer <michaelni@gmx.at>.
CC: libav-stable@libav.org
Found-by: Kieran Kunhya <kierank@obe.tv>

configure: Check for x265_api_get

Any other x265 symbol may not exported, e.g. if the build is a
multilib (10-bit and 8-bit in one) build.

This is the only symbol we directly call, and is available in the
build number we check for.

Fixes the configure check on multilib x265 builds.

Signed-off-by: Derek Buitenhuis <derek.buitenhuis@gmail.com>

nvenc: Fix NV12 input

vc1dec: use get_bits_long and limit the read bits to 32

get_bits should not be used with more than 25 bits.

Signed-off-by: Andreas Cadhalpun <Andreas.Cadhalpun@googlemail.com>
Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

TextureDSP: fix erroneous condition which produced blocky output for DXT

dds: Fix palette mode on big endian

Found-By: Michael Niedermayer <michaelni@gmx.at>
Signed-off-by: Vittorio Giovara <vittorio.giovara@gmail.com>

segafilm: Remove deplanarization hack

Signed-off-by: Paul B Mahol <onemda@gmail.com>
Signed-off-by: Vittorio Giovara <vittorio.giovara@gmail.com>

PCM signed 16-bit big-endian planar decoder

Signed-off-by: Paul B Mahol <onemda@gmail.com>

libvpx: fix test for VPX_IMAGE_ABI_VERSION

Fix missing symbols when libvpx has only vp8 enabled

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

arm64: constify src in h264qpel dsp function definitions

DirectDraw Surface image decoder

Signed-off-by: Vittorio Giovara <vittorio.giovara@gmail.com>

Hap decoder and encoder

Signed-off-by: Vittorio Giovara <vittorio.giovara@gmail.com>

txd: Use the TextureDSP module for decoding

Using the internal DXTC routines brings support for non multiple of 4
textures. A new test is added to cover this feature. Hashes differ
since the decoding algorithm is different, though no visual changes
have been spotted.

Signed-off-by: Vittorio Giovara <vittorio.giovara@gmail.com>

Introduce a TextureDSP module

This module implements generic texture decompression from different
families (DXTC, RGTC, BCn) and texture compression DXTC 1, 3, and 5.

Signed-off-by: Vittorio Giovara <vittorio.giovara@gmail.com>

Implement Snappy decompression

Signed-off-by: Vittorio Giovara <vittorio.giovara@gmail.com>

udp: Fix local_port management

The default value for unset is -1, not 0.

Problem introduced in 66028b7ba6b411ba12ef553e9c8f1f4a4fe27710

libvpx: Support the vp9 extended profiles

Bump the minimum libvpx version to 1.3.0 and rework the configure logic
to fail only if no decoders and encoders are found.

Based on the original patch from Vittorio.

Signed-off-by: Vittorio Giovara <vittorio.giovara@gmail.com>
Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

libvpx: Do not set vp8 only parameters when encoding in vp9

af_resample: Set the number of samples in the last frame

Otherwise trailing zeroes would appear.

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

mp3: enable packed main_data decoding in MP4

14496-3 suggests packing main_data of MP3 that is usually scattered
into multiple frames due to bit reservoir.

However, after packing main_data into a access unit, bitrate index
in the MPEG audio frame header doesn't match with actual frame size.

In order to accept this, this patch removes unnecessary frame size
checking on mp3 decoder.

Also, mov demuxer was changed to use MP3 parser only on special cases
(QT MOV with specific sample description) to avoid re-packetizing.

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

libwebpenc: use WebPMemoryWriterClear()

WebPMemoryWriterClear() must be used instead of free() when
libwebp ABI version is > 0x0203.

Signed-off-by: James Almer <jamrial@gmail.com>
Signed-off-by: Vittorio Giovara <vittorio.giovara@gmail.com>

aic: Improve error reporting

h264: er: Copy from the previous reference only if compatible

Also use the frame pixel format instead of the one from the codec
context, which is more robust.

Signed-off-by: Andreas Cadhalpun <Andreas.Cadhalpun@googlemail.com>
Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

lavc: Clarify the behaviour of dimension and format context fields

The AVCodecContext width, height, coded_width, coded_height and format
are used mainly as decoding hints and they get internally overwritten
during the data parsing stage.

Do not assume they match the last AVFrame provided by
avcodec_decode_video2 and assimilated functions since multi-threading
and other frame reordering might make those values to refer to frames
that will be outputted in the future.

CC: libav-stable@libav.org

x264: Factor out the reconfiguration code

nut: Drop doxygen markers

riff: Add MNM4 FourCC as mpeg4

tls_gnutls: fix hang on disconnection

GNUTLS_SHUT_RDWR means GnuTLS will keep waiting for the server's
termination reply. But since we don't shutdown the TCP connection at
this point yet, GnuTLS will just keep skipping actual data from the
server, which basically is perceived as hang.

Use GNUTLS_SHUT_WR instead, which doesn't have this problem.

Signed-off-by: Martin Storsjö <martin@martin.st>

fft-test: Use the float fabs() version

Fixes clang warning "absolute value function 'fabsf' given an argument
of type 'double' but has parameter of type 'float' which may cause
truncation of value [-Wabsolute-value]".

on2avc: Use the integer abs() version

Fixes clang warning "floating point absolute value function 'fabsf'
when argument is of integer type [-Wabsolute-value]".

flv: Name an enum and use its type

cws2fws: Close file handles on error

Reported-By: infer

avconv_opt: Check localtime() return value

Reported-By: infer

segment: Check open_null_ctx() return value

Reported-By: infer

h264_qpel: Use the correct header

h264_weight: Fix SSSE3 biweight code with weights of 128

CC: libav-stable@libav.org
Sample-Id: test_bref.mp4

Signed-off-by: Vittorio Giovara <vittorio.giovara@gmail.com>

eamad: Use the correct headers

Untangle eamad from the mpeg12.h header and speed up rebuilding.

mpeg12: Move the vlc bits to a stand alone file

mpegvideo: Expand macro

Having this macro in an header only facilitates the use of such header.
The code increase is minimal and files have one less dependency
on mpegvideo.h.

mpegvideo: rv10: Move function declaration to a separate header

mpegvideo: h263: Move all tables to a single file

mpegvideo: Move ER functions to a separate file

mpegvideo: Mark one function as static

mpegvideo: Move block permutation function where is used

Mark it as static.

mpegvideo: Drop release_unused_pictures() function

It is only used in one place, and it is small enough that it might be
called directly.

mpegvideo: Move Picture-related functions to a separate file

movenc: fixes a questionable valgrind uninitialized value warning

display_matrix_size is only initialized when av_stream_get_side_data()
returns a side data pointer. The code is safe since the only effect this
has is setting the display_matrix pointer to NULL which it was already
anyway.

mkv: Correctly report the latest packet had been flushed

Bug-Id: 865
CC: libav-stable@libav.org

mpjpegdec: don't try to alloc an AVIOContext when probe is guaranteed to fail

The first check is done without the AVIOContext, so alloc it only if said check succeeds

Signed-off-by: James Almer <jamrial@gmail.com>
Signed-off-by: Janne Grunau <janne-libav@jannau.net>

imc: add required padding for GetBitContext buffer

Fixes stack buffer overflow errors detected by address sanitizer in
fate-imc.

CC: libav-stable@libav.org

ac3_parser: add required padding for GetBitContext buffer

Fixes stack buffer overflow errors detected by address sanitizer in
various fate tests.

CC: libav-stable@libav.org

aac_parser: add required padding for GetBitContext buffer

Fixes stack buffer overflow errors detected by address sanitizer in
various fate tests.

CC: libav-stable@libav.org

rtpdec_asf: Check memory allocation and free memory on error

CC: libav-stable@libav.org
Bug-Id: CID 1257774

mov: Check memory allocation

CC: libav-stable@libav.org
Bug-Id: CID 1292518

jack: Check memory allocation

CC: libav-stable@libav.org
Bug-Id: CID 1292520

audiointerleave: Always initialize new_pkt

CC: libav-stable@libav.org
Bug-Id: CID 609333

sctp: Always initialize outmsg struct

CC: libav-stable@libav.org
Bug-Id: CID 1302711

mpjpgdec: free AVIOContext leak on early probe fail

mpegvideo: Move OutFormat enum to mpegutils.h

It is necessary to avoid circular header dependencies.

mpegvideo: Split picture allocation for encoding and decoding

The main ff_alloc_picture() function is made more generic with all the
parameters necessary as arguments. This will allows to move most of the
related functions to a separate file later.

Right now wrappers are provided to try and minimize the number of
changes in the code.

mpegvideo: Rework frame_size_alloc function

Use more generic arguments and remove its static attribute since it will
be moved to a separate file.

mpegvideo: Move various temporary buffers to a separate context

configure: Support MSVC 2015

The C runtime C99 compatibility had been improved a lot and it now
rejects some of the compatibility defines provided for the older
versions.

Many thanks to Ray for the time spent testing.

Bug-Id: 864
CC: libav-stable@libav.org

aac: Wait to know the channels before allocating frame

The channel configuration can be delivered only by the PCE,
try to parse it first and not try to decode until a channel
configuration is set.

CC: libav-stable@libav.org

aac: Support channel configurations 11 and 12

These are defined in ISO/IEC 14496-3:2009/PDAM 4 for 6.1 and 7.1.
It also defines another 7.1 layout with configuration 14, that one
is not added here for now.

11: 3/3.1    FC FL+FR BL+BR BC LFE
12: 3/2/2.1  FC FL+FR SiL+SiR BL+BR LFE

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

aac: correctly map 7.1ch-wide AAC from FDK AAC encoder

FDK AAC encoder outputs SCE(front)+CPE(front)+CPE(back)+CPE(back) on
MODE_7_1_REAR_SURROUND configuration.
Since decoder couldn't properly map 4 back channels, decoding failed
unless -request_channel_layout 0x8000000000000000 has been specified.
Now we treat first CPE(back) as CPE(side) on channel mapping.

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

avio: Add avio_put_str16be

mpjpeg: Initial implementation

Support only streams with Content-Length.

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

aac: Correctly map multichannel ADTS AAC with non-zero channel_config + PCE

The decoder assigns channels using default channel configuration
for 5.1ch when it parses an ADTS frame header using consecutive
channel ids.

When a PCE comes, it reassigns channels using PCE configuration
using directly the ids provided. They can be arbitrary.

Always use consecutive channel ids to avoid decoding glitches due
spurious reconfigurations due the channel ids mismatch between the
two otherwise-identical channel maps.

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

bink: Factorize bink put_pixel

And make sure to check INTER_BLOCK as had been fixed by Michael
Niedermayer.

Reported-By: Andreas Cadhalpun
CC: libav-stable@libav.org

configure: Check for DXVA2_ConfigPictureDecode instead of LPDIRECT3DSURFACE9

Checking this struct is a bit more natural for this dependency.

Signed-off-by: Martin Storsjö <martin@martin.st>

configure: Remove unnecessary tests for d3d11va

These are only necessary once/if avconv gets support for this hwaccel.
While that obviously is desireable, we don't have it yet, and they
currently only are a distraction.

Signed-off-by: Martin Storsjö <martin@martin.st>

configure: Don't run "export $e" for an empty string

This fixes the side effect of printing the whole environment,
if no --env parameter was provided.

Signed-off-by: Martin Storsjö <martin@martin.st>

configure: don't enable tls protocols if network is disabled

This was a regression introduced with d8ffb2055f0e0fcb5d025bab72eb19c2a886c125.

Signed-off-by: James Almer <jamrial@gmail.com>
Signed-off-by: Martin Storsjö <martin@martin.st>

configure: Use pkg-config for fdk-aac

Makes the life of the people already setting PKG_CONFIG_PATH simpler.

configure: Provide an option to override the environment

Useful to have `make config` work with custom pkgconf path.

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

configure: Support the extended pkgconf syntax

Make possible to require a combination of
packages and/or pin specific versions.

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

configure: Remove some unnecessary exported config items

The only need to be listed if they are to be used in ifdefs from
within the code - config items used as dependencies only within
configure don't need to be exported.

Signed-off-by: Martin Storsjö <martin@martin.st>

configure: Require LPDIRECT3DSURFACE9 for dxva2

This fixes dxva2 detection (i.e. correctly realizes that it isn't
available) for WinRT, where dxva2api.h does exist, but these definitions
are omitted (when targeting the API subsets).

Ideally we should rather check for e.g. DXVA2_ConfigPictureDecode,
but configure might fail to find that definition due to _WIN32_WINNT
not being set to the right value during configure. (libavcodec/dxva2.h
manually overrides the _WIN32_WINNT define.)

This allows removing hardcoded --disable-dxva2 from such build
configurations.

Signed-off-by: Martin Storsjö <martin@martin.st>

dxva2: Add ifdefs around structs that might not be available

Signed-off-by: Martin Storsjö <martin@martin.st>

dxva2: Fix build when only D3D11 or DXVA2 is used

Signed-off-by: Martin Storsjö <martin@martin.st>

configure: Check if ID3D11VideoDecoder exists, not just the header to enable d3d11va

Fixes build with some mingw-w64 versions, that have got the header
but not the interface declaration.

Signed-off-by: Martin Storsjö <martin@martin.st>

h264: Fix HWACCEL_MAX for D3D11

Signed-off-by: Martin Storsjö <martin@martin.st>

hevc: Fix HWACCEL_MAX for D3D11

Signed-off-by: Martin Storsjö <martin@martin.st>

rtmpdh: Use GMP functions directly, instead of nettle wrappers

mpz_import and mpz_export were added in GMP 4.1, in 2002.

This simplifies the DH code by clarifying that it only uses pure
bignum functions, no other parts of nettle/hogweed.

Signed-off-by: Martin Storsjö <martin@martin.st>

rtmpdh: Fix the indentation in a struct

Signed-off-by: Martin Storsjö <martin@martin.st>

nvenc: H264 and HEVC encoders

Partially based on the work of Timo Rothenpieler <timo@rothenpieler.org>

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

xsub: Check memory allocation

wma: Check memory allocation

truemotion2: Check memory allocation

svq1: Check memory allocation

ratecontrol: Check memory allocation

pthread: Check memory allocation

psymodel: Check memory allocation

xvid: Check memory allocation

x264: Check memory allocation