libavcodec/opus.h

   1 /*
   2  * Opus decoder/demuxer common functions
   3  * Copyright (c) 2012 Andrew D'Addesio
   4  * Copyright (c) 2013-2014 Mozilla Corporation
   5  *
   6  * This file is part of FFmpeg.
   7  *
   8  * FFmpeg is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Lesser General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * FFmpeg is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Lesser General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Lesser General Public
  19  * License along with FFmpeg; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21  */
  22
  23 #ifndef AVCODEC_OPUS_H
  24 #define AVCODEC_OPUS_H
  25
  26 #include <stdint.h>
  27
  28 #include "libavutil/audio_fifo.h"
  29 #include "libavutil/float_dsp.h"
  30 #include "libavutil/frame.h"
  31
  32 #include "libswresample/swresample.h"
  33
  34 #include "avcodec.h"
  35 #include "opus_rc.h"
  36
  37 #define MAX_FRAME_SIZE               1275
  38 #define MAX_FRAMES                   48
  39 #define MAX_PACKET_DUR               5760
  40
  41 #define CELT_SHORT_BLOCKSIZE         120
  42 #define CELT_OVERLAP                 CELT_SHORT_BLOCKSIZE
  43 #define CELT_MAX_LOG_BLOCKS          3
  44 #define CELT_MAX_FRAME_SIZE          (CELT_SHORT_BLOCKSIZE * (1 << CELT_MAX_LOG_BLOCKS))
  45 #define CELT_MAX_BANDS               21
  46
  47 #define SILK_HISTORY                 322
  48 #define SILK_MAX_LPC                 16
  49
  50 #define ROUND_MULL(a,b,s) (((MUL64(a, b) >> ((s) - 1)) + 1) >> 1)
  51 #define ROUND_MUL16(a,b)  ((MUL16(a, b) + 16384) >> 15)
  52
  53 #define OPUS_TS_HEADER     0x7FE0        // 0x3ff (11 bits)
  54 #define OPUS_TS_MASK       0xFFE0        // top 11 bits
  55
  56 static const uint8_t opus_default_extradata[30] = {
  57     'O', 'p', 'u', 's', 'H', 'e', 'a', 'd',
  58     1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
  59     0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
  60 };
  61
  62 enum OpusMode {
  63     OPUS_MODE_SILK,
  64     OPUS_MODE_HYBRID,
  65     OPUS_MODE_CELT
  66 };
  67
  68 enum OpusBandwidth {
  69     OPUS_BANDWIDTH_NARROWBAND,
  70     OPUS_BANDWIDTH_MEDIUMBAND,
  71     OPUS_BANDWIDTH_WIDEBAND,
  72     OPUS_BANDWIDTH_SUPERWIDEBAND,
  73     OPUS_BANDWIDTH_FULLBAND
  74 };
  75
  76 typedef struct SilkContext SilkContext;
  77
  78 typedef struct CeltContext CeltContext;
  79
  80 typedef struct OpusPacket {
  81     int packet_size;                /**< packet size */
  82     int data_size;                  /**< size of the useful data -- packet size - padding */
  83     int code;                       /**< packet code: specifies the frame layout */
  84     int stereo;                     /**< whether this packet is mono or stereo */
  85     int vbr;                        /**< vbr flag */
  86     int config;                     /**< configuration: tells the audio mode,
  87                                      **                bandwidth, and frame duration */
  88     int frame_count;                /**< frame count */
  89     int frame_offset[MAX_FRAMES];   /**< frame offsets */
  90     int frame_size[MAX_FRAMES];     /**< frame sizes */
  91     int frame_duration;             /**< frame duration, in samples @ 48kHz */
  92     enum OpusMode mode;             /**< mode */
  93     enum OpusBandwidth bandwidth;   /**< bandwidth */
  94 } OpusPacket;
  95
  96 typedef struct OpusStreamContext {
  97     AVCodecContext *avctx;
  98     int output_channels;
  99
 100     OpusRangeCoder rc;
 101     OpusRangeCoder redundancy_rc;
 102     SilkContext *silk;
 103     CeltContext *celt;
 104     AVFloatDSPContext *fdsp;
 105
 106     float silk_buf[2][960];
 107     float *silk_output[2];
 108     DECLARE_ALIGNED(32, float, celt_buf)[2][960];
 109     float *celt_output[2];
 110
 111     float redundancy_buf[2][960];
 112     float *redundancy_output[2];
 113
 114     /* data buffers for the final output data */
 115     float *out[2];
 116     int out_size;
 117
 118     float *out_dummy;
 119     int    out_dummy_allocated_size;
 120
 121     SwrContext *swr;
 122     AVAudioFifo *celt_delay;
 123     int silk_samplerate;
 124     /* number of samples we still want to get from the resampler */
 125     int delayed_samples;
 126
 127     OpusPacket packet;
 128
 129     int redundancy_idx;
 130 } OpusStreamContext;
 131
 132 // a mapping between an opus stream and an output channel
 133 typedef struct ChannelMap {
 134     int stream_idx;
 135     int channel_idx;
 136
 137     // when a single decoded channel is mapped to multiple output channels, we
 138     // write to the first output directly and copy from it to the others
 139     // this field is set to 1 for those copied output channels
 140     int copy;
 141     // this is the index of the output channel to copy from
 142     int copy_idx;
 143
 144     // this channel is silent
 145     int silence;
 146 } ChannelMap;
 147
 148 typedef struct OpusContext {
 149     OpusStreamContext *streams;
 150
 151     /* current output buffers for each streams */
 152     float **out;
 153     int   *out_size;
 154     /* Buffers for synchronizing the streams when they have different
 155      * resampling delays */
 156     AVAudioFifo **sync_buffers;
 157     /* number of decoded samples for each stream */
 158     int         *decoded_samples;
 159
 160     int             nb_streams;
 161     int      nb_stereo_streams;
 162
 163     AVFloatDSPContext *fdsp;
 164     int16_t gain_i;
 165     float   gain;
 166
 167     ChannelMap *channel_maps;
 168 } OpusContext;
 169
 170 int ff_opus_parse_packet(OpusPacket *pkt, const uint8_t *buf, int buf_size,
 171                          int self_delimited);
 172
 173 int ff_opus_parse_extradata(AVCodecContext *avctx, OpusContext *s);
 174
 175 int ff_silk_init(AVCodecContext *avctx, SilkContext **ps, int output_channels);
 176 void ff_silk_free(SilkContext **ps);
 177 void ff_silk_flush(SilkContext *s);
 178
 179 /**
 180  * Decode the LP layer of one Opus frame (which may correspond to several SILK
 181  * frames).
 182  */
 183 int ff_silk_decode_superframe(SilkContext *s, OpusRangeCoder *rc,
 184                               float *output[2],
 185                               enum OpusBandwidth bandwidth, int coded_channels,
 186                               int duration_ms);
 187
 188 int ff_celt_init(AVCodecContext *avctx, CeltContext **s, int output_channels);
 189
 190 void ff_celt_free(CeltContext **s);
 191
 192 void ff_celt_flush(CeltContext *s);
 193
 194 int ff_celt_decode_frame(CeltContext *s, OpusRangeCoder *rc,
 195                          float **output, int coded_channels, int frame_size,
 196                          int startband,  int endband);
 197
 198 #endif /* AVCODEC_OPUS_H */