avconv_vdpau.c

   1 /*
   2  * This file is part of Libav.
   3  *
   4  * Libav is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Lesser General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2.1 of the License, or (at your option) any later version.
   8  *
   9  * Libav is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Lesser General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Lesser General Public
  15  * License along with Libav; if not, write to the Free Software
  16  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  17  */
  18
  19 #include <stdint.h>
  20
  21 #include <vdpau/vdpau.h>
  22 #include <vdpau/vdpau_x11.h>
  23
  24 #include <X11/Xlib.h>
  25
  26 #include "avconv.h"
  27
  28 #include "libavcodec/vdpau.h"
  29
  30 #include "libavutil/avassert.h"
  31 #include "libavutil/buffer.h"
  32 #include "libavutil/frame.h"
  33 #include "libavutil/pixfmt.h"
  34
  35 typedef struct VDPAUContext {
  36     Display *dpy;
  37
  38     VdpDevice  device;
  39     VdpDecoder decoder;
  40     VdpGetProcAddress *get_proc_address;
  41
  42     VdpGetErrorString                               *get_error_string;
  43     VdpGetInformationString                         *get_information_string;
  44     VdpDeviceDestroy                                *device_destroy;
  45     VdpVideoSurfaceCreate                           *video_surface_create;
  46     VdpVideoSurfaceDestroy                          *video_surface_destroy;
  47     VdpVideoSurfaceGetBitsYCbCr                     *video_surface_get_bits;
  48     VdpVideoSurfaceGetParameters                    *video_surface_get_parameters;
  49     VdpVideoSurfaceQueryGetPutBitsYCbCrCapabilities *video_surface_query;
  50
  51     AVFrame *tmp_frame;
  52
  53     enum AVPixelFormat pix_fmt;
  54     VdpYCbCrFormat vdpau_format;
  55 } VDPAUContext;
  56
  57 static void vdpau_uninit(AVCodecContext *s)
  58 {
  59     InputStream  *ist = s->opaque;
  60     VDPAUContext *ctx = ist->hwaccel_ctx;
  61
  62     ist->hwaccel_uninit        = NULL;
  63     ist->hwaccel_get_buffer    = NULL;
  64     ist->hwaccel_retrieve_data = NULL;
  65
  66     if (ctx->device_destroy)
  67         ctx->device_destroy(ctx->device);
  68
  69     if (ctx->dpy)
  70         XCloseDisplay(ctx->dpy);
  71
  72     av_frame_free(&ctx->tmp_frame);
  73
  74     av_freep(&ist->hwaccel_ctx);
  75     av_freep(&s->hwaccel_context);
  76 }
  77
  78 static void vdpau_release_buffer(void *opaque, uint8_t *data)
  79 {
  80     VdpVideoSurface surface = *(VdpVideoSurface*)data;
  81     VDPAUContext *ctx = opaque;
  82
  83     ctx->video_surface_destroy(surface);
  84     av_freep(&data);
  85 }
  86
  87 static int vdpau_get_buffer(AVCodecContext *s, AVFrame *frame, int flags)
  88 {
  89     InputStream         *ist = s->opaque;
  90     VDPAUContext        *ctx = ist->hwaccel_ctx;
  91     VdpVideoSurface *surface;
  92     VdpStatus err;
  93     VdpChromaType chroma;
  94     uint32_t width, height;
  95
  96     av_assert0(frame->format == AV_PIX_FMT_VDPAU);
  97
  98     if (av_vdpau_get_surface_parameters(s, &chroma, &width, &height))
  99         return AVERROR(ENOSYS);
 100
 101     surface = av_malloc(sizeof(*surface));
 102     if (!surface)
 103         return AVERROR(ENOMEM);
 104
 105     frame->buf[0] = av_buffer_create((uint8_t*)surface, sizeof(*surface),
 106                                      vdpau_release_buffer, ctx,
 107                                      AV_BUFFER_FLAG_READONLY);
 108     if (!frame->buf[0]) {
 109         av_freep(&surface);
 110         return AVERROR(ENOMEM);
 111     }
 112
 113     // properly we should keep a pool of surfaces instead of creating
 114     // them anew for each frame, but since we don't care about speed
 115     // much in this code, we don't bother
 116     err = ctx->video_surface_create(ctx->device, chroma, width, height,
 117                                     surface);
 118     if (err != VDP_STATUS_OK) {
 119         av_log(NULL, AV_LOG_ERROR, "Error allocating a VDPAU video surface: %s\n",
 120                ctx->get_error_string(err));
 121         av_buffer_unref(&frame->buf[0]);
 122         return AVERROR_UNKNOWN;
 123     }
 124
 125     frame->data[3] = (uint8_t*)(uintptr_t)*surface;
 126
 127     return 0;
 128 }
 129
 130 static int vdpau_retrieve_data(AVCodecContext *s, AVFrame *frame)
 131 {
 132     VdpVideoSurface surface = (VdpVideoSurface)(uintptr_t)frame->data[3];
 133     InputStream        *ist = s->opaque;
 134     VDPAUContext       *ctx = ist->hwaccel_ctx;
 135     VdpStatus err;
 136     int ret, chroma_type;
 137
 138     err = ctx->video_surface_get_parameters(surface, &chroma_type,
 139                                             &ctx->tmp_frame->width,
 140                                             &ctx->tmp_frame->height);
 141     if (err != VDP_STATUS_OK) {
 142         av_log(NULL, AV_LOG_ERROR, "Error getting surface parameters: %s\n",
 143                ctx->get_error_string(err));
 144         return AVERROR_UNKNOWN;
 145     }
 146     ctx->tmp_frame->format = ctx->pix_fmt;
 147
 148     ret = av_frame_get_buffer(ctx->tmp_frame, 32);
 149     if (ret < 0)
 150         return ret;
 151
 152     ctx->tmp_frame->width  = frame->width;
 153     ctx->tmp_frame->height = frame->height;
 154
 155     err = ctx->video_surface_get_bits(surface, ctx->vdpau_format,
 156                                       (void * const *)ctx->tmp_frame->data,
 157                                       ctx->tmp_frame->linesize);
 158     if (err != VDP_STATUS_OK) {
 159         av_log(NULL, AV_LOG_ERROR, "Error retrieving frame data from VDPAU: %s\n",
 160                ctx->get_error_string(err));
 161         ret = AVERROR_UNKNOWN;
 162         goto fail;
 163     }
 164
 165     if (ctx->vdpau_format == VDP_YCBCR_FORMAT_YV12)
 166         FFSWAP(uint8_t*, ctx->tmp_frame->data[1], ctx->tmp_frame->data[2]);
 167
 168     ret = av_frame_copy_props(ctx->tmp_frame, frame);
 169     if (ret < 0)
 170         goto fail;
 171
 172     av_frame_unref(frame);
 173     av_frame_move_ref(frame, ctx->tmp_frame);
 174     return 0;
 175
 176 fail:
 177     av_frame_unref(ctx->tmp_frame);
 178     return ret;
 179 }
 180
 181 static const int vdpau_formats[][2] = {
 182     { VDP_YCBCR_FORMAT_YV12, AV_PIX_FMT_YUV420P },
 183     { VDP_YCBCR_FORMAT_NV12, AV_PIX_FMT_NV12 },
 184     { VDP_YCBCR_FORMAT_YUYV, AV_PIX_FMT_YUYV422 },
 185     { VDP_YCBCR_FORMAT_UYVY, AV_PIX_FMT_UYVY422 },
 186 };
 187
 188 static int vdpau_alloc(AVCodecContext *s)
 189 {
 190     InputStream  *ist = s->opaque;
 191     int loglevel = (ist->hwaccel_id == HWACCEL_AUTO) ? AV_LOG_VERBOSE : AV_LOG_ERROR;
 192     VDPAUContext *ctx;
 193     const char *display, *vendor;
 194     VdpStatus err;
 195     int i;
 196
 197     ctx = av_mallocz(sizeof(*ctx));
 198     if (!ctx)
 199         return AVERROR(ENOMEM);
 200
 201     ist->hwaccel_ctx           = ctx;
 202     ist->hwaccel_uninit        = vdpau_uninit;
 203     ist->hwaccel_get_buffer    = vdpau_get_buffer;
 204     ist->hwaccel_retrieve_data = vdpau_retrieve_data;
 205
 206     ctx->tmp_frame = av_frame_alloc();
 207     if (!ctx->tmp_frame)
 208         goto fail;
 209
 210     ctx->dpy = XOpenDisplay(ist->hwaccel_device);
 211     if (!ctx->dpy) {
 212         av_log(NULL, loglevel, "Cannot open the X11 display %s.\n",
 213                XDisplayName(ist->hwaccel_device));
 214         goto fail;
 215     }
 216     display = XDisplayString(ctx->dpy);
 217
 218     err = vdp_device_create_x11(ctx->dpy, XDefaultScreen(ctx->dpy), &ctx->device,
 219                                 &ctx->get_proc_address);
 220     if (err != VDP_STATUS_OK) {
 221         av_log(NULL, loglevel, "VDPAU device creation on X11 display %s failed.\n",
 222                display);
 223         goto fail;
 224     }
 225
 226 #define GET_CALLBACK(id, result)                                                \
 227 do {                                                                            \
 228     void *tmp;                                                                  \
 229     err = ctx->get_proc_address(ctx->device, id, &tmp);                         \
 230     if (err != VDP_STATUS_OK) {                                                 \
 231         av_log(NULL, loglevel, "Error getting the " #id " callback.\n");        \
 232         goto fail;                                                              \
 233     }                                                                           \
 234     ctx->result = tmp;                                                          \
 235 } while (0)
 236
 237     GET_CALLBACK(VDP_FUNC_ID_GET_ERROR_STRING,               get_error_string);
 238     GET_CALLBACK(VDP_FUNC_ID_GET_INFORMATION_STRING,         get_information_string);
 239     GET_CALLBACK(VDP_FUNC_ID_DEVICE_DESTROY,                 device_destroy);
 240     GET_CALLBACK(VDP_FUNC_ID_VIDEO_SURFACE_CREATE,           video_surface_create);
 241     GET_CALLBACK(VDP_FUNC_ID_VIDEO_SURFACE_DESTROY,          video_surface_destroy);
 242     GET_CALLBACK(VDP_FUNC_ID_VIDEO_SURFACE_GET_BITS_Y_CB_CR, video_surface_get_bits);
 243     GET_CALLBACK(VDP_FUNC_ID_VIDEO_SURFACE_GET_PARAMETERS,   video_surface_get_parameters);
 244     GET_CALLBACK(VDP_FUNC_ID_VIDEO_SURFACE_QUERY_GET_PUT_BITS_Y_CB_CR_CAPABILITIES,
 245                  video_surface_query);
 246
 247     for (i = 0; i < FF_ARRAY_ELEMS(vdpau_formats); i++) {
 248         VdpBool supported;
 249         err = ctx->video_surface_query(ctx->device, VDP_CHROMA_TYPE_420,
 250                                        vdpau_formats[i][0], &supported);
 251         if (err != VDP_STATUS_OK) {
 252             av_log(NULL, loglevel,
 253                    "Error querying VDPAU surface capabilities: %s\n",
 254                    ctx->get_error_string(err));
 255             goto fail;
 256         }
 257         if (supported)
 258             break;
 259     }
 260     if (i == FF_ARRAY_ELEMS(vdpau_formats)) {
 261         av_log(NULL, loglevel,
 262                "No supported VDPAU format for retrieving the data.\n");
 263         return AVERROR(EINVAL);
 264     }
 265     ctx->vdpau_format = vdpau_formats[i][0];
 266     ctx->pix_fmt      = vdpau_formats[i][1];
 267
 268     if (av_vdpau_bind_context(s, ctx->device, ctx->get_proc_address, 0))
 269         goto fail;
 270
 271     ctx->get_information_string(&vendor);
 272     av_log(NULL, AV_LOG_VERBOSE, "Using VDPAU -- %s -- on X11 display %s, "
 273            "to decode input stream #%d:%d.\n", vendor,
 274            display, ist->file_index, ist->st->index);
 275
 276     return 0;
 277
 278 fail:
 279     av_log(NULL, loglevel, "VDPAU init failed for stream #%d:%d.\n",
 280            ist->file_index, ist->st->index);
 281     vdpau_uninit(s);
 282     return AVERROR(EINVAL);
 283 }
 284
 285 int vdpau_init(AVCodecContext *s)
 286 {
 287     InputStream *ist = s->opaque;
 288
 289     if (!ist->hwaccel_ctx) {
 290         int ret = vdpau_alloc(s);
 291         if (ret < 0)
 292             return ret;
 293     }
 294
 295     ist->hwaccel_get_buffer    = vdpau_get_buffer;
 296     ist->hwaccel_retrieve_data = vdpau_retrieve_data;
 297
 298     return 0;
 299 }