helpers.c

   1 /*
   2  * Copyright 2014 The Chromium OS Authors. All rights reserved.
   3  * Use of this source code is governed by a BSD-style license that can be
   4  * found in the LICENSE file.
   5  */
   6
   7 #include <assert.h>
   8 #include <errno.h>
   9 #include <stdio.h>
  10 #include <stdlib.h>
  11 #include <string.h>
  12 #include <sys/mman.h>
  13 #include <xf86drm.h>
  14
  15 #include "drv_priv.h"
  16 #include "helpers.h"
  17 #include "util.h"
  18
  19 struct planar_layout {
  20         size_t num_planes;
  21         int horizontal_subsampling[DRV_MAX_PLANES];
  22         int vertical_subsampling[DRV_MAX_PLANES];
  23         int bytes_per_pixel[DRV_MAX_PLANES];
  24 };
  25
  26 // clang-format off
  27
  28 static const struct planar_layout packed_1bpp_layout = {
  29         .num_planes = 1,
  30         .horizontal_subsampling = { 1 },
  31         .vertical_subsampling = { 1 },
  32         .bytes_per_pixel = { 1 }
  33 };
  34
  35 static const struct planar_layout packed_2bpp_layout = {
  36         .num_planes = 1,
  37         .horizontal_subsampling = { 1 },
  38         .vertical_subsampling = { 1 },
  39         .bytes_per_pixel = { 2 }
  40 };
  41
  42 static const struct planar_layout packed_3bpp_layout = {
  43         .num_planes = 1,
  44         .horizontal_subsampling = { 1 },
  45         .vertical_subsampling = { 1 },
  46         .bytes_per_pixel = { 3 }
  47 };
  48
  49 static const struct planar_layout packed_4bpp_layout = {
  50         .num_planes = 1,
  51         .horizontal_subsampling = { 1 },
  52         .vertical_subsampling = { 1 },
  53         .bytes_per_pixel = { 4 }
  54 };
  55
  56 static const struct planar_layout packed_8bpp_layout = {
  57         .num_planes = 1,
  58         .horizontal_subsampling = { 1 },
  59         .vertical_subsampling = { 1 },
  60         .bytes_per_pixel = { 8 }
  61 };
  62
  63 static const struct planar_layout biplanar_yuv_420_layout = {
  64         .num_planes = 2,
  65         .horizontal_subsampling = { 1, 2 },
  66         .vertical_subsampling = { 1, 2 },
  67         .bytes_per_pixel = { 1, 2 }
  68 };
  69
  70 static const struct planar_layout triplanar_yuv_420_layout = {
  71         .num_planes = 3,
  72         .horizontal_subsampling = { 1, 2, 2 },
  73         .vertical_subsampling = { 1, 2, 2 },
  74         .bytes_per_pixel = { 1, 1, 1 }
  75 };
  76
  77 static const struct planar_layout biplanar_yuv_p010_layout = {
  78         .num_planes = 2,
  79         .horizontal_subsampling = { 1, 2 },
  80         .vertical_subsampling = { 1, 2 },
  81         .bytes_per_pixel = { 2, 4 }
  82 };
  83
  84 // clang-format on
  85
  86 static const struct planar_layout *layout_from_format(uint32_t format)
  87 {
  88         switch (format) {
  89         case DRM_FORMAT_BGR233:
  90         case DRM_FORMAT_C8:
  91         case DRM_FORMAT_R8:
  92         case DRM_FORMAT_RGB332:
  93                 return &packed_1bpp_layout;
  94
  95         case DRM_FORMAT_YVU420:
  96         case DRM_FORMAT_YVU420_ANDROID:
  97                 return &triplanar_yuv_420_layout;
  98
  99         case DRM_FORMAT_NV12:
 100         case DRM_FORMAT_NV21:
 101                 return &biplanar_yuv_420_layout;
 102
 103         case DRM_FORMAT_P010:
 104                 return &biplanar_yuv_p010_layout;
 105
 106         case DRM_FORMAT_ABGR1555:
 107         case DRM_FORMAT_ABGR4444:
 108         case DRM_FORMAT_ARGB1555:
 109         case DRM_FORMAT_ARGB4444:
 110         case DRM_FORMAT_BGR565:
 111         case DRM_FORMAT_BGRA4444:
 112         case DRM_FORMAT_BGRA5551:
 113         case DRM_FORMAT_BGRX4444:
 114         case DRM_FORMAT_BGRX5551:
 115         case DRM_FORMAT_GR88:
 116         case DRM_FORMAT_RG88:
 117         case DRM_FORMAT_RGB565:
 118         case DRM_FORMAT_RGBA4444:
 119         case DRM_FORMAT_RGBA5551:
 120         case DRM_FORMAT_RGBX4444:
 121         case DRM_FORMAT_RGBX5551:
 122         case DRM_FORMAT_UYVY:
 123         case DRM_FORMAT_VYUY:
 124         case DRM_FORMAT_XBGR1555:
 125         case DRM_FORMAT_XBGR4444:
 126         case DRM_FORMAT_XRGB1555:
 127         case DRM_FORMAT_XRGB4444:
 128         case DRM_FORMAT_YUYV:
 129         case DRM_FORMAT_YVYU:
 130         case DRM_FORMAT_MTISP_SXYZW10:
 131                 return &packed_2bpp_layout;
 132
 133         case DRM_FORMAT_BGR888:
 134         case DRM_FORMAT_RGB888:
 135                 return &packed_3bpp_layout;
 136
 137         case DRM_FORMAT_ABGR2101010:
 138         case DRM_FORMAT_ABGR8888:
 139         case DRM_FORMAT_ARGB2101010:
 140         case DRM_FORMAT_ARGB8888:
 141         case DRM_FORMAT_AYUV:
 142         case DRM_FORMAT_BGRA1010102:
 143         case DRM_FORMAT_BGRA8888:
 144         case DRM_FORMAT_BGRX1010102:
 145         case DRM_FORMAT_BGRX8888:
 146         case DRM_FORMAT_RGBA1010102:
 147         case DRM_FORMAT_RGBA8888:
 148         case DRM_FORMAT_RGBX1010102:
 149         case DRM_FORMAT_RGBX8888:
 150         case DRM_FORMAT_XBGR2101010:
 151         case DRM_FORMAT_XBGR8888:
 152         case DRM_FORMAT_XRGB2101010:
 153         case DRM_FORMAT_XRGB8888:
 154                 return &packed_4bpp_layout;
 155
 156         case DRM_FORMAT_ABGR16161616F:
 157                 return &packed_8bpp_layout;
 158
 159         default:
 160                 drv_log("UNKNOWN FORMAT %d\n", format);
 161                 return NULL;
 162         }
 163 }
 164
 165 size_t drv_num_planes_from_format(uint32_t format)
 166 {
 167         const struct planar_layout *layout = layout_from_format(format);
 168
 169         /*
 170          * drv_bo_new calls this function early to query number of planes and
 171          * considers 0 planes to mean unknown format, so we have to support
 172          * that.  All other layout_from_format() queries can assume that the
 173          * format is supported and that the return value is non-NULL.
 174          */
 175
 176         return layout ? layout->num_planes : 0;
 177 }
 178
 179 size_t drv_num_planes_from_modifier(struct driver *drv, uint32_t format, uint64_t modifier)
 180 {
 181         size_t planes = drv_num_planes_from_format(format);
 182
 183         /* Disallow unsupported formats. */
 184         if (!planes)
 185                 return 0;
 186
 187         if (drv->backend->num_planes_from_modifier && modifier != DRM_FORMAT_MOD_INVALID)
 188                 return drv->backend->num_planes_from_modifier(drv, format, modifier);
 189
 190         return planes;
 191 }
 192
 193 uint32_t drv_height_from_format(uint32_t format, uint32_t height, size_t plane)
 194 {
 195         const struct planar_layout *layout = layout_from_format(format);
 196
 197         assert(plane < layout->num_planes);
 198
 199         return DIV_ROUND_UP(height, layout->vertical_subsampling[plane]);
 200 }
 201
 202 uint32_t drv_vertical_subsampling_from_format(uint32_t format, size_t plane)
 203 {
 204         const struct planar_layout *layout = layout_from_format(format);
 205
 206         assert(plane < layout->num_planes);
 207
 208         return layout->vertical_subsampling[plane];
 209 }
 210
 211 uint32_t drv_bytes_per_pixel_from_format(uint32_t format, size_t plane)
 212 {
 213         const struct planar_layout *layout = layout_from_format(format);
 214
 215         assert(plane < layout->num_planes);
 216
 217         return layout->bytes_per_pixel[plane];
 218 }
 219
 220 /*
 221  * This function returns the stride for a given format, width and plane.
 222  */
 223 uint32_t drv_stride_from_format(uint32_t format, uint32_t width, size_t plane)
 224 {
 225         const struct planar_layout *layout = layout_from_format(format);
 226         assert(plane < layout->num_planes);
 227
 228         uint32_t plane_width = DIV_ROUND_UP(width, layout->horizontal_subsampling[plane]);
 229         uint32_t stride = plane_width * layout->bytes_per_pixel[plane];
 230
 231         /*
 232          * The stride of Android YV12 buffers is required to be aligned to 16 bytes
 233          * (see <system/graphics.h>).
 234          */
 235         if (format == DRM_FORMAT_YVU420_ANDROID)
 236                 stride = (plane == 0) ? ALIGN(stride, 32) : ALIGN(stride, 16);
 237
 238         return stride;
 239 }
 240
 241 uint32_t drv_size_from_format(uint32_t format, uint32_t stride, uint32_t height, size_t plane)
 242 {
 243         return stride * drv_height_from_format(format, height, plane);
 244 }
 245
 246 static uint32_t subsample_stride(uint32_t stride, uint32_t format, size_t plane)
 247 {
 248         if (plane != 0) {
 249                 switch (format) {
 250                 case DRM_FORMAT_YVU420:
 251                 case DRM_FORMAT_YVU420_ANDROID:
 252                         stride = DIV_ROUND_UP(stride, 2);
 253                         break;
 254                 }
 255         }
 256
 257         return stride;
 258 }
 259
 260 /*
 261  * This function fills in the buffer object given the driver aligned stride of
 262  * the first plane, height and a format. This function assumes there is just
 263  * one kernel buffer per buffer object.
 264  */
 265 int drv_bo_from_format(struct bo *bo, uint32_t stride, uint32_t aligned_height, uint32_t format)
 266 {
 267         uint32_t padding[DRV_MAX_PLANES] = { 0 };
 268         return drv_bo_from_format_and_padding(bo, stride, aligned_height, format, padding);
 269 }
 270
 271 int drv_bo_from_format_and_padding(struct bo *bo, uint32_t stride, uint32_t aligned_height,
 272                                    uint32_t format, uint32_t padding[DRV_MAX_PLANES])
 273 {
 274         size_t p, num_planes;
 275         uint32_t offset = 0;
 276
 277         num_planes = drv_num_planes_from_format(format);
 278         assert(num_planes);
 279
 280         /*
 281          * HAL_PIXEL_FORMAT_YV12 requires that (see <system/graphics.h>):
 282          *  - the aligned height is same as the buffer's height.
 283          *  - the chroma stride is 16 bytes aligned, i.e., the luma's strides
 284          *    is 32 bytes aligned.
 285          */
 286         if (format == DRM_FORMAT_YVU420_ANDROID) {
 287                 assert(aligned_height == bo->meta.height);
 288                 assert(stride == ALIGN(stride, 32));
 289         }
 290
 291         for (p = 0; p < num_planes; p++) {
 292                 bo->meta.strides[p] = subsample_stride(stride, format, p);
 293                 bo->meta.sizes[p] =
 294                     drv_size_from_format(format, bo->meta.strides[p], aligned_height, p) +
 295                     padding[p];
 296                 bo->meta.offsets[p] = offset;
 297                 offset += bo->meta.sizes[p];
 298         }
 299
 300         bo->meta.total_size = offset;
 301         return 0;
 302 }
 303
 304 int drv_dumb_bo_create_ex(struct bo *bo, uint32_t width, uint32_t height, uint32_t format,
 305                           uint64_t use_flags, uint64_t quirks)
 306 {
 307         int ret;
 308         size_t plane;
 309         uint32_t aligned_width, aligned_height;
 310         struct drm_mode_create_dumb create_dumb;
 311
 312         aligned_width = width;
 313         aligned_height = height;
 314         switch (format) {
 315         case DRM_FORMAT_YVU420_ANDROID:
 316                 /* HAL_PIXEL_FORMAT_YV12 requires that the buffer's height not
 317                  * be aligned. Update 'height' so that drv_bo_from_format below
 318                  * uses the non-aligned height. */
 319                 height = bo->meta.height;
 320
 321                 /* Align width to 32 pixels, so chroma strides are 16 bytes as
 322                  * Android requires. */
 323                 aligned_width = ALIGN(width, 32);
 324
 325                 /* Adjust the height to include room for chroma planes. */
 326                 aligned_height = 3 * DIV_ROUND_UP(height, 2);
 327                 break;
 328         case DRM_FORMAT_YVU420:
 329         case DRM_FORMAT_NV12:
 330                 /* Adjust the height to include room for chroma planes */
 331                 aligned_height = 3 * DIV_ROUND_UP(height, 2);
 332                 break;
 333         default:
 334                 break;
 335         }
 336
 337         memset(&create_dumb, 0, sizeof(create_dumb));
 338         if (quirks & BO_QUIRK_DUMB32BPP) {
 339                 aligned_width =
 340                     DIV_ROUND_UP(aligned_width * layout_from_format(format)->bytes_per_pixel[0], 4);
 341                 create_dumb.bpp = 32;
 342         } else {
 343                 create_dumb.bpp = layout_from_format(format)->bytes_per_pixel[0] * 8;
 344         }
 345         create_dumb.width = aligned_width;
 346         create_dumb.height = aligned_height;
 347         create_dumb.flags = 0;
 348
 349         ret = drmIoctl(bo->drv->fd, DRM_IOCTL_MODE_CREATE_DUMB, &create_dumb);
 350         if (ret) {
 351                 drv_log("DRM_IOCTL_MODE_CREATE_DUMB failed (%d, %d)\n", bo->drv->fd, errno);
 352                 return -errno;
 353         }
 354
 355         drv_bo_from_format(bo, create_dumb.pitch, height, format);
 356
 357         for (plane = 0; plane < bo->meta.num_planes; plane++)
 358                 bo->handles[plane].u32 = create_dumb.handle;
 359
 360         bo->meta.total_size = create_dumb.size;
 361         return 0;
 362 }
 363
 364 int drv_dumb_bo_create(struct bo *bo, uint32_t width, uint32_t height, uint32_t format,
 365                        uint64_t use_flags)
 366 {
 367         return drv_dumb_bo_create_ex(bo, width, height, format, use_flags, BO_QUIRK_NONE);
 368 }
 369
 370 int drv_dumb_bo_destroy(struct bo *bo)
 371 {
 372         struct drm_mode_destroy_dumb destroy_dumb;
 373         int ret;
 374
 375         memset(&destroy_dumb, 0, sizeof(destroy_dumb));
 376         destroy_dumb.handle = bo->handles[0].u32;
 377
 378         ret = drmIoctl(bo->drv->fd, DRM_IOCTL_MODE_DESTROY_DUMB, &destroy_dumb);
 379         if (ret) {
 380                 drv_log("DRM_IOCTL_MODE_DESTROY_DUMB failed (handle=%x)\n", bo->handles[0].u32);
 381                 return -errno;
 382         }
 383
 384         return 0;
 385 }
 386
 387 int drv_gem_bo_destroy(struct bo *bo)
 388 {
 389         struct drm_gem_close gem_close;
 390         int ret, error = 0;
 391         size_t plane, i;
 392
 393         for (plane = 0; plane < bo->meta.num_planes; plane++) {
 394                 for (i = 0; i < plane; i++)
 395                         if (bo->handles[i].u32 == bo->handles[plane].u32)
 396                                 break;
 397                 /* Make sure close hasn't already been called on this handle */
 398                 if (i != plane)
 399                         continue;
 400
 401                 memset(&gem_close, 0, sizeof(gem_close));
 402                 gem_close.handle = bo->handles[plane].u32;
 403
 404                 ret = drmIoctl(bo->drv->fd, DRM_IOCTL_GEM_CLOSE, &gem_close);
 405                 if (ret) {
 406                         drv_log("DRM_IOCTL_GEM_CLOSE failed (handle=%x) error %d\n",
 407                                 bo->handles[plane].u32, ret);
 408                         error = -errno;
 409                 }
 410         }
 411
 412         return error;
 413 }
 414
 415 int drv_prime_bo_import(struct bo *bo, struct drv_import_fd_data *data)
 416 {
 417         int ret;
 418         size_t plane;
 419         struct drm_prime_handle prime_handle;
 420
 421         for (plane = 0; plane < bo->meta.num_planes; plane++) {
 422                 memset(&prime_handle, 0, sizeof(prime_handle));
 423                 prime_handle.fd = data->fds[plane];
 424
 425                 ret = drmIoctl(bo->drv->fd, DRM_IOCTL_PRIME_FD_TO_HANDLE, &prime_handle);
 426
 427                 if (ret) {
 428                         drv_log("DRM_IOCTL_PRIME_FD_TO_HANDLE failed (fd=%u)\n", prime_handle.fd);
 429
 430                         /*
 431                          * Need to call GEM close on planes that were opened,
 432                          * if any. Adjust the num_planes variable to be the
 433                          * plane that failed, so GEM close will be called on
 434                          * planes before that plane.
 435                          */
 436                         bo->meta.num_planes = plane;
 437                         drv_gem_bo_destroy(bo);
 438                         return -errno;
 439                 }
 440
 441                 bo->handles[plane].u32 = prime_handle.handle;
 442         }
 443
 444         return 0;
 445 }
 446
 447 void *drv_dumb_bo_map(struct bo *bo, struct vma *vma, size_t plane, uint32_t map_flags)
 448 {
 449         int ret;
 450         size_t i;
 451         struct drm_mode_map_dumb map_dumb;
 452
 453         memset(&map_dumb, 0, sizeof(map_dumb));
 454         map_dumb.handle = bo->handles[plane].u32;
 455
 456         ret = drmIoctl(bo->drv->fd, DRM_IOCTL_MODE_MAP_DUMB, &map_dumb);
 457         if (ret) {
 458                 drv_log("DRM_IOCTL_MODE_MAP_DUMB failed\n");
 459                 return MAP_FAILED;
 460         }
 461
 462         for (i = 0; i < bo->meta.num_planes; i++)
 463                 if (bo->handles[i].u32 == bo->handles[plane].u32)
 464                         vma->length += bo->meta.sizes[i];
 465
 466         return mmap(0, vma->length, drv_get_prot(map_flags), MAP_SHARED, bo->drv->fd,
 467                     map_dumb.offset);
 468 }
 469
 470 int drv_bo_munmap(struct bo *bo, struct vma *vma)
 471 {
 472         return munmap(vma->addr, vma->length);
 473 }
 474
 475 int drv_mapping_destroy(struct bo *bo)
 476 {
 477         int ret;
 478         size_t plane;
 479         struct mapping *mapping;
 480         uint32_t idx;
 481
 482         /*
 483          * This function is called right before the buffer is destroyed. It will free any mappings
 484          * associated with the buffer.
 485          */
 486
 487         idx = 0;
 488         for (plane = 0; plane < bo->meta.num_planes; plane++) {
 489                 while (idx < drv_array_size(bo->drv->mappings)) {
 490                         mapping = (struct mapping *)drv_array_at_idx(bo->drv->mappings, idx);
 491                         if (mapping->vma->handle != bo->handles[plane].u32) {
 492                                 idx++;
 493                                 continue;
 494                         }
 495
 496                         if (!--mapping->vma->refcount) {
 497                                 ret = bo->drv->backend->bo_unmap(bo, mapping->vma);
 498                                 if (ret) {
 499                                         drv_log("munmap failed\n");
 500                                         return ret;
 501                                 }
 502
 503                                 free(mapping->vma);
 504                         }
 505
 506                         /* This shrinks and shifts the array, so don't increment idx. */
 507                         drv_array_remove(bo->drv->mappings, idx);
 508                 }
 509         }
 510
 511         return 0;
 512 }
 513
 514 int drv_get_prot(uint32_t map_flags)
 515 {
 516         return (BO_MAP_WRITE & map_flags) ? PROT_WRITE | PROT_READ : PROT_READ;
 517 }
 518
 519 uintptr_t drv_get_reference_count(struct driver *drv, struct bo *bo, size_t plane)
 520 {
 521         void *count;
 522         uintptr_t num = 0;
 523
 524         if (!drmHashLookup(drv->buffer_table, bo->handles[plane].u32, &count))
 525                 num = (uintptr_t)(count);
 526
 527         return num;
 528 }
 529
 530 void drv_increment_reference_count(struct driver *drv, struct bo *bo, size_t plane)
 531 {
 532         uintptr_t num = drv_get_reference_count(drv, bo, plane);
 533
 534         /* If a value isn't in the table, drmHashDelete is a no-op */
 535         drmHashDelete(drv->buffer_table, bo->handles[plane].u32);
 536         drmHashInsert(drv->buffer_table, bo->handles[plane].u32, (void *)(num + 1));
 537 }
 538
 539 void drv_decrement_reference_count(struct driver *drv, struct bo *bo, size_t plane)
 540 {
 541         uintptr_t num = drv_get_reference_count(drv, bo, plane);
 542
 543         drmHashDelete(drv->buffer_table, bo->handles[plane].u32);
 544
 545         if (num > 0)
 546                 drmHashInsert(drv->buffer_table, bo->handles[plane].u32, (void *)(num - 1));
 547 }
 548
 549 void drv_add_combination(struct driver *drv, const uint32_t format,
 550                          struct format_metadata *metadata, uint64_t use_flags)
 551 {
 552         struct combination combo = { .format = format,
 553                                      .metadata = *metadata,
 554                                      .use_flags = use_flags };
 555
 556         drv_array_append(drv->combos, &combo);
 557 }
 558
 559 void drv_add_combinations(struct driver *drv, const uint32_t *formats, uint32_t num_formats,
 560                           struct format_metadata *metadata, uint64_t use_flags)
 561 {
 562         uint32_t i;
 563
 564         for (i = 0; i < num_formats; i++) {
 565                 struct combination combo = { .format = formats[i],
 566                                              .metadata = *metadata,
 567                                              .use_flags = use_flags };
 568
 569                 drv_array_append(drv->combos, &combo);
 570         }
 571 }
 572
 573 void drv_modify_combination(struct driver *drv, uint32_t format, struct format_metadata *metadata,
 574                             uint64_t use_flags)
 575 {
 576         uint32_t i;
 577         struct combination *combo;
 578         /* Attempts to add the specified flags to an existing combination. */
 579         for (i = 0; i < drv_array_size(drv->combos); i++) {
 580                 combo = (struct combination *)drv_array_at_idx(drv->combos, i);
 581                 if (combo->format == format && combo->metadata.tiling == metadata->tiling &&
 582                     combo->metadata.modifier == metadata->modifier)
 583                         combo->use_flags |= use_flags;
 584         }
 585 }
 586
 587 int drv_modify_linear_combinations(struct driver *drv)
 588 {
 589         /*
 590          * All current drivers can scanout linear XRGB8888/ARGB8888 as a primary
 591          * plane and as a cursor.
 592          */
 593         drv_modify_combination(drv, DRM_FORMAT_XRGB8888, &LINEAR_METADATA,
 594                                BO_USE_CURSOR | BO_USE_SCANOUT);
 595         drv_modify_combination(drv, DRM_FORMAT_ARGB8888, &LINEAR_METADATA,
 596                                BO_USE_CURSOR | BO_USE_SCANOUT);
 597         return 0;
 598 }
 599
 600 /*
 601  * Pick the best modifier from modifiers, according to the ordering
 602  * given by modifier_order.
 603  */
 604 uint64_t drv_pick_modifier(const uint64_t *modifiers, uint32_t count,
 605                            const uint64_t *modifier_order, uint32_t order_count)
 606 {
 607         uint32_t i, j;
 608
 609         for (i = 0; i < order_count; i++) {
 610                 for (j = 0; j < count; j++) {
 611                         if (modifiers[j] == modifier_order[i]) {
 612                                 return modifiers[j];
 613                         }
 614                 }
 615         }
 616
 617         return DRM_FORMAT_MOD_LINEAR;
 618 }
 619
 620 /*
 621  * Search a list of modifiers to see if a given modifier is present
 622  */
 623 bool drv_has_modifier(const uint64_t *list, uint32_t count, uint64_t modifier)
 624 {
 625         uint32_t i;
 626         for (i = 0; i < count; i++)
 627                 if (list[i] == modifier)
 628                         return true;
 629
 630         return false;
 631 }