helpers.c

   1 /*
   2  * Copyright 2014 The Chromium OS Authors. All rights reserved.
   3  * Use of this source code is governed by a BSD-style license that can be
   4  * found in the LICENSE file.
   5  */
   6
   7 #include <assert.h>
   8 #include <errno.h>
   9 #include <stdio.h>
  10 #include <stdlib.h>
  11 #include <string.h>
  12 #include <sys/mman.h>
  13 #include <xf86drm.h>
  14
  15 #include "drv_priv.h"
  16 #include "helpers.h"
  17 #include "util.h"
  18
  19 struct planar_layout {
  20         size_t num_planes;
  21         int horizontal_subsampling[DRV_MAX_PLANES];
  22         int vertical_subsampling[DRV_MAX_PLANES];
  23         int bytes_per_pixel[DRV_MAX_PLANES];
  24 };
  25
  26 // clang-format off
  27
  28 static const struct planar_layout packed_1bpp_layout = {
  29         .num_planes = 1,
  30         .horizontal_subsampling = { 1 },
  31         .vertical_subsampling = { 1 },
  32         .bytes_per_pixel = { 1 }
  33 };
  34
  35 static const struct planar_layout packed_2bpp_layout = {
  36         .num_planes = 1,
  37         .horizontal_subsampling = { 1 },
  38         .vertical_subsampling = { 1 },
  39         .bytes_per_pixel = { 2 }
  40 };
  41
  42 static const struct planar_layout packed_3bpp_layout = {
  43         .num_planes = 1,
  44         .horizontal_subsampling = { 1 },
  45         .vertical_subsampling = { 1 },
  46         .bytes_per_pixel = { 3 }
  47 };
  48
  49 static const struct planar_layout packed_4bpp_layout = {
  50         .num_planes = 1,
  51         .horizontal_subsampling = { 1 },
  52         .vertical_subsampling = { 1 },
  53         .bytes_per_pixel = { 4 }
  54 };
  55
  56 static const struct planar_layout packed_8bpp_layout = {
  57         .num_planes = 1,
  58         .horizontal_subsampling = { 1 },
  59         .vertical_subsampling = { 1 },
  60         .bytes_per_pixel = { 8 }
  61 };
  62
  63 static const struct planar_layout biplanar_yuv_420_layout = {
  64         .num_planes = 2,
  65         .horizontal_subsampling = { 1, 2 },
  66         .vertical_subsampling = { 1, 2 },
  67         .bytes_per_pixel = { 1, 2 }
  68 };
  69
  70 static const struct planar_layout triplanar_yuv_420_layout = {
  71         .num_planes = 3,
  72         .horizontal_subsampling = { 1, 2, 2 },
  73         .vertical_subsampling = { 1, 2, 2 },
  74         .bytes_per_pixel = { 1, 1, 1 }
  75 };
  76
  77 static const struct planar_layout biplanar_yuv_p010_layout = {
  78         .num_planes = 2,
  79         .horizontal_subsampling = { 1, 2 },
  80         .vertical_subsampling = { 1, 2 },
  81         .bytes_per_pixel = { 2, 4 }
  82 };
  83
  84 // clang-format on
  85
  86 static const struct planar_layout *layout_from_format(uint32_t format)
  87 {
  88         switch (format) {
  89         case DRM_FORMAT_BGR233:
  90         case DRM_FORMAT_C8:
  91         case DRM_FORMAT_R8:
  92         case DRM_FORMAT_RGB332:
  93                 return &packed_1bpp_layout;
  94
  95         case DRM_FORMAT_YVU420:
  96         case DRM_FORMAT_YVU420_ANDROID:
  97                 return &triplanar_yuv_420_layout;
  98
  99         case DRM_FORMAT_NV12:
 100         case DRM_FORMAT_NV21:
 101                 return &biplanar_yuv_420_layout;
 102
 103         case DRM_FORMAT_P010:
 104                 return &biplanar_yuv_p010_layout;
 105
 106         case DRM_FORMAT_ABGR1555:
 107         case DRM_FORMAT_ABGR4444:
 108         case DRM_FORMAT_ARGB1555:
 109         case DRM_FORMAT_ARGB4444:
 110         case DRM_FORMAT_BGR565:
 111         case DRM_FORMAT_BGRA4444:
 112         case DRM_FORMAT_BGRA5551:
 113         case DRM_FORMAT_BGRX4444:
 114         case DRM_FORMAT_BGRX5551:
 115         case DRM_FORMAT_GR88:
 116         case DRM_FORMAT_RG88:
 117         case DRM_FORMAT_RGB565:
 118         case DRM_FORMAT_RGBA4444:
 119         case DRM_FORMAT_RGBA5551:
 120         case DRM_FORMAT_RGBX4444:
 121         case DRM_FORMAT_RGBX5551:
 122         case DRM_FORMAT_UYVY:
 123         case DRM_FORMAT_VYUY:
 124         case DRM_FORMAT_XBGR1555:
 125         case DRM_FORMAT_XBGR4444:
 126         case DRM_FORMAT_XRGB1555:
 127         case DRM_FORMAT_XRGB4444:
 128         case DRM_FORMAT_YUYV:
 129         case DRM_FORMAT_YVYU:
 130         case DRM_FORMAT_MTISP_SXYZW10:
 131                 return &packed_2bpp_layout;
 132
 133         case DRM_FORMAT_BGR888:
 134         case DRM_FORMAT_RGB888:
 135                 return &packed_3bpp_layout;
 136
 137         case DRM_FORMAT_ABGR2101010:
 138         case DRM_FORMAT_ABGR8888:
 139         case DRM_FORMAT_ARGB2101010:
 140         case DRM_FORMAT_ARGB8888:
 141         case DRM_FORMAT_AYUV:
 142         case DRM_FORMAT_BGRA1010102:
 143         case DRM_FORMAT_BGRA8888:
 144         case DRM_FORMAT_BGRX1010102:
 145         case DRM_FORMAT_BGRX8888:
 146         case DRM_FORMAT_RGBA1010102:
 147         case DRM_FORMAT_RGBA8888:
 148         case DRM_FORMAT_RGBX1010102:
 149         case DRM_FORMAT_RGBX8888:
 150         case DRM_FORMAT_XBGR2101010:
 151         case DRM_FORMAT_XBGR8888:
 152         case DRM_FORMAT_XRGB2101010:
 153         case DRM_FORMAT_XRGB8888:
 154                 return &packed_4bpp_layout;
 155
 156         case DRM_FORMAT_ABGR16161616F:
 157                 return &packed_8bpp_layout;
 158
 159         default:
 160                 drv_log("UNKNOWN FORMAT %d\n", format);
 161                 return NULL;
 162         }
 163 }
 164
 165 size_t drv_num_planes_from_format(uint32_t format)
 166 {
 167         const struct planar_layout *layout = layout_from_format(format);
 168
 169         /*
 170          * drv_bo_new calls this function early to query number of planes and
 171          * considers 0 planes to mean unknown format, so we have to support
 172          * that.  All other layout_from_format() queries can assume that the
 173          * format is supported and that the return value is non-NULL.
 174          */
 175
 176         return layout ? layout->num_planes : 0;
 177 }
 178
 179 size_t drv_num_planes_from_modifier(struct driver *drv, uint32_t format, uint64_t modifier)
 180 {
 181         size_t planes = drv_num_planes_from_format(format);
 182
 183         /* Disallow unsupported formats. */
 184         if (!planes)
 185                 return 0;
 186
 187         if (drv->backend->num_planes_from_modifier && modifier != DRM_FORMAT_MOD_INVALID)
 188                 return drv->backend->num_planes_from_modifier(drv, format, modifier);
 189
 190         return planes;
 191 }
 192
 193 uint32_t drv_height_from_format(uint32_t format, uint32_t height, size_t plane)
 194 {
 195         const struct planar_layout *layout = layout_from_format(format);
 196
 197         assert(plane < layout->num_planes);
 198
 199         return DIV_ROUND_UP(height, layout->vertical_subsampling[plane]);
 200 }
 201
 202 uint32_t drv_vertical_subsampling_from_format(uint32_t format, size_t plane)
 203 {
 204         const struct planar_layout *layout = layout_from_format(format);
 205
 206         assert(plane < layout->num_planes);
 207
 208         return layout->vertical_subsampling[plane];
 209 }
 210
 211 uint32_t drv_bytes_per_pixel_from_format(uint32_t format, size_t plane)
 212 {
 213         const struct planar_layout *layout = layout_from_format(format);
 214
 215         assert(plane < layout->num_planes);
 216
 217         return layout->bytes_per_pixel[plane];
 218 }
 219
 220 /*
 221  * This function returns the stride for a given format, width and plane.
 222  */
 223 uint32_t drv_stride_from_format(uint32_t format, uint32_t width, size_t plane)
 224 {
 225         const struct planar_layout *layout = layout_from_format(format);
 226         assert(plane < layout->num_planes);
 227
 228         uint32_t plane_width = DIV_ROUND_UP(width, layout->horizontal_subsampling[plane]);
 229         uint32_t stride = plane_width * layout->bytes_per_pixel[plane];
 230
 231         /*
 232          * The stride of Android YV12 buffers is required to be aligned to 16 bytes
 233          * (see <system/graphics.h>).
 234          */
 235         if (format == DRM_FORMAT_YVU420_ANDROID)
 236                 stride = (plane == 0) ? ALIGN(stride, 32) : ALIGN(stride, 16);
 237
 238         return stride;
 239 }
 240
 241 uint32_t drv_size_from_format(uint32_t format, uint32_t stride, uint32_t height, size_t plane)
 242 {
 243         return stride * drv_height_from_format(format, height, plane);
 244 }
 245
 246 static uint32_t subsample_stride(uint32_t stride, uint32_t format, size_t plane)
 247 {
 248         if (plane != 0) {
 249                 switch (format) {
 250                 case DRM_FORMAT_YVU420:
 251                 case DRM_FORMAT_YVU420_ANDROID:
 252                         stride = DIV_ROUND_UP(stride, 2);
 253                         break;
 254                 }
 255         }
 256
 257         return stride;
 258 }
 259
 260 /*
 261  * This function fills in the buffer object given the driver aligned stride of
 262  * the first plane, height and a format. This function assumes there is just
 263  * one kernel buffer per buffer object.
 264  */
 265 int drv_bo_from_format(struct bo *bo, uint32_t stride, uint32_t aligned_height, uint32_t format)
 266 {
 267         uint32_t padding[DRV_MAX_PLANES] = { 0 };
 268         return drv_bo_from_format_and_padding(bo, stride, aligned_height, format, padding);
 269 }
 270
 271 int drv_bo_from_format_and_padding(struct bo *bo, uint32_t stride, uint32_t aligned_height,
 272                                    uint32_t format, uint32_t padding[DRV_MAX_PLANES])
 273 {
 274         size_t p, num_planes;
 275         uint32_t offset = 0;
 276
 277         num_planes = drv_num_planes_from_format(format);
 278         assert(num_planes);
 279
 280         /*
 281          * HAL_PIXEL_FORMAT_YV12 requires that (see <system/graphics.h>):
 282          *  - the aligned height is same as the buffer's height.
 283          *  - the chroma stride is 16 bytes aligned, i.e., the luma's strides
 284          *    is 32 bytes aligned.
 285          */
 286         if (format == DRM_FORMAT_YVU420_ANDROID) {
 287                 assert(aligned_height == bo->meta.height);
 288                 assert(stride == ALIGN(stride, 32));
 289         }
 290
 291         for (p = 0; p < num_planes; p++) {
 292                 bo->meta.strides[p] = subsample_stride(stride, format, p);
 293                 bo->meta.sizes[p] =
 294                     drv_size_from_format(format, bo->meta.strides[p], aligned_height, p) +
 295                     padding[p];
 296                 bo->meta.offsets[p] = offset;
 297                 offset += bo->meta.sizes[p];
 298         }
 299
 300         bo->meta.total_size = offset;
 301         return 0;
 302 }
 303
 304 int drv_dumb_bo_create_ex(struct bo *bo, uint32_t width, uint32_t height, uint32_t format,
 305                           uint64_t use_flags, uint64_t quirks)
 306 {
 307         int ret;
 308         size_t plane;
 309         uint32_t aligned_width, aligned_height;
 310         struct drm_mode_create_dumb create_dumb;
 311
 312         aligned_width = width;
 313         aligned_height = height;
 314         switch (format) {
 315         case DRM_FORMAT_YVU420_ANDROID:
 316                 /* Align width to 32 pixels, so chroma strides are 16 bytes as
 317                  * Android requires. */
 318                 aligned_width = ALIGN(width, 32);
 319                 /* Adjust the height to include room for chroma planes.
 320                  *
 321                  * HAL_PIXEL_FORMAT_YV12 requires that the buffer's height not
 322                  * be aligned. */
 323                 aligned_height = 3 * DIV_ROUND_UP(bo->meta.height, 2);
 324                 break;
 325         case DRM_FORMAT_YVU420:
 326         case DRM_FORMAT_NV12:
 327                 /* Adjust the height to include room for chroma planes */
 328                 aligned_height = 3 * DIV_ROUND_UP(height, 2);
 329                 break;
 330         default:
 331                 break;
 332         }
 333
 334         memset(&create_dumb, 0, sizeof(create_dumb));
 335         if (quirks & BO_QUIRK_DUMB32BPP) {
 336                 aligned_width =
 337                     DIV_ROUND_UP(aligned_width * layout_from_format(format)->bytes_per_pixel[0], 4);
 338                 create_dumb.bpp = 32;
 339         } else {
 340                 create_dumb.bpp = layout_from_format(format)->bytes_per_pixel[0] * 8;
 341         }
 342         create_dumb.width = aligned_width;
 343         create_dumb.height = aligned_height;
 344         create_dumb.flags = 0;
 345
 346         ret = drmIoctl(bo->drv->fd, DRM_IOCTL_MODE_CREATE_DUMB, &create_dumb);
 347         if (ret) {
 348                 drv_log("DRM_IOCTL_MODE_CREATE_DUMB failed (%d, %d)\n", bo->drv->fd, errno);
 349                 return -errno;
 350         }
 351
 352         drv_bo_from_format(bo, create_dumb.pitch, height, format);
 353
 354         for (plane = 0; plane < bo->meta.num_planes; plane++)
 355                 bo->handles[plane].u32 = create_dumb.handle;
 356
 357         bo->meta.total_size = create_dumb.size;
 358         return 0;
 359 }
 360
 361 int drv_dumb_bo_create(struct bo *bo, uint32_t width, uint32_t height, uint32_t format,
 362                        uint64_t use_flags)
 363 {
 364         return drv_dumb_bo_create_ex(bo, width, height, format, use_flags, BO_QUIRK_NONE);
 365 }
 366
 367 int drv_dumb_bo_destroy(struct bo *bo)
 368 {
 369         struct drm_mode_destroy_dumb destroy_dumb;
 370         int ret;
 371
 372         memset(&destroy_dumb, 0, sizeof(destroy_dumb));
 373         destroy_dumb.handle = bo->handles[0].u32;
 374
 375         ret = drmIoctl(bo->drv->fd, DRM_IOCTL_MODE_DESTROY_DUMB, &destroy_dumb);
 376         if (ret) {
 377                 drv_log("DRM_IOCTL_MODE_DESTROY_DUMB failed (handle=%x)\n", bo->handles[0].u32);
 378                 return -errno;
 379         }
 380
 381         return 0;
 382 }
 383
 384 int drv_gem_bo_destroy(struct bo *bo)
 385 {
 386         struct drm_gem_close gem_close;
 387         int ret, error = 0;
 388         size_t plane, i;
 389
 390         for (plane = 0; plane < bo->meta.num_planes; plane++) {
 391                 for (i = 0; i < plane; i++)
 392                         if (bo->handles[i].u32 == bo->handles[plane].u32)
 393                                 break;
 394                 /* Make sure close hasn't already been called on this handle */
 395                 if (i != plane)
 396                         continue;
 397
 398                 memset(&gem_close, 0, sizeof(gem_close));
 399                 gem_close.handle = bo->handles[plane].u32;
 400
 401                 ret = drmIoctl(bo->drv->fd, DRM_IOCTL_GEM_CLOSE, &gem_close);
 402                 if (ret) {
 403                         drv_log("DRM_IOCTL_GEM_CLOSE failed (handle=%x) error %d\n",
 404                                 bo->handles[plane].u32, ret);
 405                         error = -errno;
 406                 }
 407         }
 408
 409         return error;
 410 }
 411
 412 int drv_prime_bo_import(struct bo *bo, struct drv_import_fd_data *data)
 413 {
 414         int ret;
 415         size_t plane;
 416         struct drm_prime_handle prime_handle;
 417
 418         for (plane = 0; plane < bo->meta.num_planes; plane++) {
 419                 memset(&prime_handle, 0, sizeof(prime_handle));
 420                 prime_handle.fd = data->fds[plane];
 421
 422                 ret = drmIoctl(bo->drv->fd, DRM_IOCTL_PRIME_FD_TO_HANDLE, &prime_handle);
 423
 424                 if (ret) {
 425                         drv_log("DRM_IOCTL_PRIME_FD_TO_HANDLE failed (fd=%u)\n", prime_handle.fd);
 426
 427                         /*
 428                          * Need to call GEM close on planes that were opened,
 429                          * if any. Adjust the num_planes variable to be the
 430                          * plane that failed, so GEM close will be called on
 431                          * planes before that plane.
 432                          */
 433                         bo->meta.num_planes = plane;
 434                         drv_gem_bo_destroy(bo);
 435                         return -errno;
 436                 }
 437
 438                 bo->handles[plane].u32 = prime_handle.handle;
 439         }
 440
 441         return 0;
 442 }
 443
 444 void *drv_dumb_bo_map(struct bo *bo, struct vma *vma, size_t plane, uint32_t map_flags)
 445 {
 446         int ret;
 447         size_t i;
 448         struct drm_mode_map_dumb map_dumb;
 449
 450         memset(&map_dumb, 0, sizeof(map_dumb));
 451         map_dumb.handle = bo->handles[plane].u32;
 452
 453         ret = drmIoctl(bo->drv->fd, DRM_IOCTL_MODE_MAP_DUMB, &map_dumb);
 454         if (ret) {
 455                 drv_log("DRM_IOCTL_MODE_MAP_DUMB failed\n");
 456                 return MAP_FAILED;
 457         }
 458
 459         for (i = 0; i < bo->meta.num_planes; i++)
 460                 if (bo->handles[i].u32 == bo->handles[plane].u32)
 461                         vma->length += bo->meta.sizes[i];
 462
 463         return mmap(0, vma->length, drv_get_prot(map_flags), MAP_SHARED, bo->drv->fd,
 464                     map_dumb.offset);
 465 }
 466
 467 int drv_bo_munmap(struct bo *bo, struct vma *vma)
 468 {
 469         return munmap(vma->addr, vma->length);
 470 }
 471
 472 int drv_mapping_destroy(struct bo *bo)
 473 {
 474         int ret;
 475         size_t plane;
 476         struct mapping *mapping;
 477         uint32_t idx;
 478
 479         /*
 480          * This function is called right before the buffer is destroyed. It will free any mappings
 481          * associated with the buffer.
 482          */
 483
 484         idx = 0;
 485         for (plane = 0; plane < bo->meta.num_planes; plane++) {
 486                 while (idx < drv_array_size(bo->drv->mappings)) {
 487                         mapping = (struct mapping *)drv_array_at_idx(bo->drv->mappings, idx);
 488                         if (mapping->vma->handle != bo->handles[plane].u32) {
 489                                 idx++;
 490                                 continue;
 491                         }
 492
 493                         if (!--mapping->vma->refcount) {
 494                                 ret = bo->drv->backend->bo_unmap(bo, mapping->vma);
 495                                 if (ret) {
 496                                         drv_log("munmap failed\n");
 497                                         return ret;
 498                                 }
 499
 500                                 free(mapping->vma);
 501                         }
 502
 503                         /* This shrinks and shifts the array, so don't increment idx. */
 504                         drv_array_remove(bo->drv->mappings, idx);
 505                 }
 506         }
 507
 508         return 0;
 509 }
 510
 511 int drv_get_prot(uint32_t map_flags)
 512 {
 513         return (BO_MAP_WRITE & map_flags) ? PROT_WRITE | PROT_READ : PROT_READ;
 514 }
 515
 516 uintptr_t drv_get_reference_count(struct driver *drv, struct bo *bo, size_t plane)
 517 {
 518         void *count;
 519         uintptr_t num = 0;
 520
 521         if (!drmHashLookup(drv->buffer_table, bo->handles[plane].u32, &count))
 522                 num = (uintptr_t)(count);
 523
 524         return num;
 525 }
 526
 527 void drv_increment_reference_count(struct driver *drv, struct bo *bo, size_t plane)
 528 {
 529         uintptr_t num = drv_get_reference_count(drv, bo, plane);
 530
 531         /* If a value isn't in the table, drmHashDelete is a no-op */
 532         drmHashDelete(drv->buffer_table, bo->handles[plane].u32);
 533         drmHashInsert(drv->buffer_table, bo->handles[plane].u32, (void *)(num + 1));
 534 }
 535
 536 void drv_decrement_reference_count(struct driver *drv, struct bo *bo, size_t plane)
 537 {
 538         uintptr_t num = drv_get_reference_count(drv, bo, plane);
 539
 540         drmHashDelete(drv->buffer_table, bo->handles[plane].u32);
 541
 542         if (num > 0)
 543                 drmHashInsert(drv->buffer_table, bo->handles[plane].u32, (void *)(num - 1));
 544 }
 545
 546 void drv_add_combination(struct driver *drv, const uint32_t format,
 547                          struct format_metadata *metadata, uint64_t use_flags)
 548 {
 549         struct combination combo = { .format = format,
 550                                      .metadata = *metadata,
 551                                      .use_flags = use_flags };
 552
 553         drv_array_append(drv->combos, &combo);
 554 }
 555
 556 void drv_add_combinations(struct driver *drv, const uint32_t *formats, uint32_t num_formats,
 557                           struct format_metadata *metadata, uint64_t use_flags)
 558 {
 559         uint32_t i;
 560
 561         for (i = 0; i < num_formats; i++) {
 562                 struct combination combo = { .format = formats[i],
 563                                              .metadata = *metadata,
 564                                              .use_flags = use_flags };
 565
 566                 drv_array_append(drv->combos, &combo);
 567         }
 568 }
 569
 570 void drv_modify_combination(struct driver *drv, uint32_t format, struct format_metadata *metadata,
 571                             uint64_t use_flags)
 572 {
 573         uint32_t i;
 574         struct combination *combo;
 575         /* Attempts to add the specified flags to an existing combination. */
 576         for (i = 0; i < drv_array_size(drv->combos); i++) {
 577                 combo = (struct combination *)drv_array_at_idx(drv->combos, i);
 578                 if (combo->format == format && combo->metadata.tiling == metadata->tiling &&
 579                     combo->metadata.modifier == metadata->modifier)
 580                         combo->use_flags |= use_flags;
 581         }
 582 }
 583
 584 int drv_modify_linear_combinations(struct driver *drv)
 585 {
 586         /*
 587          * All current drivers can scanout linear XRGB8888/ARGB8888 as a primary
 588          * plane and as a cursor.
 589          */
 590         drv_modify_combination(drv, DRM_FORMAT_XRGB8888, &LINEAR_METADATA,
 591                                BO_USE_CURSOR | BO_USE_SCANOUT);
 592         drv_modify_combination(drv, DRM_FORMAT_ARGB8888, &LINEAR_METADATA,
 593                                BO_USE_CURSOR | BO_USE_SCANOUT);
 594         return 0;
 595 }
 596
 597 /*
 598  * Pick the best modifier from modifiers, according to the ordering
 599  * given by modifier_order.
 600  */
 601 uint64_t drv_pick_modifier(const uint64_t *modifiers, uint32_t count,
 602                            const uint64_t *modifier_order, uint32_t order_count)
 603 {
 604         uint32_t i, j;
 605
 606         for (i = 0; i < order_count; i++) {
 607                 for (j = 0; j < count; j++) {
 608                         if (modifiers[j] == modifier_order[i]) {
 609                                 return modifiers[j];
 610                         }
 611                 }
 612         }
 613
 614         return DRM_FORMAT_MOD_LINEAR;
 615 }
 616
 617 /*
 618  * Search a list of modifiers to see if a given modifier is present
 619  */
 620 bool drv_has_modifier(const uint64_t *list, uint32_t count, uint64_t modifier)
 621 {
 622         uint32_t i;
 623         for (i = 0; i < count; i++)
 624                 if (list[i] == modifier)
 625                         return true;
 626
 627         return false;
 628 }