tegra.c

   1 /*
   2  * Copyright 2014 The Chromium OS Authors. All rights reserved.
   3  * Use of this source code is governed by a BSD-style license that can be
   4  * found in the LICENSE file.
   5  */
   6
   7 #ifdef DRV_TEGRA
   8
   9 #include <assert.h>
  10 #include <errno.h>
  11 #include <stdio.h>
  12 #include <string.h>
  13 #include <sys/mman.h>
  14 #include <tegra_drm.h>
  15 #include <xf86drm.h>
  16
  17 #include "drv_priv.h"
  18 #include "helpers.h"
  19 #include "util.h"
  20
  21 /*
  22  * GOB (Group Of Bytes) is the basic unit of the blocklinear layout.
  23  * GOBs are arranged to blocks, where the height of the block (measured
  24  * in GOBs) is configurable.
  25  */
  26 #define NV_BLOCKLINEAR_GOB_HEIGHT 8
  27 #define NV_BLOCKLINEAR_GOB_WIDTH 64
  28 #define NV_DEFAULT_BLOCK_HEIGHT_LOG2 4
  29 #define NV_PREFERRED_PAGE_SIZE (128 * 1024)
  30
  31 // clang-format off
  32 enum nv_mem_kind
  33 {
  34         NV_MEM_KIND_PITCH = 0,
  35         NV_MEM_KIND_C32_2CRA = 0xdb,
  36         NV_MEM_KIND_GENERIC_16Bx2 = 0xfe,
  37 };
  38
  39 enum tegra_map_type {
  40         TEGRA_READ_TILED_BUFFER = 0,
  41         TEGRA_WRITE_TILED_BUFFER = 1,
  42 };
  43 // clang-format on
  44
  45 struct tegra_private_map_data {
  46         void *tiled;
  47         void *untiled;
  48 };
  49
  50 static const uint32_t render_target_formats[] = { DRM_FORMAT_ARGB8888, DRM_FORMAT_XRGB8888 };
  51
  52 static int compute_block_height_log2(int height)
  53 {
  54         int block_height_log2 = NV_DEFAULT_BLOCK_HEIGHT_LOG2;
  55
  56         if (block_height_log2 > 0) {
  57                 /* Shrink, if a smaller block height could cover the whole
  58                  * surface height. */
  59                 int proposed = NV_BLOCKLINEAR_GOB_HEIGHT << (block_height_log2 - 1);
  60                 while (proposed >= height) {
  61                         block_height_log2--;
  62                         if (block_height_log2 == 0)
  63                                 break;
  64                         proposed /= 2;
  65                 }
  66         }
  67         return block_height_log2;
  68 }
  69
  70 static void compute_layout_blocklinear(int width, int height, int format, enum nv_mem_kind *kind,
  71                                        uint32_t *block_height_log2, uint32_t *stride,
  72                                        uint32_t *size)
  73 {
  74         int pitch = drv_stride_from_format(format, width, 0);
  75
  76         /* Align to blocklinear blocks. */
  77         pitch = ALIGN(pitch, NV_BLOCKLINEAR_GOB_WIDTH);
  78
  79         /* Compute padded height. */
  80         *block_height_log2 = compute_block_height_log2(height);
  81         int block_height = 1 << *block_height_log2;
  82         int padded_height = ALIGN(height, NV_BLOCKLINEAR_GOB_HEIGHT * block_height);
  83
  84         int bytes = pitch * padded_height;
  85
  86         /* Pad the allocation to the preferred page size.
  87          * This will reduce the required page table size (see discussion in NV
  88          * bug 1321091), and also acts as a WAR for NV bug 1325421.
  89          */
  90         bytes = ALIGN(bytes, NV_PREFERRED_PAGE_SIZE);
  91
  92         *kind = NV_MEM_KIND_C32_2CRA;
  93         *stride = pitch;
  94         *size = bytes;
  95 }
  96
  97 static void compute_layout_linear(int width, int height, int format, uint32_t *stride,
  98                                   uint32_t *size)
  99 {
 100         *stride = ALIGN(drv_stride_from_format(format, width, 0), 64);
 101         *size = *stride * height;
 102 }
 103
 104 static void transfer_tile(struct bo *bo, uint8_t *tiled, uint8_t *untiled, enum tegra_map_type type,
 105                           uint32_t bytes_per_pixel, uint32_t gob_top, uint32_t gob_left,
 106                           uint32_t gob_size_pixels, uint8_t *tiled_last)
 107 {
 108         uint8_t *tmp;
 109         uint32_t x, y, k;
 110         for (k = 0; k < gob_size_pixels; k++) {
 111                 /*
 112                  * Given the kth pixel starting from the tile specified by
 113                  * gob_top and gob_left, unswizzle to get the standard (x, y)
 114                  * representation.
 115                  */
 116                 x = gob_left + (((k >> 3) & 8) | ((k >> 1) & 4) | (k & 3));
 117                 y = gob_top + ((k >> 7 << 3) | ((k >> 3) & 6) | ((k >> 2) & 1));
 118
 119                 if (tiled >= tiled_last)
 120                         return;
 121
 122                 if (x >= bo->meta.width || y >= bo->meta.height) {
 123                         tiled += bytes_per_pixel;
 124                         continue;
 125                 }
 126
 127                 tmp = untiled + y * bo->meta.strides[0] + x * bytes_per_pixel;
 128
 129                 if (type == TEGRA_READ_TILED_BUFFER)
 130                         memcpy(tmp, tiled, bytes_per_pixel);
 131                 else if (type == TEGRA_WRITE_TILED_BUFFER)
 132                         memcpy(tiled, tmp, bytes_per_pixel);
 133
 134                 /* Move on to next pixel. */
 135                 tiled += bytes_per_pixel;
 136         }
 137 }
 138
 139 static void transfer_tiled_memory(struct bo *bo, uint8_t *tiled, uint8_t *untiled,
 140                                   enum tegra_map_type type)
 141 {
 142         uint32_t gob_width, gob_height, gob_size_bytes, gob_size_pixels, gob_count_x, gob_count_y,
 143             gob_top, gob_left;
 144         uint32_t i, j, offset;
 145         uint8_t *tmp, *tiled_last;
 146         uint32_t bytes_per_pixel = drv_stride_from_format(bo->meta.format, 1, 0);
 147
 148         /*
 149          * The blocklinear format consists of 8*(2^n) x 64 byte sized tiles,
 150          * where 0 <= n <= 4.
 151          */
 152         gob_width = DIV_ROUND_UP(NV_BLOCKLINEAR_GOB_WIDTH, bytes_per_pixel);
 153         gob_height = NV_BLOCKLINEAR_GOB_HEIGHT * (1 << NV_DEFAULT_BLOCK_HEIGHT_LOG2);
 154         /* Calculate the height from maximum possible gob height */
 155         while (gob_height > NV_BLOCKLINEAR_GOB_HEIGHT && gob_height >= 2 * bo->meta.height)
 156                 gob_height /= 2;
 157
 158         gob_size_bytes = gob_height * NV_BLOCKLINEAR_GOB_WIDTH;
 159         gob_size_pixels = gob_height * gob_width;
 160
 161         gob_count_x = DIV_ROUND_UP(bo->meta.strides[0], NV_BLOCKLINEAR_GOB_WIDTH);
 162         gob_count_y = DIV_ROUND_UP(bo->meta.height, gob_height);
 163
 164         tiled_last = tiled + bo->meta.total_size;
 165
 166         offset = 0;
 167         for (j = 0; j < gob_count_y; j++) {
 168                 gob_top = j * gob_height;
 169                 for (i = 0; i < gob_count_x; i++) {
 170                         tmp = tiled + offset;
 171                         gob_left = i * gob_width;
 172
 173                         transfer_tile(bo, tmp, untiled, type, bytes_per_pixel, gob_top, gob_left,
 174                                       gob_size_pixels, tiled_last);
 175
 176                         offset += gob_size_bytes;
 177                 }
 178         }
 179 }
 180
 181 static int tegra_init(struct driver *drv)
 182 {
 183         struct format_metadata metadata;
 184         uint64_t use_flags = BO_USE_RENDER_MASK;
 185
 186         metadata.tiling = NV_MEM_KIND_PITCH;
 187         metadata.priority = 1;
 188         metadata.modifier = DRM_FORMAT_MOD_LINEAR;
 189
 190         drv_add_combinations(drv, render_target_formats, ARRAY_SIZE(render_target_formats),
 191                              &metadata, use_flags);
 192
 193         drv_modify_combination(drv, DRM_FORMAT_XRGB8888, &metadata, BO_USE_CURSOR | BO_USE_SCANOUT);
 194         drv_modify_combination(drv, DRM_FORMAT_ARGB8888, &metadata, BO_USE_CURSOR | BO_USE_SCANOUT);
 195
 196         use_flags &= ~BO_USE_SW_WRITE_OFTEN;
 197         use_flags &= ~BO_USE_SW_READ_OFTEN;
 198         use_flags &= ~BO_USE_LINEAR;
 199
 200         metadata.tiling = NV_MEM_KIND_C32_2CRA;
 201         metadata.priority = 2;
 202
 203         drv_add_combinations(drv, render_target_formats, ARRAY_SIZE(render_target_formats),
 204                              &metadata, use_flags);
 205
 206         drv_modify_combination(drv, DRM_FORMAT_XRGB8888, &metadata, BO_USE_SCANOUT);
 207         drv_modify_combination(drv, DRM_FORMAT_ARGB8888, &metadata, BO_USE_SCANOUT);
 208         return 0;
 209 }
 210
 211 static int tegra_bo_create(struct bo *bo, uint32_t width, uint32_t height, uint32_t format,
 212                            uint64_t use_flags)
 213 {
 214         uint32_t size, stride, block_height_log2 = 0;
 215         enum nv_mem_kind kind = NV_MEM_KIND_PITCH;
 216         struct drm_tegra_gem_create gem_create;
 217         int ret;
 218
 219         if (use_flags &
 220             (BO_USE_CURSOR | BO_USE_LINEAR | BO_USE_SW_READ_OFTEN | BO_USE_SW_WRITE_OFTEN))
 221                 compute_layout_linear(width, height, format, &stride, &size);
 222         else
 223                 compute_layout_blocklinear(width, height, format, &kind, &block_height_log2,
 224                                            &stride, &size);
 225
 226         memset(&gem_create, 0, sizeof(gem_create));
 227         gem_create.size = size;
 228         gem_create.flags = 0;
 229
 230         ret = drmIoctl(bo->drv->fd, DRM_IOCTL_TEGRA_GEM_CREATE, &gem_create);
 231         if (ret) {
 232                 drv_log("DRM_IOCTL_TEGRA_GEM_CREATE failed (size=%zu)\n", size);
 233                 return -errno;
 234         }
 235
 236         bo->handles[0].u32 = gem_create.handle;
 237         bo->meta.offsets[0] = 0;
 238         bo->meta.total_size = bo->meta.sizes[0] = size;
 239         bo->meta.strides[0] = stride;
 240
 241         if (kind != NV_MEM_KIND_PITCH) {
 242                 struct drm_tegra_gem_set_tiling gem_tile;
 243
 244                 memset(&gem_tile, 0, sizeof(gem_tile));
 245                 gem_tile.handle = bo->handles[0].u32;
 246                 gem_tile.mode = DRM_TEGRA_GEM_TILING_MODE_BLOCK;
 247                 gem_tile.value = block_height_log2;
 248
 249                 ret = drmCommandWriteRead(bo->drv->fd, DRM_TEGRA_GEM_SET_TILING, &gem_tile,
 250                                           sizeof(gem_tile));
 251                 if (ret < 0) {
 252                         drv_gem_bo_destroy(bo);
 253                         return ret;
 254                 }
 255
 256                 /* Encode blocklinear parameters for EGLImage creation. */
 257                 bo->meta.tiling = (kind & 0xff) | ((block_height_log2 & 0xf) << 8);
 258                 bo->meta.format_modifiers[0] = fourcc_mod_code(NV, bo->meta.tiling);
 259         }
 260
 261         return 0;
 262 }
 263
 264 static int tegra_bo_import(struct bo *bo, struct drv_import_fd_data *data)
 265 {
 266         int ret;
 267         struct drm_tegra_gem_get_tiling gem_get_tiling;
 268
 269         ret = drv_prime_bo_import(bo, data);
 270         if (ret)
 271                 return ret;
 272
 273         /* TODO(gsingh): export modifiers and get rid of backdoor tiling. */
 274         memset(&gem_get_tiling, 0, sizeof(gem_get_tiling));
 275         gem_get_tiling.handle = bo->handles[0].u32;
 276
 277         ret = drmIoctl(bo->drv->fd, DRM_IOCTL_TEGRA_GEM_GET_TILING, &gem_get_tiling);
 278         if (ret) {
 279                 drv_gem_bo_destroy(bo);
 280                 return -errno;
 281         }
 282
 283         /* NOTE(djmk): we only know about one tiled format, so if our drmIoctl call tells us we are
 284            tiled, assume it is this format (NV_MEM_KIND_C32_2CRA) otherwise linear (KIND_PITCH). */
 285         if (gem_get_tiling.mode == DRM_TEGRA_GEM_TILING_MODE_PITCH) {
 286                 bo->meta.tiling = NV_MEM_KIND_PITCH;
 287         } else if (gem_get_tiling.mode == DRM_TEGRA_GEM_TILING_MODE_BLOCK) {
 288                 bo->meta.tiling = NV_MEM_KIND_C32_2CRA;
 289         } else {
 290                 drv_log("%s: unknown tile format %d\n", __func__, gem_get_tiling.mode);
 291                 drv_gem_bo_destroy(bo);
 292                 assert(0);
 293         }
 294
 295         bo->meta.format_modifiers[0] = fourcc_mod_code(NV, bo->meta.tiling);
 296         return 0;
 297 }
 298
 299 static void *tegra_bo_map(struct bo *bo, struct vma *vma, size_t plane, uint32_t map_flags)
 300 {
 301         int ret;
 302         struct drm_tegra_gem_mmap gem_map;
 303         struct tegra_private_map_data *priv;
 304
 305         memset(&gem_map, 0, sizeof(gem_map));
 306         gem_map.handle = bo->handles[0].u32;
 307
 308         ret = drmCommandWriteRead(bo->drv->fd, DRM_TEGRA_GEM_MMAP, &gem_map, sizeof(gem_map));
 309         if (ret < 0) {
 310                 drv_log("DRM_TEGRA_GEM_MMAP failed\n");
 311                 return MAP_FAILED;
 312         }
 313
 314         void *addr = mmap(0, bo->meta.total_size, drv_get_prot(map_flags), MAP_SHARED, bo->drv->fd,
 315                           gem_map.offset);
 316         vma->length = bo->meta.total_size;
 317         if ((bo->meta.tiling & 0xFF) == NV_MEM_KIND_C32_2CRA && addr != MAP_FAILED) {
 318                 priv = calloc(1, sizeof(*priv));
 319                 priv->untiled = calloc(1, bo->meta.total_size);
 320                 priv->tiled = addr;
 321                 vma->priv = priv;
 322                 transfer_tiled_memory(bo, priv->tiled, priv->untiled, TEGRA_READ_TILED_BUFFER);
 323                 addr = priv->untiled;
 324         }
 325
 326         return addr;
 327 }
 328
 329 static int tegra_bo_unmap(struct bo *bo, struct vma *vma)
 330 {
 331         if (vma->priv) {
 332                 struct tegra_private_map_data *priv = vma->priv;
 333                 vma->addr = priv->tiled;
 334                 free(priv->untiled);
 335                 free(priv);
 336                 vma->priv = NULL;
 337         }
 338
 339         return munmap(vma->addr, vma->length);
 340 }
 341
 342 static int tegra_bo_flush(struct bo *bo, struct mapping *mapping)
 343 {
 344         struct tegra_private_map_data *priv = mapping->vma->priv;
 345
 346         if (priv && (mapping->vma->map_flags & BO_MAP_WRITE))
 347                 transfer_tiled_memory(bo, priv->tiled, priv->untiled, TEGRA_WRITE_TILED_BUFFER);
 348
 349         return 0;
 350 }
 351
 352 const struct backend backend_tegra = {
 353         .name = "tegra",
 354         .init = tegra_init,
 355         .bo_create = tegra_bo_create,
 356         .bo_destroy = drv_gem_bo_destroy,
 357         .bo_import = tegra_bo_import,
 358         .bo_map = tegra_bo_map,
 359         .bo_unmap = tegra_bo_unmap,
 360         .bo_flush = tegra_bo_flush,
 361 };
 362
 363 #endif