Documentation/gpu/drm-mm.rst

   1 =====================
   2 DRM Memory Management
   3 =====================
   4
   5 Modern Linux systems require large amount of graphics memory to store
   6 frame buffers, textures, vertices and other graphics-related data. Given
   7 the very dynamic nature of many of that data, managing graphics memory
   8 efficiently is thus crucial for the graphics stack and plays a central
   9 role in the DRM infrastructure.
  10
  11 The DRM core includes two memory managers, namely Translation Table Maps
  12 (TTM) and Graphics Execution Manager (GEM). TTM was the first DRM memory
  13 manager to be developed and tried to be a one-size-fits-them all
  14 solution. It provides a single userspace API to accommodate the need of
  15 all hardware, supporting both Unified Memory Architecture (UMA) devices
  16 and devices with dedicated video RAM (i.e. most discrete video cards).
  17 This resulted in a large, complex piece of code that turned out to be
  18 hard to use for driver development.
  19
  20 GEM started as an Intel-sponsored project in reaction to TTM's
  21 complexity. Its design philosophy is completely different: instead of
  22 providing a solution to every graphics memory-related problems, GEM
  23 identified common code between drivers and created a support library to
  24 share it. GEM has simpler initialization and execution requirements than
  25 TTM, but has no video RAM management capabilities and is thus limited to
  26 UMA devices.
  27
  28 The Translation Table Manager (TTM)
  29 ===================================
  30
  31 TTM design background and information belongs here.
  32
  33 TTM initialization
  34 ------------------
  35
  36     **Warning**
  37     This section is outdated.
  38
  39 Drivers wishing to support TTM must pass a filled :c:type:`ttm_bo_driver
  40 <ttm_bo_driver>` structure to ttm_bo_device_init, together with an
  41 initialized global reference to the memory manager.  The ttm_bo_driver
  42 structure contains several fields with function pointers for
  43 initializing the TTM, allocating and freeing memory, waiting for command
  44 completion and fence synchronization, and memory migration.
  45
  46 The :c:type:`struct drm_global_reference <drm_global_reference>` is made
  47 up of several fields:
  48
  49 .. code-block:: c
  50
  51               struct drm_global_reference {
  52                       enum ttm_global_types global_type;
  53                       size_t size;
  54                       void *object;
  55                       int (*init) (struct drm_global_reference *);
  56                       void (*release) (struct drm_global_reference *);
  57               };
  58
  59
  60 There should be one global reference structure for your memory manager
  61 as a whole, and there will be others for each object created by the
  62 memory manager at runtime. Your global TTM should have a type of
  63 TTM_GLOBAL_TTM_MEM. The size field for the global object should be
  64 sizeof(struct ttm_mem_global), and the init and release hooks should
  65 point at your driver-specific init and release routines, which probably
  66 eventually call ttm_mem_global_init and ttm_mem_global_release,
  67 respectively.
  68
  69 Once your global TTM accounting structure is set up and initialized by
  70 calling ttm_global_item_ref() on it, you need to create a buffer
  71 object TTM to provide a pool for buffer object allocation by clients and
  72 the kernel itself. The type of this object should be
  73 TTM_GLOBAL_TTM_BO, and its size should be sizeof(struct
  74 ttm_bo_global). Again, driver-specific init and release functions may
  75 be provided, likely eventually calling ttm_bo_global_ref_init() and
  76 ttm_bo_global_ref_release(), respectively. Also, like the previous
  77 object, ttm_global_item_ref() is used to create an initial reference
  78 count for the TTM, which will call your initialization function.
  79
  80 See the radeon_ttm.c file for an example of usage.
  81
  82 The Graphics Execution Manager (GEM)
  83 ====================================
  84
  85 The GEM design approach has resulted in a memory manager that doesn't
  86 provide full coverage of all (or even all common) use cases in its
  87 userspace or kernel API. GEM exposes a set of standard memory-related
  88 operations to userspace and a set of helper functions to drivers, and
  89 let drivers implement hardware-specific operations with their own
  90 private API.
  91
  92 The GEM userspace API is described in the `GEM - the Graphics Execution
  93 Manager <http://lwn.net/Articles/283798/>`__ article on LWN. While
  94 slightly outdated, the document provides a good overview of the GEM API
  95 principles. Buffer allocation and read and write operations, described
  96 as part of the common GEM API, are currently implemented using
  97 driver-specific ioctls.
  98
  99 GEM is data-agnostic. It manages abstract buffer objects without knowing
 100 what individual buffers contain. APIs that require knowledge of buffer
 101 contents or purpose, such as buffer allocation or synchronization
 102 primitives, are thus outside of the scope of GEM and must be implemented
 103 using driver-specific ioctls.
 104
 105 On a fundamental level, GEM involves several operations:
 106
 107 -  Memory allocation and freeing
 108 -  Command execution
 109 -  Aperture management at command execution time
 110
 111 Buffer object allocation is relatively straightforward and largely
 112 provided by Linux's shmem layer, which provides memory to back each
 113 object.
 114
 115 Device-specific operations, such as command execution, pinning, buffer
 116 read & write, mapping, and domain ownership transfers are left to
 117 driver-specific ioctls.
 118
 119 GEM Initialization
 120 ------------------
 121
 122 Drivers that use GEM must set the DRIVER_GEM bit in the struct
 123 :c:type:`struct drm_driver <drm_driver>` driver_features
 124 field. The DRM core will then automatically initialize the GEM core
 125 before calling the load operation. Behind the scene, this will create a
 126 DRM Memory Manager object which provides an address space pool for
 127 object allocation.
 128
 129 In a KMS configuration, drivers need to allocate and initialize a
 130 command ring buffer following core GEM initialization if required by the
 131 hardware. UMA devices usually have what is called a "stolen" memory
 132 region, which provides space for the initial framebuffer and large,
 133 contiguous memory regions required by the device. This space is
 134 typically not managed by GEM, and must be initialized separately into
 135 its own DRM MM object.
 136
 137 GEM Objects Creation
 138 --------------------
 139
 140 GEM splits creation of GEM objects and allocation of the memory that
 141 backs them in two distinct operations.
 142
 143 GEM objects are represented by an instance of struct :c:type:`struct
 144 drm_gem_object <drm_gem_object>`. Drivers usually need to
 145 extend GEM objects with private information and thus create a
 146 driver-specific GEM object structure type that embeds an instance of
 147 struct :c:type:`struct drm_gem_object <drm_gem_object>`.
 148
 149 To create a GEM object, a driver allocates memory for an instance of its
 150 specific GEM object type and initializes the embedded struct
 151 :c:type:`struct drm_gem_object <drm_gem_object>` with a call
 152 to drm_gem_object_init(). The function takes a pointer
 153 to the DRM device, a pointer to the GEM object and the buffer object
 154 size in bytes.
 155
 156 GEM uses shmem to allocate anonymous pageable memory.
 157 drm_gem_object_init() will create an shmfs file of the
 158 requested size and store it into the struct :c:type:`struct
 159 drm_gem_object <drm_gem_object>` filp field. The memory is
 160 used as either main storage for the object when the graphics hardware
 161 uses system memory directly or as a backing store otherwise.
 162
 163 Drivers are responsible for the actual physical pages allocation by
 164 calling shmem_read_mapping_page_gfp() for each page.
 165 Note that they can decide to allocate pages when initializing the GEM
 166 object, or to delay allocation until the memory is needed (for instance
 167 when a page fault occurs as a result of a userspace memory access or
 168 when the driver needs to start a DMA transfer involving the memory).
 169
 170 Anonymous pageable memory allocation is not always desired, for instance
 171 when the hardware requires physically contiguous system memory as is
 172 often the case in embedded devices. Drivers can create GEM objects with
 173 no shmfs backing (called private GEM objects) by initializing them with a call
 174 to drm_gem_private_object_init() instead of drm_gem_object_init(). Storage for
 175 private GEM objects must be managed by drivers.
 176
 177 GEM Objects Lifetime
 178 --------------------
 179
 180 All GEM objects are reference-counted by the GEM core. References can be
 181 acquired and release by calling drm_gem_object_get() and drm_gem_object_put()
 182 respectively. The caller must hold the :c:type:`struct drm_device <drm_device>`
 183 struct_mutex lock when calling drm_gem_object_get(). As a convenience, GEM
 184 provides drm_gem_object_put_unlocked() functions that can be called without
 185 holding the lock.
 186
 187 When the last reference to a GEM object is released the GEM core calls
 188 the :c:type:`struct drm_driver <drm_driver>` gem_free_object_unlocked
 189 operation. That operation is mandatory for GEM-enabled drivers and must
 190 free the GEM object and all associated resources.
 191
 192 void (\*gem_free_object) (struct drm_gem_object \*obj); Drivers are
 193 responsible for freeing all GEM object resources. This includes the
 194 resources created by the GEM core, which need to be released with
 195 drm_gem_object_release().
 196
 197 GEM Objects Naming
 198 ------------------
 199
 200 Communication between userspace and the kernel refers to GEM objects
 201 using local handles, global names or, more recently, file descriptors.
 202 All of those are 32-bit integer values; the usual Linux kernel limits
 203 apply to the file descriptors.
 204
 205 GEM handles are local to a DRM file. Applications get a handle to a GEM
 206 object through a driver-specific ioctl, and can use that handle to refer
 207 to the GEM object in other standard or driver-specific ioctls. Closing a
 208 DRM file handle frees all its GEM handles and dereferences the
 209 associated GEM objects.
 210
 211 To create a handle for a GEM object drivers call drm_gem_handle_create(). The
 212 function takes a pointer to the DRM file and the GEM object and returns a
 213 locally unique handle.  When the handle is no longer needed drivers delete it
 214 with a call to drm_gem_handle_delete(). Finally the GEM object associated with a
 215 handle can be retrieved by a call to drm_gem_object_lookup().
 216
 217 Handles don't take ownership of GEM objects, they only take a reference
 218 to the object that will be dropped when the handle is destroyed. To
 219 avoid leaking GEM objects, drivers must make sure they drop the
 220 reference(s) they own (such as the initial reference taken at object
 221 creation time) as appropriate, without any special consideration for the
 222 handle. For example, in the particular case of combined GEM object and
 223 handle creation in the implementation of the dumb_create operation,
 224 drivers must drop the initial reference to the GEM object before
 225 returning the handle.
 226
 227 GEM names are similar in purpose to handles but are not local to DRM
 228 files. They can be passed between processes to reference a GEM object
 229 globally. Names can't be used directly to refer to objects in the DRM
 230 API, applications must convert handles to names and names to handles
 231 using the DRM_IOCTL_GEM_FLINK and DRM_IOCTL_GEM_OPEN ioctls
 232 respectively. The conversion is handled by the DRM core without any
 233 driver-specific support.
 234
 235 GEM also supports buffer sharing with dma-buf file descriptors through
 236 PRIME. GEM-based drivers must use the provided helpers functions to
 237 implement the exporting and importing correctly. See ?. Since sharing
 238 file descriptors is inherently more secure than the easily guessable and
 239 global GEM names it is the preferred buffer sharing mechanism. Sharing
 240 buffers through GEM names is only supported for legacy userspace.
 241 Furthermore PRIME also allows cross-device buffer sharing since it is
 242 based on dma-bufs.
 243
 244 GEM Objects Mapping
 245 -------------------
 246
 247 Because mapping operations are fairly heavyweight GEM favours
 248 read/write-like access to buffers, implemented through driver-specific
 249 ioctls, over mapping buffers to userspace. However, when random access
 250 to the buffer is needed (to perform software rendering for instance),
 251 direct access to the object can be more efficient.
 252
 253 The mmap system call can't be used directly to map GEM objects, as they
 254 don't have their own file handle. Two alternative methods currently
 255 co-exist to map GEM objects to userspace. The first method uses a
 256 driver-specific ioctl to perform the mapping operation, calling
 257 do_mmap() under the hood. This is often considered
 258 dubious, seems to be discouraged for new GEM-enabled drivers, and will
 259 thus not be described here.
 260
 261 The second method uses the mmap system call on the DRM file handle. void
 262 \*mmap(void \*addr, size_t length, int prot, int flags, int fd, off_t
 263 offset); DRM identifies the GEM object to be mapped by a fake offset
 264 passed through the mmap offset argument. Prior to being mapped, a GEM
 265 object must thus be associated with a fake offset. To do so, drivers
 266 must call drm_gem_create_mmap_offset() on the object.
 267
 268 Once allocated, the fake offset value must be passed to the application
 269 in a driver-specific way and can then be used as the mmap offset
 270 argument.
 271
 272 The GEM core provides a helper method drm_gem_mmap() to
 273 handle object mapping. The method can be set directly as the mmap file
 274 operation handler. It will look up the GEM object based on the offset
 275 value and set the VMA operations to the :c:type:`struct drm_driver
 276 <drm_driver>` gem_vm_ops field. Note that drm_gem_mmap() doesn't map memory to
 277 userspace, but relies on the driver-provided fault handler to map pages
 278 individually.
 279
 280 To use drm_gem_mmap(), drivers must fill the struct :c:type:`struct drm_driver
 281 <drm_driver>` gem_vm_ops field with a pointer to VM operations.
 282
 283 The VM operations is a :c:type:`struct vm_operations_struct <vm_operations_struct>`
 284 made up of several fields, the more interesting ones being:
 285
 286 .. code-block:: c
 287
 288         struct vm_operations_struct {
 289                 void (*open)(struct vm_area_struct * area);
 290                 void (*close)(struct vm_area_struct * area);
 291                 vm_fault_t (*fault)(struct vm_fault *vmf);
 292         };
 293
 294
 295 The open and close operations must update the GEM object reference
 296 count. Drivers can use the drm_gem_vm_open() and drm_gem_vm_close() helper
 297 functions directly as open and close handlers.
 298
 299 The fault operation handler is responsible for mapping individual pages
 300 to userspace when a page fault occurs. Depending on the memory
 301 allocation scheme, drivers can allocate pages at fault time, or can
 302 decide to allocate memory for the GEM object at the time the object is
 303 created.
 304
 305 Drivers that want to map the GEM object upfront instead of handling page
 306 faults can implement their own mmap file operation handler.
 307
 308 For platforms without MMU the GEM core provides a helper method
 309 drm_gem_cma_get_unmapped_area(). The mmap() routines will call this to get a
 310 proposed address for the mapping.
 311
 312 To use drm_gem_cma_get_unmapped_area(), drivers must fill the struct
 313 :c:type:`struct file_operations <file_operations>` get_unmapped_area field with
 314 a pointer on drm_gem_cma_get_unmapped_area().
 315
 316 More detailed information about get_unmapped_area can be found in
 317 Documentation/nommu-mmap.txt
 318
 319 Memory Coherency
 320 ----------------
 321
 322 When mapped to the device or used in a command buffer, backing pages for
 323 an object are flushed to memory and marked write combined so as to be
 324 coherent with the GPU. Likewise, if the CPU accesses an object after the
 325 GPU has finished rendering to the object, then the object must be made
 326 coherent with the CPU's view of memory, usually involving GPU cache
 327 flushing of various kinds. This core CPU<->GPU coherency management is
 328 provided by a device-specific ioctl, which evaluates an object's current
 329 domain and performs any necessary flushing or synchronization to put the
 330 object into the desired coherency domain (note that the object may be
 331 busy, i.e. an active render target; in that case, setting the domain
 332 blocks the client and waits for rendering to complete before performing
 333 any necessary flushing operations).
 334
 335 Command Execution
 336 -----------------
 337
 338 Perhaps the most important GEM function for GPU devices is providing a
 339 command execution interface to clients. Client programs construct
 340 command buffers containing references to previously allocated memory
 341 objects, and then submit them to GEM. At that point, GEM takes care to
 342 bind all the objects into the GTT, execute the buffer, and provide
 343 necessary synchronization between clients accessing the same buffers.
 344 This often involves evicting some objects from the GTT and re-binding
 345 others (a fairly expensive operation), and providing relocation support
 346 which hides fixed GTT offsets from clients. Clients must take care not
 347 to submit command buffers that reference more objects than can fit in
 348 the GTT; otherwise, GEM will reject them and no rendering will occur.
 349 Similarly, if several objects in the buffer require fence registers to
 350 be allocated for correct rendering (e.g. 2D blits on pre-965 chips),
 351 care must be taken not to require more fence registers than are
 352 available to the client. Such resource management should be abstracted
 353 from the client in libdrm.
 354
 355 GEM Function Reference
 356 ----------------------
 357
 358 .. kernel-doc:: include/drm/drm_gem.h
 359    :internal:
 360
 361 .. kernel-doc:: drivers/gpu/drm/drm_gem.c
 362    :export:
 363
 364 GEM CMA Helper Functions Reference
 365 ----------------------------------
 366
 367 .. kernel-doc:: drivers/gpu/drm/drm_gem_cma_helper.c
 368    :doc: cma helpers
 369
 370 .. kernel-doc:: include/drm/drm_gem_cma_helper.h
 371    :internal:
 372
 373 .. kernel-doc:: drivers/gpu/drm/drm_gem_cma_helper.c
 374    :export:
 375
 376 GEM VRAM Helper Functions Reference
 377 -----------------------------------
 378
 379 .. kernel-doc:: drivers/gpu/drm/drm_gem_vram_helper.c
 380    :doc: overview
 381
 382 .. kernel-doc:: include/drm/drm_gem_vram_helper.h
 383    :internal:
 384
 385 .. kernel-doc:: drivers/gpu/drm/drm_gem_vram_helper.c
 386    :export:
 387
 388 GEM TTM Helper Functions Reference
 389 -----------------------------------
 390
 391 .. kernel-doc:: drivers/gpu/drm/drm_gem_ttm_helper.c
 392    :doc: overview
 393
 394 .. kernel-doc:: drivers/gpu/drm/drm_gem_ttm_helper.c
 395    :export:
 396
 397 VMA Offset Manager
 398 ==================
 399
 400 .. kernel-doc:: drivers/gpu/drm/drm_vma_manager.c
 401    :doc: vma offset manager
 402
 403 .. kernel-doc:: include/drm/drm_vma_manager.h
 404    :internal:
 405
 406 .. kernel-doc:: drivers/gpu/drm/drm_vma_manager.c
 407    :export:
 408
 409 .. _prime_buffer_sharing:
 410
 411 PRIME Buffer Sharing
 412 ====================
 413
 414 PRIME is the cross device buffer sharing framework in drm, originally
 415 created for the OPTIMUS range of multi-gpu platforms. To userspace PRIME
 416 buffers are dma-buf based file descriptors.
 417
 418 Overview and Lifetime Rules
 419 ---------------------------
 420
 421 .. kernel-doc:: drivers/gpu/drm/drm_prime.c
 422    :doc: overview and lifetime rules
 423
 424 PRIME Helper Functions
 425 ----------------------
 426
 427 .. kernel-doc:: drivers/gpu/drm/drm_prime.c
 428    :doc: PRIME Helpers
 429
 430 PRIME Function References
 431 -------------------------
 432
 433 .. kernel-doc:: include/drm/drm_prime.h
 434    :internal:
 435
 436 .. kernel-doc:: drivers/gpu/drm/drm_prime.c
 437    :export:
 438
 439 DRM MM Range Allocator
 440 ======================
 441
 442 Overview
 443 --------
 444
 445 .. kernel-doc:: drivers/gpu/drm/drm_mm.c
 446    :doc: Overview
 447
 448 LRU Scan/Eviction Support
 449 -------------------------
 450
 451 .. kernel-doc:: drivers/gpu/drm/drm_mm.c
 452    :doc: lru scan roster
 453
 454 DRM MM Range Allocator Function References
 455 ------------------------------------------
 456
 457 .. kernel-doc:: include/drm/drm_mm.h
 458    :internal:
 459
 460 .. kernel-doc:: drivers/gpu/drm/drm_mm.c
 461    :export:
 462
 463 DRM Cache Handling
 464 ==================
 465
 466 .. kernel-doc:: drivers/gpu/drm/drm_cache.c
 467    :export:
 468
 469 DRM Sync Objects
 470 ===========================
 471
 472 .. kernel-doc:: drivers/gpu/drm/drm_syncobj.c
 473    :doc: Overview
 474
 475 .. kernel-doc:: include/drm/drm_syncobj.h
 476    :internal:
 477
 478 .. kernel-doc:: drivers/gpu/drm/drm_syncobj.c
 479    :export:
 480
 481 GPU Scheduler
 482 =============
 483
 484 Overview
 485 --------
 486
 487 .. kernel-doc:: drivers/gpu/drm/scheduler/sched_main.c
 488    :doc: Overview
 489
 490 Scheduler Function References
 491 -----------------------------
 492
 493 .. kernel-doc:: include/drm/gpu_scheduler.h
 494    :internal:
 495
 496 .. kernel-doc:: drivers/gpu/drm/scheduler/sched_main.c
 497    :export: