Documentation/remoteproc.txt

   1 Remote Processor Framework
   2
   3 1. Introduction
   4
   5 Modern SoCs typically have heterogeneous remote processor devices in asymmetric
   6 multiprocessing (AMP) configurations, which may be running different instances
   7 of operating system, whether it's Linux or any other flavor of real-time OS.
   8
   9 OMAP4, for example, has dual Cortex-A9, dual Cortex-M3 and a C64x+ DSP.
  10 In a typical configuration, the dual cortex-A9 is running Linux in a SMP
  11 configuration, and each of the other three cores (two M3 cores and a DSP)
  12 is running its own instance of RTOS in an AMP configuration.
  13
  14 The remoteproc framework allows different platforms/architectures to
  15 control (power on, load firmware, power off) those remote processors while
  16 abstracting the hardware differences, so the entire driver doesn't need to be
  17 duplicated. In addition, this framework also adds rpmsg virtio devices
  18 for remote processors that supports this kind of communication. This way,
  19 platform-specific remoteproc drivers only need to provide a few low-level
  20 handlers, and then all rpmsg drivers will then just work
  21 (for more information about the virtio-based rpmsg bus and its drivers,
  22 please read Documentation/rpmsg.txt).
  23 Registration of other types of virtio devices is now also possible. Firmwares
  24 just need to publish what kind of virtio devices do they support, and then
  25 remoteproc will add those devices. This makes it possible to reuse the
  26 existing virtio drivers with remote processor backends at a minimal development
  27 cost.
  28
  29 2. User API
  30
  31   int rproc_boot(struct rproc *rproc)
  32     - Boot a remote processor (i.e. load its firmware, power it on, ...).
  33       If the remote processor is already powered on, this function immediately
  34       returns (successfully).
  35       Returns 0 on success, and an appropriate error value otherwise.
  36       Note: to use this function you should already have a valid rproc
  37       handle. There are several ways to achieve that cleanly (devres, pdata,
  38       the way remoteproc_rpmsg.c does this, or, if this becomes prevalent, we
  39       might also consider using dev_archdata for this).
  40
  41   void rproc_shutdown(struct rproc *rproc)
  42     - Power off a remote processor (previously booted with rproc_boot()).
  43       In case @rproc is still being used by an additional user(s), then
  44       this function will just decrement the power refcount and exit,
  45       without really powering off the device.
  46       Every call to rproc_boot() must (eventually) be accompanied by a call
  47       to rproc_shutdown(). Calling rproc_shutdown() redundantly is a bug.
  48       Notes:
  49       - we're not decrementing the rproc's refcount, only the power refcount.
  50         which means that the @rproc handle stays valid even after
  51         rproc_shutdown() returns, and users can still use it with a subsequent
  52         rproc_boot(), if needed.
  53
  54   struct rproc *rproc_get_by_phandle(phandle phandle)
  55     - Find an rproc handle using a device tree phandle. Returns the rproc
  56       handle on success, and NULL on failure. This function increments
  57       the remote processor's refcount, so always use rproc_put() to
  58       decrement it back once rproc isn't needed anymore.
  59
  60 3. Typical usage
  61
  62 #include <linux/remoteproc.h>
  63
  64 /* in case we were given a valid 'rproc' handle */
  65 int dummy_rproc_example(struct rproc *my_rproc)
  66 {
  67         int ret;
  68
  69         /* let's power on and boot our remote processor */
  70         ret = rproc_boot(my_rproc);
  71         if (ret) {
  72                 /*
  73                  * something went wrong. handle it and leave.
  74                  */
  75         }
  76
  77         /*
  78          * our remote processor is now powered on... give it some work
  79          */
  80
  81         /* let's shut it down now */
  82         rproc_shutdown(my_rproc);
  83 }
  84
  85 4. API for implementors
  86
  87   struct rproc *rproc_alloc(struct device *dev, const char *name,
  88                                 const struct rproc_ops *ops,
  89                                 const char *firmware, int len)
  90     - Allocate a new remote processor handle, but don't register
  91       it yet. Required parameters are the underlying device, the
  92       name of this remote processor, platform-specific ops handlers,
  93       the name of the firmware to boot this rproc with, and the
  94       length of private data needed by the allocating rproc driver (in bytes).
  95
  96       This function should be used by rproc implementations during
  97       initialization of the remote processor.
  98       After creating an rproc handle using this function, and when ready,
  99       implementations should then call rproc_add() to complete
 100       the registration of the remote processor.
 101       On success, the new rproc is returned, and on failure, NULL.
 102
 103       Note: _never_ directly deallocate @rproc, even if it was not registered
 104       yet. Instead, when you need to unroll rproc_alloc(), use rproc_put().
 105
 106   void rproc_put(struct rproc *rproc)
 107     - Free an rproc handle that was allocated by rproc_alloc.
 108       This function essentially unrolls rproc_alloc(), by decrementing the
 109       rproc's refcount. It doesn't directly free rproc; that would happen
 110       only if there are no other references to rproc and its refcount now
 111       dropped to zero.
 112
 113   int rproc_add(struct rproc *rproc)
 114     - Register @rproc with the remoteproc framework, after it has been
 115       allocated with rproc_alloc().
 116       This is called by the platform-specific rproc implementation, whenever
 117       a new remote processor device is probed.
 118       Returns 0 on success and an appropriate error code otherwise.
 119       Note: this function initiates an asynchronous firmware loading
 120       context, which will look for virtio devices supported by the rproc's
 121       firmware.
 122       If found, those virtio devices will be created and added, so as a result
 123       of registering this remote processor, additional virtio drivers might get
 124       probed.
 125
 126   int rproc_del(struct rproc *rproc)
 127     - Unroll rproc_add().
 128       This function should be called when the platform specific rproc
 129       implementation decides to remove the rproc device. it should
 130       _only_ be called if a previous invocation of rproc_add()
 131       has completed successfully.
 132
 133       After rproc_del() returns, @rproc is still valid, and its
 134       last refcount should be decremented by calling rproc_put().
 135
 136       Returns 0 on success and -EINVAL if @rproc isn't valid.
 137
 138   void rproc_report_crash(struct rproc *rproc, enum rproc_crash_type type)
 139     - Report a crash in a remoteproc
 140       This function must be called every time a crash is detected by the
 141       platform specific rproc implementation. This should not be called from a
 142       non-remoteproc driver. This function can be called from atomic/interrupt
 143       context.
 144
 145 5. Implementation callbacks
 146
 147 These callbacks should be provided by platform-specific remoteproc
 148 drivers:
 149
 150 /**
 151  * struct rproc_ops - platform-specific device handlers
 152  * @start:      power on the device and boot it
 153  * @stop:       power off the device
 154  * @kick:       kick a virtqueue (virtqueue id given as a parameter)
 155  */
 156 struct rproc_ops {
 157         int (*start)(struct rproc *rproc);
 158         int (*stop)(struct rproc *rproc);
 159         void (*kick)(struct rproc *rproc, int vqid);
 160 };
 161
 162 Every remoteproc implementation should at least provide the ->start and ->stop
 163 handlers. If rpmsg/virtio functionality is also desired, then the ->kick handler
 164 should be provided as well.
 165
 166 The ->start() handler takes an rproc handle and should then power on the
 167 device and boot it (use rproc->priv to access platform-specific private data).
 168 The boot address, in case needed, can be found in rproc->bootaddr (remoteproc
 169 core puts there the ELF entry point).
 170 On success, 0 should be returned, and on failure, an appropriate error code.
 171
 172 The ->stop() handler takes an rproc handle and powers the device down.
 173 On success, 0 is returned, and on failure, an appropriate error code.
 174
 175 The ->kick() handler takes an rproc handle, and an index of a virtqueue
 176 where new message was placed in. Implementations should interrupt the remote
 177 processor and let it know it has pending messages. Notifying remote processors
 178 the exact virtqueue index to look in is optional: it is easy (and not
 179 too expensive) to go through the existing virtqueues and look for new buffers
 180 in the used rings.
 181
 182 6. Binary Firmware Structure
 183
 184 At this point remoteproc only supports ELF32 firmware binaries. However,
 185 it is quite expected that other platforms/devices which we'd want to
 186 support with this framework will be based on different binary formats.
 187
 188 When those use cases show up, we will have to decouple the binary format
 189 from the framework core, so we can support several binary formats without
 190 duplicating common code.
 191
 192 When the firmware is parsed, its various segments are loaded to memory
 193 according to the specified device address (might be a physical address
 194 if the remote processor is accessing memory directly).
 195
 196 In addition to the standard ELF segments, most remote processors would
 197 also include a special section which we call "the resource table".
 198
 199 The resource table contains system resources that the remote processor
 200 requires before it should be powered on, such as allocation of physically
 201 contiguous memory, or iommu mapping of certain on-chip peripherals.
 202 Remotecore will only power up the device after all the resource table's
 203 requirement are met.
 204
 205 In addition to system resources, the resource table may also contain
 206 resource entries that publish the existence of supported features
 207 or configurations by the remote processor, such as trace buffers and
 208 supported virtio devices (and their configurations).
 209
 210 The resource table begins with this header:
 211
 212 /**
 213  * struct resource_table - firmware resource table header
 214  * @ver: version number
 215  * @num: number of resource entries
 216  * @reserved: reserved (must be zero)
 217  * @offset: array of offsets pointing at the various resource entries
 218  *
 219  * The header of the resource table, as expressed by this structure,
 220  * contains a version number (should we need to change this format in the
 221  * future), the number of available resource entries, and their offsets
 222  * in the table.
 223  */
 224 struct resource_table {
 225         u32 ver;
 226         u32 num;
 227         u32 reserved[2];
 228         u32 offset[0];
 229 } __packed;
 230
 231 Immediately following this header are the resource entries themselves,
 232 each of which begins with the following resource entry header:
 233
 234 /**
 235  * struct fw_rsc_hdr - firmware resource entry header
 236  * @type: resource type
 237  * @data: resource data
 238  *
 239  * Every resource entry begins with a 'struct fw_rsc_hdr' header providing
 240  * its @type. The content of the entry itself will immediately follow
 241  * this header, and it should be parsed according to the resource type.
 242  */
 243 struct fw_rsc_hdr {
 244         u32 type;
 245         u8 data[0];
 246 } __packed;
 247
 248 Some resources entries are mere announcements, where the host is informed
 249 of specific remoteproc configuration. Other entries require the host to
 250 do something (e.g. allocate a system resource). Sometimes a negotiation
 251 is expected, where the firmware requests a resource, and once allocated,
 252 the host should provide back its details (e.g. address of an allocated
 253 memory region).
 254
 255 Here are the various resource types that are currently supported:
 256
 257 /**
 258  * enum fw_resource_type - types of resource entries
 259  *
 260  * @RSC_CARVEOUT:   request for allocation of a physically contiguous
 261  *                  memory region.
 262  * @RSC_DEVMEM:     request to iommu_map a memory-based peripheral.
 263  * @RSC_TRACE:      announces the availability of a trace buffer into which
 264  *                  the remote processor will be writing logs.
 265  * @RSC_VDEV:       declare support for a virtio device, and serve as its
 266  *                  virtio header.
 267  * @RSC_LAST:       just keep this one at the end
 268  *
 269  * Please note that these values are used as indices to the rproc_handle_rsc
 270  * lookup table, so please keep them sane. Moreover, @RSC_LAST is used to
 271  * check the validity of an index before the lookup table is accessed, so
 272  * please update it as needed.
 273  */
 274 enum fw_resource_type {
 275         RSC_CARVEOUT    = 0,
 276         RSC_DEVMEM      = 1,
 277         RSC_TRACE       = 2,
 278         RSC_VDEV        = 3,
 279         RSC_LAST        = 4,
 280 };
 281
 282 For more details regarding a specific resource type, please see its
 283 dedicated structure in include/linux/remoteproc.h.
 284
 285 We also expect that platform-specific resource entries will show up
 286 at some point. When that happens, we could easily add a new RSC_PLATFORM
 287 type, and hand those resources to the platform-specific rproc driver to handle.
 288
 289 7. Virtio and remoteproc
 290
 291 The firmware should provide remoteproc information about virtio devices
 292 that it supports, and their configurations: a RSC_VDEV resource entry
 293 should specify the virtio device id (as in virtio_ids.h), virtio features,
 294 virtio config space, vrings information, etc.
 295
 296 When a new remote processor is registered, the remoteproc framework
 297 will look for its resource table and will register the virtio devices
 298 it supports. A firmware may support any number of virtio devices, and
 299 of any type (a single remote processor can also easily support several
 300 rpmsg virtio devices this way, if desired).
 301
 302 Of course, RSC_VDEV resource entries are only good enough for static
 303 allocation of virtio devices. Dynamic allocations will also be made possible
 304 using the rpmsg bus (similar to how we already do dynamic allocations of
 305 rpmsg channels; read more about it in rpmsg.txt).