Documentation/cciss.txt

   1 This driver is for Compaq's SMART Array Controllers.
   2
   3 Supported Cards:
   4 ----------------
   5
   6 This driver is known to work with the following cards:
   7
   8         * SA 5300
   9         * SA 5i
  10         * SA 532
  11         * SA 5312
  12         * SA 641
  13         * SA 642
  14         * SA 6400
  15         * SA 6400 U320 Expansion Module
  16         * SA 6i
  17         * SA 6422
  18         * SA V100
  19
  20 If nodes are not already created in the /dev/cciss directory
  21
  22 # mkdev.cciss [ctlrs]
  23
  24 Where ctlrs is the number of controllers you have (defaults to 1 if not
  25 specified).
  26
  27 Device Naming:
  28 --------------
  29
  30 You need some entries in /dev for the cciss device.  The mkdev.cciss script
  31 can make device nodes for you automatically.  Currently the device setup
  32 is as follows:
  33
  34 Major numbers:
  35         104     cciss0
  36         105     cciss1
  37         106     cciss2
  38         etc...
  39
  40 Minor numbers:
  41         b7 b6 b5 b4 b3 b2 b1 b0
  42         |----+----| |----+----|
  43              |           |
  44              |           +-------- Partition ID (0=wholedev, 1-15 partition)
  45              |
  46              +-------------------- Logical Volume number
  47
  48 The suggested device naming scheme is:
  49 /dev/cciss/c0d0                 Controller 0, disk 0, whole device
  50 /dev/cciss/c0d0p1               Controller 0, disk 0, partition 1
  51 /dev/cciss/c0d0p2               Controller 0, disk 0, partition 2
  52 /dev/cciss/c0d0p3               Controller 0, disk 0, partition 3
  53
  54 /dev/cciss/c1d1                 Controller 1, disk 1, whole device
  55 /dev/cciss/c1d1p1               Controller 1, disk 1, partition 1
  56 /dev/cciss/c1d1p2               Controller 1, disk 1, partition 2
  57 /dev/cciss/c1d1p3               Controller 1, disk 1, partition 3
  58
  59 Support for more than 8 controllers
  60 -----------------------------------
  61 Originally the driver only supports 8 controllers in the system,
  62 and this is due to the major numbers assigned to the driver
  63 (104 thru 111).
  64
  65 The driver can now support up to 32 controllers in the system.
  66
  67 For the ninth controller and beyond, the major numbers will be
  68 assigned dynamically by the kernel when it is discovered,
  69 and there is no guarantee what the major number you will get,
  70 but most likely it will start from 254 and goes down from there.
  71
  72 You can check the assigned major numbers by typing
  73         cat /proc/devices
  74 And look for cciss controllers
  75
  76 Once you have this, you need to create device nodes in
  77 /dev/cciss directory. The nodes for the first 8 controllers
  78 should already be created by mkdev.cciss script or
  79 /etc/makedev.d/cciss script. You can add the major number(s)
  80 in those scripts, or create the nodes manually by using
  81 the mknod command.
  82
  83 You can also use mknod_dyn.cciss and rmnod_dyn.cciss scripts
  84 to create or remove nodes easily. These scripts can be found
  85 in the Documentation directory.
  86
  87 Then you can mount the devices and create partitions
  88 (You also need to make nodes for these partitions).
  89
  90 As for the minor number, the disk device will have a minor
  91 number divisible by 16 (e.g: 0, 16, 32 etc), and the
  92 partitions on those disk devices will have the minor number
  93 of the disk device plus the partition number (1-15).
  94 For example, disk d2 will have minor number 32, and its
  95 partitions 1 and 2 will have minor numbers 33 and 34.
  96
  97 Look at the mkdev.cciss script for example.
  98
  99 Note:
 100  In 2.4 kernel, partition names are hard coded in
 101  /usr/src/linux/fs/partitions/check.c
 102  and only for the first 8 cciss controllers. The rest
 103  will be reported as ccissXX. This should not affect
 104  I/O operation or performance. Please apply the
 105  cciss_2.4_partition_name.patch to address this. This
 106  will not be an issue under 2.5 kernel, since partition
 107  names will be handled by the driver.
 108
 109 SCSI tape drive and medium changer support
 110 ------------------------------------------
 111
 112 SCSI sequential access devices and medium changer devices are supported and
 113 appropriate device nodes are automatically created.  (e.g.
 114 /dev/st0, /dev/st1, etc.  See the "st" man page for more details.)
 115 You must enable "SCSI tape drive support for Smart Array 5xxx" and
 116 "SCSI support" in your kernel configuration to be able to use SCSI
 117 tape drives with your Smart Array 5xxx controller.
 118
 119 Additionally, note that the driver will not engage the SCSI core at init
 120 time.  The driver must be directed to dynamically engage the SCSI core via
 121 the /proc filesystem entry which the "block" side of the driver creates as
 122 /proc/driver/cciss/cciss* at runtime.  This is because at driver init time,
 123 the SCSI core may not yet be initialized (because the driver is a block
 124 driver) and attempting to register it with the SCSI core in such a case
 125 would cause a hang.  This is best done via an initialization script
 126 (typically in /etc/init.d, but could vary depending on distibution).
 127 For example:
 128
 129         for x in /proc/driver/cciss/cciss[0-9]*
 130         do
 131                 echo "engage scsi" > $x
 132         done
 133
 134 Once the SCSI core is engaged by the driver, it cannot be disengaged
 135 (except by unloading the driver, if it happens to be linked as a module.)
 136
 137 Note also that if no sequential access devices or medium changers are
 138 detected, the SCSI core will not be engaged by the action of the above
 139 script.
 140
 141 Hot plug support for SCSI tape drives
 142 -------------------------------------
 143
 144 Hot plugging of SCSI tape drives is supported, with some caveats.
 145 The cciss driver must be informed that changes to the SCSI bus
 146 have been made, in addition to and prior to informing the SCSI
 147 mid layer.  This may be done via the /proc filesystem.  For example:
 148
 149         echo "rescan" > /proc/scsi/cciss0/1
 150
 151 This causes the adapter to query the adapter about changes to the
 152 physical SCSI buses and/or fibre channel arbitrated loop and the
 153 driver to make note of any new or removed sequential access devices
 154 or medium changers.  The driver will output messages indicating what
 155 devices have been added or removed and the controller, bus, target and
 156 lun used to address the device.  Once this is done, the SCSI mid layer
 157 can be informed of changes to the virtual SCSI bus which the driver
 158 presents to it in the usual way. For example:
 159
 160         echo scsi add-single-device 3 2 1 0 > /proc/scsi/scsi
 161
 162 to add a device on controller 3, bus 2, target 1, lun 0.   Note that
 163 the driver makes an effort to preserve the devices positions
 164 in the virtual SCSI bus, so if you are only moving tape drives
 165 around on the same adapter and not adding or removing tape drives
 166 from the adapter, informing the SCSI mid layer may not be necessary.
 167
 168 Note that the naming convention of the /proc filesystem entries
 169 contains a number in addition to the driver name.  (E.g. "cciss0"
 170 instead of just "cciss" which you might expect.)   This is because
 171 of changes to the 2.4 kernel PCI interface related to PCI hot plug
 172 that imply the driver must register with the SCSI mid layer once per
 173 adapter instance rather than once per driver.
 174
 175 Note: ONLY sequential access devices and medium changers are presented
 176 as SCSI devices to the SCSI mid layer by the cciss driver.  Specifically,
 177 physical SCSI disk drives are NOT presented to the SCSI mid layer.  The
 178 physical SCSI disk drives are controlled directly by the array controller
 179 hardware and it is important to prevent the OS from attempting to directly
 180 access these devices too, as if the array controller were merely a SCSI
 181 controller in the same way that we are allowing it to access SCSI tape drives.
 182
 183 Monitor Threads
 184 ---------------
 185
 186 For multipath configurations (acheived via a higher level driver, such
 187 as the "md" driver) it is important that failure of a controller is detected.
 188 Ordinarily, the driver is entirely interrupt driven.  If a failure occurs
 189 in such a way that the processor cannot receive interrupts from an adapter,
 190 the driver will wait forever for i/o's to complete.  In a multipath
 191 configuration this is undesirable, as the md driver relies on i/o's being
 192 reported as failed by the low level driver to trigger failing over to an
 193 alternate controller.  The monitor threads allow the driver to detect such
 194 situations and report outstanding i/o's as having failed so that recovery
 195 actions such switching to an alternate controller can occur.  The monitor
 196 threads periodically sends a trivial "no-operation" command down to
 197 the controllers and expect them to complete within a a reasonable (short)
 198 time period.  The firmware on the adapter is designed such that no matter
 199 how busy the adapter is serving i/o, it can respond quickly to a
 200 "no-operation" command.  In the event that a deadline elapses before a no
 201 operation command completes, all outstanding commands on that controller
 202 are reported back to the upper layers as having failed, and any new commands
 203 sent to the controller are immediately reported back as failed.
 204
 205 To enable the monitor threads, the compile time option must be enabled
 206 (via the usual linux kernel configuration) and the monitor thread must
 207 be enabled at runtime as well.  A system may have many adapters, but
 208 perhaps only a single pair operating in a multipath configuration.
 209 In this way, it is possible to run monitoring threads only for those
 210 adapters which require it.
 211
 212 To start a monitoring thread on the first cciss adapter, "cciss0" with
 213 a polling interval of 30 seconds, execute the following command:
 214
 215         echo "monitor 30" > /proc/driver/cciss/cciss0
 216
 217 To change the polling interval, to say, 60 seconds:
 218
 219         echo "monitor 60" > /proc/driver/cciss/cciss0
 220
 221 (Note, the change will not take effect until the previous polling
 222 interval elapses.)
 223
 224 To disable the monitoring thread, set the polling interval to 0 seconds:
 225
 226         echo "monitor 0" > /proc/driver/cciss/cciss0
 227
 228 (Again, the monitoring thread will not exit until the previous polling
 229 interval elapses.)
 230
 231 The minimum monitoring period is 10 seconds, and the maximum monitoring
 232 period is 3600 seconds (1 hour).  The no-operation command must complete
 233 with 5 seconds of submission in all cases or the controller will be presumed
 234 failed.