OSDN Git Service

Merge remote-tracking branch 'toybox/master' into HEAD am: f353b240a5 am: 66859184e5
[android-x86/external-toybox.git] / www / roadmap.html
1 <html><head><title>toybox roadmap</title>
2 <!--#include file="header.html" -->
3 <title>Toybox Roadmap</title>
4
5 <h2>Goals and use cases</h2>
6
7 <p>We have several potential use cases for a new set of command line
8 utilities, and are using those to determine which commands to implement
9 for Toybox's 1.0 release.</p>
10
11 <p>The most interesting standards are POSIX-2008 (also known as the Single
12 Unix Specification version 4) and the Linux Standard Base (version 4.1).
13 The main test harness including toybox in Aboriginal Linux and if that can
14 build itself using the result to build Linux From Scratch (version 6.8).
15 We also aim to replace Android's Toolbox.</p>
16
17 <p>At a secondary level we'd like to meet other use cases. We've analyzed
18 the commands provided by similar projects (klibc, sash, sbase, embutils,
19 nash, and beastiebox), along with various vendor configurations of busybox,
20 and some end user requests.</p>
21
22 <p>Finally, we'd like to provide a good replacement for the Bash shell,
23 which was the first program Linux ever ran and remains the standard shell
24 of Linux no matter what Ubuntu says. This doesn't mean including the full
25 set of Bash 4.x functionality, but does involve {various,features} beyond
26 posix.</p>
27
28 <p>See the <a href=status.html>status page</a> for the combined list
29 and progress towards implementing it.</p>
30
31 <ul>
32 <li><a href=#susv4>POSIX-2008/SUSv4</a></li>
33 <li><a href=#sigh>Linux "Standard" Base</a></li>
34 <li><a href=#dev_env>Development Environment</a></li>
35 <li><a href=#android>Android Toolbox</a></li>
36 <li><a href=#tizen>Tizen Core</a></li>
37 <li>Miscelaneous: <a href=#klibc>klibc</a>, <a href=#glibc>glibc</a>,
38 <a href=#sash>sash</a>, <a href=#sbase>sbase</a>,
39 <a href=#uclinux>uclinux</a>...</li>
40 </ul>
41
42 <hr />
43 <a name="standards">
44 <h2>Use case: standards compliance.</h2>
45
46 <h3><a name=susv4 /><a href="#susv4">POSIX-2008/SUSv4</a></h3>
47 <p>The best standards are the kind that describe reality, rather than
48 attempting to impose a new one.  (I.E. a good standard should document, not
49 legislate.)</p>
50
51 <p>The kind of standards which describe existing reality tend to be approved by
52 more than one standards body, such ANSI and ISO both approving C.  That's why
53 the IEEE POSIX committee's 2008 standard, the Single Unix Specification version
54 4, and the Open Group Base Specification edition 7 are all the same standard
55 from three sources.</p>
56
57 <p>The <a href="http://pubs.opengroup.org/onlinepubs/9699919799/idx/utilities.html">"utilities"
58 section</a>
59 of these standards is devoted to the unix command line, and are the best such
60 standard for our purposes.  (My earlier work on BusyBox was implemented with
61 regard to SUSv3, an earlier version of this standard.)</p>
62
63 <h3>Problems with the standard</h3>
64
65 <p>Unfortunately, these standards describe a subset of reality, lacking any
66 mention of commands such as init, login, or mount required to actually boot a
67 system. It provides ipcrm and ipcs, but not ipcmk, so you can use System V IPC
68 resources but not create them.</p>
69
70 <p>These standards also contain a large number of commands that are
71 inappropriate for toybox to implement in its 1.0 release.  (Perhaps some of
72 these could be reintroduced in later releases, but not now.)</p>
73
74 <p>Starting with the full "utilities" list, we first remove generally obsolete
75 commands (compess ed ex pr uncompress uccp uustat uux), commands for the
76 pre-CVS "SCCS" source control system (admin delta get prs rmdel sact sccs unget
77 val what), fortran support (asa fort77), and batch processing support (batch
78 qalter qdel qhold qmove qmsg qrerun qrls qselect qsig qstat qsub).</p>
79
80 <p>Some commands are for a compiler toolchain (ar c99 cflow ctags cxref gencat
81 iconv lex m4 make nm strings strip tsort yacc), which is outside of toybox's
82 mandate and should be supplied externally.  (Again, some of these may be
83 revisited later, but not for toybox 1.0.)</p>
84
85 <p>Some commands are part of a command shell, and cannot be implemented as
86 separate executables (alias bg cd command fc fg getopts hash jobs kill read
87 type ulimit umask unalias wait).  These may be revisited as part of a built-in
88 toybox shell, but are not exported into $PATH via symlinks.  (If you fork a
89 child process and have it "cd" then exit, you've accomplished nothing.
90 This is not a complete list, a shell also needs exit, if, while, for, case,
91 export, set, unset, trap, exec... And for bash compatability, function and
92 source.)</p>
93
94 <blockquote><b>
95 <span id=shell>
96 alias bg cd command fc fg getopts hash jobs kill read type ulimit umask
97 unalias wait exit if while for case export set unset trap exec function source
98 </span>
99 </b></blockquote>
100
101 <p>A few other commands are judgement calls, providing command-line
102 internationalization support (iconv locale localedef), System V inter-process
103 communication (ipcrm ipcs), and cross-tty communication from the minicomputer
104 days (talk mesg write).  The "pax" utility was supplanted by tar, "mailx" is
105 a command line email client, and "lp" submits files for printing to... what
106 exactly?  (cups?)  The standard defines crontab but not crond.</p>
107
108 <p>Removing all of that leaves the following commands, which toybox should
109 implement:</p>
110
111 <blockquote><b>
112 <span id=posix>
113 at awk basename bc cal cat chgrp chmod chown cksum cmp comm cp
114 csplit cut date dd df diff dirname du echo env expand expr false file find
115 fold fuser getconf grep head id join kill link ln logger logname ls man
116 mkdir mkfifo more mv newgrp nice nl nohup od paste patch pathchk printf ps
117 pwd renice rm rmdir sed sh sleep sort split stty tabs tail tee test time
118 touch tput tr true tty uname unexpand uniq unlink uudecode uuencode vi wc
119 who xargs zcat
120 </span>
121 </b></blockquote>
122
123 <h3><a name=sigh /><a href="#sigh">Linux Standard Base</a></h3>
124
125 <p>One attempt to supplement POSIX towards an actual usable system was the
126 Linux Standard Base. Unfortunately, the quality of this "standard" is
127 fairly low.</p>
128
129 <p>POSIX allowed its standards process to be compromised
130 by leaving things out, thus allowing IBM mainframes and Windows NT to drive
131 a truck through the holes and declare themselves compilant. But it means what
132 they DID standardize tends to be respected (if sometimes obsolete).</p>
133
134 <p>The Linux Standard Base's failure mode is different, they respond to
135 pressure by including special-case crap, such as allowing Red Hat to shoehorn
136 RPM into the standard even though all sorts of distros (Debian, Slackware, Arch,
137 Gentoo) don't use it and probably never will. This means anything in the LSB is
138 at best a suggestion: arbitrary portions of this standard are widely
139 ignored.</p>
140
141 <p>The community perception seems to be that the Linux Standard Base is
142 the best standard money can buy, I.E. the Linux Foundation is supported by
143 financial donations form large companies and the LSB represents the interests
144 of those donors more than technical merit. Debian officially
145 <a href=http://lwn.net/Articles/658809>washed its hands of LSB</a> when 5.0
146 came out in 2015, and no longer even pretends to support it (which may affect
147 Debian derivatives like Ubuntu and Knoppix). Toybox hasn't moved to 5.0 for
148 similar reasons.</p>
149
150 <p>That said, Posix by itself isn't enough, and this is the next most
151 comprehensive standards effort for Linux so far.</p>
152
153 <p>The LSB specifies a <a href=http://refspecs.linuxfoundation.org/LSB_4.1.0/LSB-Core-generic/LSB-Core-generic/cmdbehav.html>list of command line
154 utilities</a>:</p>
155
156 <blockquote><b>
157 ar at awk batch bc chfn chsh col cpio crontab df dmesg du echo egrep 
158 fgrep file fuser gettext grep groupadd groupdel groupmod groups 
159 gunzip gzip hostname install install_initd ipcrm ipcs killall lpr ls 
160 lsb_release m4 md5sum mknod mktemp more mount msgfmt newgrp od passwd 
161 patch pidof remove_initd renice sed sendmail seq sh shutdown su sync 
162 tar umount useradd userdel usermod xargs zcat
163 </b></blockquote>
164
165 <p>Where posix specifies one of those commands, LSB's deltas tend to be
166 accomodations for broken tool versions which aren't up to date with the
167 standard yet. (See <a href=http://refspecs.linuxfoundation.org/LSB_4.1.0/LSB-Core-generic/LSB-Core-generic/more.html>more</a> and <a href=http://refspecs.linuxfoundation.org/LSB_4.1.0/LSB-Core-generic/LSB-Core-generic/xargs.html>xargs</a>
168 for examples.)</p>
169
170 <p>Since we've already committed to using our own judgement to skip bits of
171 POSIX, and LSB's "judgement" in this regard is purely bug workarounds to declare
172 various legacy tool implementations "compliant", this means we're mostly
173 interested in the set of tools that aren't specified in posix at all.</p>
174
175 <p>Of these, gettext and msgfmt are internationalization, install_initd and
176 remove_initd aren't present on ubuntu 10.04, lpr is out of scope, and
177 lsb_release is a distro issue (it's a nice command, but the output of
178 lsb_release -a is the name and version number of the linux distro you're
179 running, which toybox doesn't know).</p>
180
181 <p>This leaves:</p>
182
183 <blockquote><b>
184 <span id=lsb>
185 chfn chsh dmesg egrep fgrep groupadd groupdel groupmod groups
186 gunzip gzip hostname install killall md5sum
187 mknod mktemp mount passwd pidof sendmail seq shutdown
188 su sync tar umount useradd userdel usermod zcat
189 </span>
190 </b></blockquote>
191
192 <hr />
193 <a name="dev_env">
194 <h2><a href="#dev_env">Use case: provide a self-hosting development environment</a></h2>
195
196 <p>The following commands are enough to build the <a href=http://landley.net/aboriginal/about.html>Aboriginal Linux</a> development
197 environment, boot it to a shell prompt, and build <a href=http://www.linuxfromscratch.org/lfs/view/6.8/>Linux From Scratch 6.8</a> under
198 it. (Aboriginal Linux <a href=http://landley.net/aboriginal/history.html>currently uses</a> BusyBox for this, thus providing a
199 drop-in test environment for toybox. We install both implementations side
200 by side, redirecting the symlinks a command at a time until the older
201 package is no longer used, and can be removed.)</p>
202
203 <p>This use case includes running init scripts and other shell scripts, running
204 configure, make, and install in each package, and providing basic command line
205 facilities such as a text editor. (It does not include a compiler toolchain or
206 C library, those are outside the scope of this project.)</p>
207
208 <blockquote><b>
209 <span id=development>
210 bzcat cat cp dirname echo env patch rmdir sha1sum sleep sort sync
211 true uname wc which yes zcat
212 awk basename chmod chown cmp cut date dd diff
213 egrep expr fdisk find grep gzip head hostname id install ln ls
214 mkdir mktemp mv od readlink rm sed sh tail tar touch tr uniq
215 wget whoami xargs chgrp comm gunzip less logname split
216 tee test time bunzip2 chgrp chroot comm cpio dmesg
217 dnsdomainname ftpd ftpget ftpput gunzip ifconfig init less
218 logname losetup mdev mount mountpoint nc pgrep pkill 
219 pwd route split stat switch_root tac umount vi
220 resize2fs tune2fs fsck.ext2 genext2fs mke2fs xzcat
221 </span>
222 </b></blockquote>
223
224 <p>Note: Aboriginal Linux installs bash 2.05b as #!/bin/sh and its scripts
225 require bash extensions not present in shells such as busybox ash.
226 This means that toysh needs to supply several bash extensions _and_ work
227 when called under the name "bash".</p>
228
229 <p>The <a href=http://landley.net/aboriginal>Aboriginal Linux</a>
230 self-bootstrapping build still uses the following busybox commands,
231 not yet supplied by toybox:</p>
232
233 <blockquote><p>
234 awk bunzip2 bzcat dd diff expr fdisk ftpd ftpget
235 ftpput gunzip gzip less ping route sh
236 sha512sum tar test tr unxz vi wget xzcat zcat
237 </p></blockquote>
238
239 <p>Many of those are in "pending". The remaining "difficult"
240 commands are vi, awk, and sh.</p>
241
242 <p>Building Linux From Scratch is not the same as building the
243 <a href=https://source.android.com>Android Open Source Project</a>,
244 but after toybox 1.0 focus may shift to <a href=http://landley.net/aboriginal/about.html#hairball>modifying the AOSP build</a>
245 to reduce dependencies. (It's fairly likely we'll have to add at least
246 a read-only git utility so repo can download the build's source code,
247 but that's actually <a href=https://www.youtube.com/watch?v=P7n6G2IL6eo>not
248 that hard</a>. We'll probably also need our own "make" at some point after
249 1.0.)</p>
250
251 <hr />
252 <h2><a name=android /><a href="#android">Use case: Replacing Android Toolbox</a></h2>
253
254 <p>Android has a policy against GPL in userspace, so even though BusyBox
255 predates Android by many years, they couldn't use it. Instead they grabbed
256 an old version of ash and implemented their own command line utility set
257 called "toolbox". ash was later replaced by
258 <a href="https://www.mirbsd.org/mksh.htm">mksh</a>; toolbox is being
259 replaced by toybox.</p>
260
261 <p>Toolbox doesn't have its own repository, instead it's part of Android's
262 <a href=https://android.googlesource.com/platform/system/core>system/core
263 git repository</a>.</p>
264
265 <h3>Toolbox commands:</h3>
266
267 <p>According to <a href=https://android.googlesource.com/platform/system/core/+/master/toolbox/Android.mk>
268 system/core/toolbox/Android.mk</a> the toolbox directory builds the
269 following commands:</p>
270
271 <blockquote><b>
272 dd getevent newfs_msdos
273 </b></blockquote>
274
275 <p>The toolbox makefile also builds the BSD grep right now, because toybox
276 grep is missing <code>--color</code>.</p>
277
278 <h3>Other Android /system/bin commands</h3>
279
280 <p>Other than the toolbox links, the currently interesting
281 binaries in /system/bin are:</p>
282
283 <ul>
284 <li><b>arping</b> - ARP REQUEST tool (iputils)</li>
285 <li><b>blkid</b> - identify block devices (e2fsprogs)</li>
286 <li><b>e2fsck</b> - fsck for ext2/ext3/ext4 (e2fsprogs)</li>
287 <li><b>fsck.f2fs</b> - fsck for f2fs (f2fs-tools)</li>
288 <li><b>fsck_msdos</b> - fsck for FAT (BSD)</li>
289 <li><b>gzip</b> - compression/decompression tool (zlib)</li>
290 <li><b>ip</b> - network routing tool (iproute2)</li>
291 <li><b>iptables/ip6tables</b> - IPv4/IPv6 NAT admin (iptables)</li>
292 <li><b>iw</b> - wireless device config tool (iw)</li>
293 <li><b>logwrapper</b> - redirect stdio to android log (Android)</li>
294 <li><b>make_ext4fs</b> - make ext4 fs (Android)</li>
295 <li><b>make_f2fs</b> - make f2fs fs (f2fs-tools)</li>
296 <li><b>ping/ping6</b> - ICMP ECHO_REQUEST tool (iputils)</li>
297 <li><b>reboot</b> - reboot (Android)</li>
298 <li><b>resize2fs</b> - resize ext2/ext3/ext4 fs (e2fsprogs)</li>
299 <li><b>sh</b> - mksh (BSD)</li>
300 <li><b>ss</b> - socket statistics (iproute2)</li>
301 <li><b>tc</b> - traffic control (iproute2)</li>
302 <li><b>tracepath/tracepath6</b> - trace network path (iputils)</li>
303 <li><b>traceroute/traceroute6</b> - trace network route (iputils)</li>
304 </ul>
305
306 <p>The names in parentheses are the source.</p>
307
308 <h3>Analysis</h3>
309
310 <p>For reference, combining everything listed above, we get:</p>
311
312 <blockquote><b>
313 arping blkid e2fsck dd fsck.f2fs fsck_msdos getevent gzip ip iptables
314 ip6tables iw logwrapper make_ext4fs make_f2fs newfs_msdos ping ping6
315 reboot resize2fs sh ss tc tracepath tracepath6 traceroute traceroute6
316 </b></blockquote>
317
318 <p>We may eventually implement all of that, but for toybox 1.0 we need to
319 focus a bit. For our first pass, let's just replace all the "toolbox"
320 commands.</p>
321
322 <p>This means toybox should implement (or finish implementing):</p>
323 <blockquote><b>
324 <span id=toolbox>
325 dd getevent grep gzip newfs_msdos
326 </span>
327 </b></blockquote>
328
329 <p>Update: Android.mk is currently building the following toybox files out
330 of "pending". These should be a priority for cleanup (ones marked with *
331 don't have a symlink, so they're a lot less visible):</p>
332
333 <blockquote><b>
334 chrt dd expr getfattr* lsof modprobe more setfattr* tar tr traceroute
335 </b></blockquote>
336
337 <p>Android wishlist:</p>
338
339 <blockquote><b>
340 mtools genvfatfs mke2fs gene2fs
341 </b></blockquote>
342
343 <hr />
344 <h2><a name=tizen /><a href="#tizen">Use case: Tizen Core</a></h2>
345
346 <p>The Tizen project has expressed a desire to eliminate GPLv3 software
347 from its core system, and is installing toybox as
348 <a href=https://wiki.tizen.org/wiki/Toybox>part of this process</a>.</p>
349
350 <p>They have a fairly long list of new commands they'd like to see in toybox:</p>
351
352 <blockquote><b>
353 <span id=tizen>
354 arch base64 users dir vdir unexpand shred join csplit
355 hostid nproc runcon sha224sum sha256sum sha384sum sha512sum sha3sum mkfs.vfat fsck.vfat 
356 dosfslabel uname stdbuf pinky diff3 sdiff zcmp zdiff zegrep zfgrep zless zmore
357 </span>
358 </b></blockquote>
359
360 <p>In addition, they'd like to use several commands currently in pending:</p>
361
362 <blockquote><b>
363 <span id=tizen>
364 tar diff printf wget rsync fdisk vi less tr test stty fold expr dd
365 </span>
366 </b></blockquote>
367
368 <p>Also, tizen uses a different Linux Security Module called SMACK, so
369 many of the SELinux options ala ls -Z need smack alternatives in an
370 if/else setup.</p>
371
372 <hr /><a name=klibc />
373 <h2>klibc:</h2>
374
375 <p>Long ago some kernel developers came up with a project called
376 <a href=http://en.wikipedia.org/wiki/Klibc>klibc</a>.
377 After a decade of development it still has no web page or HOWTO,
378 and nobody's quite sure if the license is BSD or GPL. It inexplicably
379 <a href=http://www.infoworld.com/d/data-center/perl-isnt-going-anywhere-better-or-worse-211580>requires perl to build</a>, and seems like an ideal candidate for
380 replacement.</p>
381
382 <p>In addition to a C library even less capable than bionic (obsoleted by
383 musl), klibc builds a random assortment of executables to run init scripts
384 with. There's no multiplexer command, these are individual executables:</p>
385
386 <blockquote><p><b>
387 cat chroot cpio dd dmesg false fixdep fstype gunzip gzip halt ipconfig kill
388 kinit ln losetup ls minips mkdir mkfifo mknodes
389 mksyntax mount mv nfsmount nuke pivot_root poweroff readlink reboot resume
390 run-init sh sha1hash sleep sync true umount uname zcat
391 </b></p></blockquote>
392
393 <p>To get that list, build klibc according to the instructions (I
394 <a href=http://landley.net/notes-2013.html#23-01-2013>looked at</a> version
395 2.0.2 and did cd klibc-*; ln -s /output/of/kernel/make/headers_install
396 linux; make) then <b>echo $(for i in $(find . -type f); do file $i | grep -q
397 executable && basename $i; done | grep -v '[.]g$' | sort -u)</b> to find
398 executables, then eliminate the *.so files and *.shared duplicates.</p>
399
400 <p>Some of those binaries are build-time tools that don't get installed,
401 which removes mknodes, mksyntax, sha1hash, and fixdep from the list.
402 (And sha1hash is just an unpolished sha1sum anyway.)</p>
403
404 <p>The run-init command is more commonly called switch_root, nuke is just
405 "rm -rf -- $@", and minips is more commonly called "ps". I'm not doing aliases
406 for the oddball names.</p>
407
408 <p>Yet more stale forks of dash and gzip sucked in here (see "dubious
409 license terms" above), adding nothing to the other projects we've looked at.
410 But we still need sh, gunzip, gzip, and zcat to replace this package.</p>
411
412 <p>At the time I did the initial analysis toybox already had cat, chroot, dmesg, false,
413 kill, ln, losetup, ls, mkdir, mkfifo, readlink, rm, switch_root, sleep, sync,
414 true, and uname.</p>
415
416 <p>The low hanging fruit is cpio, dd, ps, mv, and pivot_root.</p>
417
418 <p>The "kinit" command is another gratuitous rename, it's init running as PID 1.
419 The halt, poweroff, and reboot commands work with it.</p>
420
421 <p>I've got mount and umount queued up already, fstype and nfsmount go with
422 those. (And probably smbmount and p9mount, but this hasn't got one. Those
423 are all about querying for login credentials, probably workable into the
424 base mount command.)</p>
425
426 <p>The ipconfig command here has a built in dhcp client, so it's ifconfig
427 and dhcpcd and maybe some other stuff.</p>
428
429 <p>The resume command is... weird. It finds a swap partition and reads data
430 from it into a /proc file, something the kernel is capable of doing itself.
431 (Even though the klibc author
432 <a href=http://www.zytor.com/pipermail/klibc/2006-June/001748.html>attempted
433 to remove</a> that capability from the kernel, current kernel/power/hibernate.c
434 still parses "resume=" on the command line). And yet various distros seem to
435 make use of klibc for this.
436 Given the history of swsusp/hibernate (and 
437 <a href=http://lwn.net/Articles/333007>TuxOnIce</a>
438 and <a href=http://lwn.net/Articles/242107>kexec jump</a>) I've lost track
439 of the current state of the art here. Ah, Documentation/power/userland-swsusp.txt
440 has the API docs, and <a href=http://suspend.sf.net>here's a better
441 tool</a>...</p>
442
443 <p>So the list of things actually in klibc are:</p>
444
445 <blockquote><b>
446 <span id=klibc_cmd>
447 cat chroot dmesg false kill ln losetup ls mkdir mkfifo readlink rm switch_root
448 sleep sync true uname
449
450 cpio dd ps mv pivot_root
451 mount nfsmount fstype umount
452 sh gunzip gzip zcat
453 kinit halt poweroff reboot
454 ipconfig
455 resume
456 </span>
457 </b></blockquote>
458
459 <hr />
460 <a name=glibc />
461 <h2>glibc</h2>
462
463 <p>Rather a lot of command line utilities come bundled with glibc:</p>
464
465 <blockquote><b>
466 catchsegv getconf getent iconv iconvconfig ldconfig ldd locale localedef
467 mtrace nscd rpcent rpcinfo tzselect zdump zic
468 </b></blockquote>
469
470 <p>Of those, musl libc only implements ldd.</p>
471
472 <p>catchsegv is a rudimentary debugger, probably out of scope for toybox.</p>
473
474 <p>iconv has been <a href="#susv4">previously discussed</a>.</p>
475
476 <p>iconvconfig is only relevant if iconv is user-configurable; musl uses a
477 non-configurable iconv.</p>
478
479 <p>getconf is a posix utility which displays several variables from 
480 unistd.h; it probably belongs in the development toolchain.</p>
481
482 <p>getent handles retrieving entries from passwd-style databases
483 (in a rather lame way) and is trivially replacable by grep.</p>
484
485 <p>locale was discussed under <a href=#susv4>posix</a>.
486 localedef compiles locale definitions, which musl currently does not use.</p>
487
488 <p>mtrace is a perl script to use the malloc debugging that glibc has built-in;
489 this is not relevant for musl, and would necessarily vary with libc. </p>
490
491 <p>nscd is a name service caching daemon, which is not yet relevant for musl.
492 rpcinfo and rpcent are related to rpc, which musl does not include.</p>
493
494 <p>The remaining commands involve glibc's bundled timezone database,
495 which seems to be derived from the <a href=http://www.iana.org/time-zones>IANA
496 timezone database</a>. Unless we want to maintain our own fork of the
497 standards body's database like glibc does, these are of no interest,
498 but for completeness:</p>
499
500 <p>tzselect outputs a TZ variable correponding to user input. 
501 The documentation does not indicate how to use it in a script, but it seems
502 that Debian may have done so.
503 zdump prints current time in each of several timezones, optionally
504 outputting a great deal of extra information about each timezone.
505 zic converts a description of a timezone to a file in tz format.</p>
506
507 <p>None of glibc's bundled commands are currently of interest to toybox.</p>
508
509 </b></blockquote>
510
511 <hr />
512 <a name=sash />
513 <h2>Stand-Alone Shell</h2>
514
515 <p>Wikipedia has <a href=http://en.wikipedia.org/wiki/Stand-alone_shell>a good
516 summary of sash</a>, with links. The original Stand-Alone Shell project reached
517 a stopping point, and then <a href=http://www.baiti.net/sash>"sash plus
518 patches"</a> extended it a bit further. The result is a megabyte executable
519 that provides 40 commands.</p>
520
521 <p>Sash is a shell with built-in commands. It doesn't have a multiplexer
522 command, meaning "sash ls -l" doesn't work (you have to go "sash -c 'ls -l'").
523 </p>
524
525 <p>The list of commands can be obtained via building it and doing
526 "echo help | ./sash | awk '{print $1}' | sed 's/^-//' | xargs echo", which
527 gives us:</p>
528
529 <blockquote><b>
530 alias aliasall ar cd chattr chgrp chmod chown cmp cp chroot dd echo ed exec
531 exit file find grep gunzip gzip help kill losetup losetup ln ls lsattr mkdir
532 mknod more mount mv pivot_root printenv prompt pwd quit rm rmdir setenv source
533 sum sync tar touch umask umount unalias where
534 </b></blockquote>
535
536 <p>Plus sh because it's a shell. A dozen or so commands can only sanely be
537 implemented as shell builtins (alias aliasall cd exec exit prompt quit setenv
538 source umask unalias), where is an alias for which, and at triage time toybox
539 already has chgrp, chmod, chown, cmp, cp, chroot, echo, help, kill, losetup,
540 ln, ls, mkdir, mknod, printenv, pwd, rm, rmdir, sync, and touch.</p>
541
542 <p>This leaves:</p>
543
544 <blockquote><b>
545 <span id=sash_cmd>
546 ar chattr dd ed file find grep gunzip gzip lsattr more mount mv pivot_root
547 sh sum tar umount
548 </span>
549 </b></blockquote>
550
551 <p>(For once, this project doesn't include a fork of gzip, instead
552 it sucks in -lz from the host.)</p>
553
554 <hr />
555 <a name=sbase />
556 <h2>sbase:</h2>
557
558 <p>It's <a href=http://git.suckless.org/sbase>on suckless</a> in
559 <a href=http://git.suckless.org/ubase>two parts</a>. As of November 2015 it's
560 implemented the following (renaming "cron" to "crond" for
561 consistency, and yanking "sponge", "mesg", "pagesize", "respawn", and
562 "vtallow"):</p>
563
564 <blockquote><p>
565 <span id=sbase_cmd>
566 basename cal cat chgrp chmod chown chroot cksum cmp cols comm cp crond cut date
567 dirname du echo env expand expr false find flock fold getconf grep head
568 hostname join kill link ln logger logname ls md5sum mkdir mkfifo mktemp mv
569 nice nl nohup od paste printenv printf pwd readlink renice rm rmdir sed seq
570 setsid sha1sum sha256sum sha512sum sleep sort split strings sync tail
571 tar tee test tftp time touch tr true tty uname unexpand uniq unlink uudecode
572 uuencode wc which xargs yes
573 </span>
574 </p></blockquote>
575
576 <p>and<p>
577
578 <blockquote><p>
579 <span id=sbase_cmd>
580 chvt clear dd df dmesg eject fallocate free id login mknod mountpoint
581 passwd pidof ps stat su truncate unshare uptime watch
582 who
583 </span>
584 </p></blockquote>
585
586 <hr />
587 <a name=nash />
588 <h2>nash:</h2>
589
590 <p>Red Hat's nash was part of its "mkinitrd" package, replacement for a shell
591 and utilities on the boot floppy back in the 1990's (the same general idea
592 as BusyBox, developed independently). Red Hat discontinued nash development
593 in 2010, replacing it with dracut (which collects together existing packages,
594 including busybox).</p>
595
596 <p>I couldn't figure out how to beat source code out of
597 <a href=http://pkgs.fedoraproject.org/git/mkinitrd>Fedora's current git</a>
598 repository. The last release version that used it was Fedora Core 12
599 which has <a href=http://archive.fedoraproject.org/pub/archive/fedora/linux/releases/12/Fedora/source/SRPMS/mkinitrd-6.0.93-1.fc12.src.rpm>a source rpm</a>
600 that can be unwound with "rpm2cpio mkinitrd.src.rpm | cpio -i -d -H newc
601 --no-absolute-filenames" and in there is a mkinitrd-6.0.93.tar.bz2 which
602 has the source.</p>
603
604 <p>In addition to being a bit like a command shell, the nash man page lists the
605 following commands:</p>
606
607 <blockquote><p>
608 access echo find losetup mkdevices mkdir mknod mkdmnod mkrootdev mount
609 pivot_root readlink raidautorun setquiet showlabels sleep switchroot umount
610 </p></blockquote>
611
612 <p>Oddly, the only occurrence of the string pivot_root in the nash source code
613 is in the man page, the command isn't there. (It seems to have been removed
614 when the underscoreless switchroot went in.)</p>
615
616 <p>A more complete list seems to be the handlers[] array in nash.c:</p>
617
618 <blockquote><p>
619 access buildEnv cat cond cp daemonize dm echo exec exit find kernelopt
620 loadDrivers loadpolicy mkchardevs mkblktab mkblkdevs mkdir mkdmnod mknod
621 mkrootdev mount netname network null plymouth hotplug killplug losetup
622 ln ls raidautorun readlink resume resolveDevice rmparts setDeviceEnv
623 setquiet setuproot showelfinterp showlabels sleep stabilized status switchroot
624 umount waitdev
625 </p></blockquote>
626
627 <p>This list is nuts: "plymouth" is an alias for "null" which is basically
628 "true" (which thie above list doesn't have). Things like buildEnv and
629 loadDrivers are bespoke Red Hat behavior that might as well be hardwired in
630 to nash's main() without being called.</p>
631
632 <p>Instead of eliminating items
633 from the list with an explanation for each, I'm just going to cherry pick
634 a few: the device mapper (dm, raidautorun) is probably interesting,
635 hotplug (may be obsolete due to kernel changes that now load firmware
636 directly), and another "resume" ala klibc.</p>
637
638 <p>But mostly: I don't care about this one. And neither does Red Hat anymore.</p>
639
640 <p>Verdict: ignore</p>
641
642 <hr />
643 <a name=beastiebox />
644 <h2>Beastiebox</h2>
645
646 <p>Back in 2008, the BSD guys vented some busybox-envy
647 <a href=http://beastiebox.sourceforge.net>on sourceforge</a>. Then stopped.
648 Their repository is still in CVS, hasn't been touched in years, it's a giant
649 hairball of existing code sucked together. (The web page says the author
650 is aware of crunchgen, but decided to do this by hand anyway. This is not
651 a collection of new code, it's a katamari of existing code rolled up in a
652 ball.)</p>
653
654 <p>Combining the set of commands listed on the web page with the set of
655 man pages in the source gives us:</P>
656
657 <blockquote><p>
658 [ cat chmod cp csh date df disklabel dmesg echo ex fdisk fsck fsck_ffs getty
659 halt hostname ifconfig init kill less lesskey ln login ls lv mksh more mount
660 mount_ffs mv pfctl ping poweroff ps reboot rm route sed sh stty sysctl tar test
661 traceroute umount vi wiconfig
662 </p></blockquote>
663
664 <p>Apparently lv is the missing link between ed and vi, copyright 1982-1997 (do
665 not want), ex is another obsolete vi mode, lesskey is "used to
666 specify a set of key bindings to be used with less", and csh is a shell they
667 sucked in (even though they have mksh?), [ is an alias for test. Several more bsd-isms that don't have Linux
668 equivalents (even in the ubuntu "install this package" search) are
669 disklabel, fsck_ffs, mount_ffs, and pfctl. And wiconfig is a
670 wavelan interface network card driver utility. Subtracting all that and the
671 commands toybox already implements at triage time, we get:</p>
672
673 <blockquote><p>
674 <span id=beastiebox_cmd>
675 fdisk fsck getty halt ifconfig init kill less more mount mv ping poweroff
676 ps reboot route sed sh stty sysctl tar test traceroute umount vi
677 </span>
678 </p></blockquote>
679
680 <p>Not a hugely interesting list, but eh.</p>
681
682 <p>Verdict: ignore</p>
683
684 <hr />
685 <a name=BsdBox />
686 <h2>BsdBox</h2>
687
688 <p>Somebody decided to do a <a href=https://wiki.freebsd.org/AdrianChadd/BsdBox>multicall binary for freebsd</a>.</p>
689
690 <p>They based it on crunchgen, a tool that glues existing programs together
691 into an archive and uses the name to execute the right one. It has no
692 simplification or code sharing benefits whatsoever, it's basically an
693 archiver that produces executables.</p>
694
695 <p>That's about where I stopped reading.</p>
696
697 <p>Verdict: ignore.</p>
698
699 <hr />
700 <a name=slowaris />
701 <h2>OpenSolaris Busybox</h2>
702
703 <p>Somebody <a href=http://hub.opensolaris.org/bin/view/Project+busybox/>wrote
704 a wiki page</a> saying that Busybox for OpenSolaris would be a good idea.</p>
705
706 <p>The corresponding "files" tab is an auto-generated stub. The project never
707 even got as far as suggesting commands to include before Oracle discontinued
708 OpenSolaris.</p>
709
710 <p>Verdict: ignore.</p>
711
712 <hr />
713 <a name=uclinux />
714 <h2>uClinux</h2>
715
716 <p>Long ago a hardware developer named Jeff Dionne put together a
717 nommu Linux distribution, which involved rewriting a lot of command line
718 utilities that relied on <a href=http://nommu.org/memory-faq.txt>features
719 unavailable on nommu</a> hardware.</p>
720
721 <p>In 2003 Jeff moved to Japan and handed
722 the project off to people who allowed it to roll to a stop. The website
723 turned into a mess of 404 links, the navigation indexes stopped being
724 updated over a decade ago, and the project's CVS repository suffered a
725 hard drive failure for which there were no backups. The project continued
726 to put out "releases" through 2014 (you have to scroll down in the "news"
727 section to find them, the "HTTP download" section in the nav bar on the
728 left hasn't been updated in over a decade), which were hand-updated tarball
729 snapshots mostly consisting of software from the 1990's. For example the
730 2014 release still contained ipfwadm, the package which predated ipchains,
731 which predated iptables, which is in the process of being replaced by
732 nftables.</p>
733
734 <p>Nevertheless, people still try to use this because (at least until the
735 launch of <a href=http://nommu.org>nommu.org</a>) the project was viewed
736 as the place to discuss, develop, and learn about nommu Linux.
737 The role of uclinux.org as an educational resource kept people coming
738 to it long after it had collapsed as a Linux distro.</p>
739
740 <p>Starting around 0.6.0 toybox began to address nommu support with the goal
741 of putting uClinux out of its misery.</p>
742
743 <p>An analysis of <a href=http://www.uclinux.org/pub/uClinux/dist/uClinux-dist-20140504.tar.bz2>uClinux-dist-20140504</a> found 312 package
744 subdirectories under "user".</p>
745
746 <h3>Taking out the trash</h3>
747
748 <p>A bunch of packages (<b>inotify-tools, input-event-demon, ipsec-tools, netifd,
749 keepalived, mobile-broadband-provider-info, nuttp, readline, snort,
750 snort-barnyard, socat, sqlite, sysklogd, sysstat, tcl, ubus, uci, udev,
751 unionfs, uqmi, usb_modeswitch, usbutils, util-linux</b>)
752 are hard to evaluate because
753 uclinux has directories for them, but their source isn't actually in the
754 uclinux tree. In some of these the makefiles download a git repo during
755 the build, so I'm assuming you can build the external package if you really
756 care. (Even when I know what these packages do, I'm skipping them
757 because uclinux doesn't actually contain them, and any given snapshot
758 of the build system will bitrot as external web links change over time.)</p>
759
760 <p>Other packages are orphaned, meaning they're not mentioned from any Kconfig
761 or Makefiles outside of their directory, so uclinux can't actually build
762 them: <b>mbus</b> is an orphaned i2c test program expecting to run in some sort
763 of hardwired hardware context, <b>mkeccbin</b> is an orphaned "ECC annotated
764 binary file" generator (meaning it's half of a flash writer),
765 <b>wsc_upnp</b> is a "Ralink WPS" driver (some sort of stale wifi chip)...</p>
766
767 <p>The majority of the remaining packages are probably not of interest to
768 toybox due to being so obsolete or special purpose they may not actually be
769 of interest to anybody anymore. (This list also includes a lot of
770 special-purpose network back-end stuff that's hard for anybody but
771 datacenter admins to evaluate the current relevance of.)</p>
772
773 <blockquote><b><p>
774 arj asterisk boottools bpalogin br2684ctl camserv can4linux cgi_generic
775 cgihtml clamav clamsmtp conntrack-tools cramfs crypto-tools cxxtest
776 ddns3-client de2ts-cal debug demo diald discard dnsmasq dnsmasq2
777 ethattach expat-examples ez-ipupdate fakeidentd
778 fconfig ferret flatfs flthdr freeradius freeswan frob-led frox fswcert
779 game gettyd gnugk haserl horch
780 hostap hping httptunnel ifattach ipchains
781 ipfwadm ipmasqadm ipportfw ipredir ipset iso_client
782 jamvm jffs-tools jpegview jquery-ui kendin-config kismet klaxon kmod
783 l2tpd lcd ledcmd ledcon lha lilo lirc lissa load loattach
784 lpr lrpstat lrzsz mail mbus mgetty microwin ModemManager msntp musicbox
785 nooom null openswan openvpn palmbot pam_* pcmcia-cs playrt plugdaemon pop3proxy
786 potrace qspitest quagga radauth
787 ramimage readprofile rdate readprofile routed rrdtool rtc-ds1302
788 sendip ser sethdlc setmac setserial sgutool sigs siproxd slattach
789 smtpclient snmpd net-snmp snortrules speedtouch squashfs scep sslwrap stp
790 stunnel tcpblast tcpdump tcpwrappers threaddemos tinylogin tinyproxy
791 tpt tripwire unrar unzoo version vpnled w3cam xl2tpd zebra
792 </p></b></blockquote>
793     
794 <p>This stuff is all over the place: arj, lha, rar, and zoo are DOS archivers,
795 ethattach describes itself as just "a network tool",
796 mail is a textmode smtp mailer literally described as "Some kind of mail
797 proggy" in uclinux's kconfig (as opposed to clamsmtp and smtpclient and
798 so on), this gettyd isn't a generic version but specifically a
799 hardwired ppp dialin utility, mgetty isn't a generic version but is combined
800 with "sendfax", hostap is an intersil prism driver, wlan-ng is also an
801 intersil prism dirver, null is a program to intentionally dereference a
802 null pointer (in case you needed one), iso_client is a
803 "Demo Application for the USB Device Driver", kendin-config is
804 "for configuring the Micrel Kendin KS8995M over QSPI", speedtouch configures
805 a specific brand of asdl modem, portmap is part of Anfs,
806 ferret, linux-igd, and miniupnp are all upnp packages,
807 lanbypass "can be used to control the LAN
808 bypass switches on the Advantech x86 based hardware platforms", lcd is
809 "test of lcddma device driver" (an out-of-tree Coldfire driver apparently
810 lost to history, the uclinux linux-2.4.x directory has a config symbol for
811 it, but nothing in the code actually _uses_ it...), qspitest is another
812 coldfire thing, mii-tool-fec is
813 "strictly for the FEC Ethernet driver as implemented (and modified) for
814 the uCdimm5272", rtc-ds1302 and rtc-m41t11 are usermode drivers for specific
815 clock chips, stunnel is basically "openssl s_client -quiet -connect",
816 potrace is a bitmap to vector graphic converter, radauth performs command line
817 authentication against a radius server,
818 clamav, klaxon, ferret, l7-protocols, and nessus are very old network security
819 software (it's got a stale snapshot of nmap too), xl2tpd is a PPP over UDP
820 tunnel (rfc 2661), zebra is the package quagga replaced,
821 lilo is the x86-only bootloader that predated grub (and recently discontinued
822 development), lissa is a "framebuffer graphics demo" from
823 1998, the squashfs package here is the out of tree patches for 2.4 kernels
824 and such before the filesystem was merged upstream (as opposed to the
825 squashfs-new package which is a snapshot of the userspace tool from 2011),
826 load is basically "dd file /dev/spi", version is basically "cat /proc/version",
827 microwin is a port of the WinCE graphics API to Linux, scep is a 2003
828 implementation of an IETF draft abandoned in 2010, tpt depends on
829 Andrew Morton's 15 year old unmerged "timepegs" kernel patch using the pentium
830 cycle counter, vpnled controls a light that reboots systems (what?),
831 w3cam is a video4linux 1.0 client (v4l2 showed up during 2.5 and support for
832 the old v4l1 was removed in 2.6.38 back in 2011), busybox ate tinylogin
833 over a decade ago, lrpstat is a java network monitor
834 from 2001, lrzsz is zmodem/ymodem/zmodem, msntp and stp implement rfc2030
835 meaning it overflows in 2036 (the package was last updated in 2000), rdate
836 is rfc 868 meaning it also overflows in 2036 (which is why ntp was invented
837 a few decades back), reiserfsprogs development stopped abruptly after
838 Hans Reiser was convicted of murdering his wife Nina (denying it on the
839 stand and then leading them to the body as part of his plea bargain during
840 sentencing)...
841 </p>
842
843 <p>Seriously, there's a lot of crap in there. It's hard to analyze most
844 of it far enough to prove it _doesn't_ do anything.</p>
845
846 <h3>Non-toybox programs</h3>
847
848 <p>The following software may actually still do something intelligible
849 (although the package versions tend to be years out of date), but
850 it's not a direction toybox has chosen to go in.</p>
851
852 <p>There are several programming languages (<b>bash, lua, jamvm, tinytcl,
853 perl, python</b>) in there. Maybe someone somewhere wants a 2008 release of a
854 java virtual machine tested to work on nommu systems (jamvm), but it's out
855 of scope for toybox.</p>
856
857 <p>A bunch of benchmark programs: <b>cpu, dhrystone, mathtest, nbench, netperf,
858 netpipe, and whetstone</b>.</p>
859
860 <p>A bunch of web servers: <b>appWeb, boa, fnord (via tcpserver), goahead, httpd,
861 mini_httpd, and thttpd</b>.</p>
862
863 <p>A bunch of shells: <b>msh</b> is a clever (I.E. obfuscated) little shell,
864 <b>nwsh</b> is "new shell" (that's what it called itself in 1999 anyway),
865 <b>sash</b> is another shell with a bunch of builtins (ls, ps, df, cp, date, reboot,
866 and shutdown, this roadmap analyzes it <a href="#sash">elsewhere</a>),
867 <b>sh</b> is a very old minix shell fork, and <b>tcsh</b> is also a shell.</p>
868
869 <p>Also in this category, we have:</p>
870
871 <blockquote><b><p>
872 dropbear jffs-tools jpegview kexec-tools bind ctorrent
873 iperf iproute2 ip-sentinel iptables kexec
874 nmap oggplay openssl oprofile p7zip pppd pptp play vplay
875 hdparm mp3play at clock
876 mtd-utils mysql logrotate brcfg bridge-utils flashw
877 ebtables etherwake ethtool expect gdb gdbserver hostapd
878 lm_sensors load netflash netstat-nat
879 radvd recover rootloader resolveip rp-pppoe
880 rsyslog rsyslogd samba smbmount squashfs-new squid ssh strace tip
881 uboot-envtools ulogd usbhubctrl vconfig vixie-cron watchdogd
882 wireless_tools wpa_supplicant
883 </p></b></blockquote>
884
885 <p>An awful lot of those are borderline: play and vplay are wav file
886 audio players, there's oprofile _and_ readprofile (which just reads kernel
887 profiling data from /proc/profile),
888 radvd is a "routr advertisement daemon" (ipv6 stateless autoconf),
889 ctorrent is a bittorent client, 
890 lm_sensors is hardware (heat?) monitoring,
891 resolveip is dig only less so,
892 rp-pppoe is ppp over ethernet,
893 ebtables is an ethernet version of iptables (for bridging),
894 their dropbear is from 2012, and that ssh version is from 2011
895 (which means it's about nine months too _old_ to have the heartbleed bug).
896 There's both ulogd and ulogd2 (no idea why), and pppd is version 2.4 but
897 there's a ppd-2.3 directory also.</p>
898
899 <p>Lots of flash stuff:
900 flashw is a flash writer, load is an spi flash loader, netflash writes
901 to flash via tftp,
902 recover is also a reflash daemon intended to come up when the system can't boot,
903 rootloader seems to be another reflash daemon but without dhcp.</p>
904
905 <h3>Already in roadmap</h3>
906
907 <p>The following packages contain commands already in the toybox roadmap:</p>
908
909 <blockquote><b><p>
910 agetty cal cksum cron dhcpcd dhcpcd-new dhcpd dhcp-isc dosfstools e2fsprogs
911 elvis-tiny levee fdisk fileutils ftp ftpd grep hd hwclock inetd init ntp
912 iputils login module-init-tools netcat shutils ntpdate lspci ping procps
913 proftpd rsync shadow shutils stty sysutils telnet telnetd tftp tftpd traceroute
914 unzip wget mawk net-tools
915 </p></b></blockquote>
916
917 <p>There are some duplicates in there, levee is a tiny vi implementation
918 like elvis-tiny, ntp and ntpdate overlap, etc.</p>
919
920 <p>Verdict: We don't really need to do a whole lot special for nommu
921 systems, just get the existing toybox roadmap working on nommu and
922 we're good. The uClinux project can rest in peace.</p>
923
924 <hr />
925 <h2>Requests:</h2>
926
927 <p>The following additional commands have been requested (and often submitted)
928 by various users. I _really_ need to clean up this section.</p>
929
930 <p>Also:</p>
931 <blockquote><b>
932 <span id=request>
933 dig freeramdisk getty halt hexdump hwclock klogd modprobe ping ping6 pivot_root
934 poweroff readahead rev sfdisk sudo syslogd taskset telnet telnetd tracepath
935 traceroute unzip usleep vconfig zip free login modinfo unshare netcat help w
936 ntpd iwconfig iwlist rdate
937 dos2unix unix2dos catv clear
938 pmap realpath setsid timeout truncate
939 mkswap swapon swapoff
940 count oneit fstype
941 acpi blkid eject pwdx
942 sulogin rfkill bootchartd
943 arp makedevs sysctl killall5 crond crontab deluser last mkpasswd watch
944 blockdev rpm2cpio arping brctl dumpleases fsck
945 tcpsvd tftpd
946 factor fallocate fsfreeze inotifyd lspci nbd-client partprobe strings
947 base64 mix
948 reset hexedit nsenter shred
949 fsync insmod ionice lsmod lsusb rmmod vmstat xxd iotop
950 lsof ionice compress dhcp dhcpd addgroup delgroup host iconv ip
951 ipcrm ipcs netstat openvt
952 deallocvt iorenice
953 udpsvd adduser
954 microcom tunctl chrt getfattr setfattr
955 </span>
956 </b></blockquote>
957
958 <!-- #include "footer.html" -->
959