www/news.html

   1 <html><head><title>toybox news</title>
   2 <!--#include file="header.html" -->
   3
   4 <p>Toybox combines common Linux command line utilities together
   5 into a single BSD-licensed executable that's simple, small, fast,
   6 reasonably standards-compliant, and powerful enough to turn Android into
   7 a development environment. See the links on the left for details.</p>
   8
   9 <h2>News</h2>
  10
  11 <a name="23-07-2015" /><a href="#23-07-2015"><hr><h2><b>July 23, 2015</b></h2></a>
  12 <p>I recreated the <a href=downloads/toybox-0.6.0.tar.gz>0.6.0 source tarball</a>
  13 (new sha1sum 08fb1c23f520c25a15f262a8a95ea5b676a98d54)
  14 because I forgot to add --prefix to the git archive command when I updated
  15 my release script from mercurial, so the files weren't in an enclosing
  16 directory. (Ooops.)</p>
  17
  18 <a name="19-07-2015" /><a href="#19-07-2015"><hr><h2><b>July 19, 2015</b></h2></a>
  19 <blockquote><p>
  20 The reason why it was published in the form of a micro sub meson electronic
  21 component is that if it were printed in normal book form, an interstellar
  22 hitchhiker would require several inconveniently large buildings to carry it
  23 around in." - The Hitchhiker's Guide to the Galaxy </p></blockquote>
  24
  25 <p><a href=downloads/toybox-0.6.0.tar.gz>Toybox 0.6.0</a>
  26 (<a href=https://github.com/landley/toybox/releases/tag/0.6.0>git commit</a>)
  27 is out. (Yes, git. See the <a href=#05-04-2015>previous news entry</a>.)</p>
  28
  29 <p>Sorry for the unusually long gap between releases. Since last release Ye
  30 Olde Project Maintainer traveled to japan twice and had two more "once
  31 a century" floods at home. (Probably a coincidence.) Still catching up.</p>
  32
  33 <h3><b>CELF/ELC talk and Wikipedia[citation needed] article</b></h3>
  34
  35 <p>I gave another State Of The Toybox talk
  36 (<a href=https://www.youtube.com/watch?v=04XwAbtPmAg>video</a>
  37 <a href=http://landley.net/talks/celf-2015.txt>outline</a>), in which I
  38 repeat my <a href=http://landley.net/notes-2013.html#07-11-2013>perennial</a>
  39 <a href=https://twitter.com/landley/status/557309224535851009>complaint</a>
  40 that Wikipedia[citation needed]
  41 <a href=http://en.wikipedia.org/wiki/Toybox>still</a>
  42 <a href=https://en.wikipedia.org/wiki/BusyBox#Controversy_over_Toybox>says</a>
  43 toybox was relicensed before its hiatus, when relicensing was why
  44 the hiatus ended.</p>
  45
  46 <p>Since Wikipedia[citation needed] seems unable to do the
  47 <a href=#15-11-2011>most</a>
  48 <a href=http://landley.net/hg/toybox/log/tip/LICENSE>basic</a>
  49 <a href=http://landley.net/notes-2011.html#13-11-2011>research</a> on
  50 this point, and has stuck to an incorrect sequence of events for years,
  51 I've been gradually escalating my attempts to correct them. Toybox
  52 came out of mothballs in November 2011 <b>because</b> it could be
  53 relicensed. That's what opened up a new niche busybox wasn't already
  54 filling with a 10 year headstart.</p>
  55
  56 <a name="asterisk_back" />
  57 <p>The article has plenty of smaller issues<a href=#asterisk>*</a>, but
  58 given that I gave an entire talk at Ohio LinuxFest in 2013
  59 (<a href=http://landley.net/talks/ohio-2013.txt>outline</a>,
  60 <a href=https://archive.org/download/OhioLinuxfest2013/24-Rob_Landley-The_Rise_and_Fall_of_Copyleft.mp3>audio</a>) on why I switched away from GPL for
  61 my projects, that one bugs me.</p>
  62
  63 <h3><b>New stuff this release</b></h3>
  64
  65 <p>There's a new android menu in menuconfig, and rather a lot of Linux
  66 Security Module support (Smack for Tizen from Xavier Roche and José Bollo,
  67 and SELinux for Android from Elliott Hughes; see
  68 the Security Blanket menu under global settings in menuconfig) has
  69 trickled in, although there's still more to come.</p>
  70
  71 <p><b>New commands:</b> Added reset, nproc, ionice, and iorenice.
  72 Elliott Hughes contributed xxd, runcon,
  73 restorecon, load_policy, getenforce, setenforce, getprop, and setprop.
  74 Promoted shred, nsenter, and hwclock.</p>
  75
  76 <p>You can once again build catv now the flag infrastructure's been updated to
  77 let it coexist with cat -v.
  78 And on a long plane flight I wrote
  79 hexedit, an interactive hex editor that implements the start of
  80 cursor control infrastructure (for eventual use by less and vi and shell
  81 command history and so on).</p>
  82
  83 <p><b>New options:</b> Added sed -E as a BSD-compatible synonym for -r.
  84 Upgraded oneit with -r (restart), -3 (send exiting PID values to child),
  85 and signal handling. Added -v option to timeout, -m to mknod, -u to shred,
  86 -t to dmesg, and -123 to head and tail. Added implicit "." to grep -r without
  87 any files to work on. Hyejin Kim requested prefix support for truncate -s.
  88 Greg Hackman added -inum to find.
  89 Jan Cybulski added the smack side of ls -Z support. Various patches also
  90 added -Z to mkdir, mknod, and mkfifo.
  91 Basic cp --preserve support went in, but not yet the xattr/LSM parts.</p>
  92
  93 <p>The toybox command now has a --version option,
  94 which uses "git describe" if available.</p>
  95
  96 <p><b>Build infrastructure:</b>
  97 The "make change" target now saves the output of each failed standalone
  98 command build in a .bad file, and "make defconfig" is quieter now.</p>
  99
 100 <p>Paul Barker submitted a large patch changing command install paths so
 101 "toybox can be installed alongside busybox without confusing
 102 update-alternatives". (There's some argument over
 103 what the right paths should be, and I'm waiting for
 104 people to tell me what else needs fixing because I have no idea. I've
 105 been symlinking /bin to /usr/bin since 2002
 106 <a href=http://landley.net/writing/hackermonthly-issue022-pg33.pdf>for
 107 historical reasons</a>.)</p>
 108
 109 <p><b>Docs:</b> The repository link now goes to github, with another link
 110 to the commit rss feed.</p>
 111
 112 <p>Elliott Hughes updated the Android section of the roadmap
 113 (and he would know). Redid bits of scripts/mkstatus.py to make updating
 114 status.html easier, and the README is larger.</p>
 115
 116 <p>More description of option parsing in code.html, which now describes the
 117 FLAG_x macros, switching flag macro sets with FOR_newcommand, how
 118 configuration zeroes flag macros and using FORCE_FLAGS to suppress the
 119 zeroing of options shared between commands. Also added description of ";"
 120 to make --longopts take an optional =value part, and more about TOYBOX_DEBUG
 121 to check NEWTOY() option strings (otherwise a bad option string makes
 122 lib/args.c obviously segfault, but doesn't explain why).</p>
 123
 124 <p>Added a "Why 0BSD?" section to license.html when submitting zero clause bsd
 125 to SPDX (according to the pending license spreadsheet, it's been approved for
 126 SPDX 2.2).</p>
 127
 128 <p>The old list of commands needing cleanup but not in pending was
 129 removed from toys/pending/README and instead the issues were added
 130 as TODO comments in the individual commands.</p>
 131
 132 <p><b>Bugfixes:</b>
 133 Fixed mount -a segfaulting without -O (reported by Janus Troelsen),
 134 and made it try a "become rw" ioctl() on the block device before falling
 135 back to mounting read only (because Android expects that).
 136 Fixed printf -- and printf ---. Lots of tweaks to ls -l spacing with
 137 different options. Make touch -d and -t actually set time when you don't
 138 specify nanoseconds.
 139 Fixed a subtle bug where recursive calls (toybox commands that run other
 140 toybox commands) weren't resetting all their state. (This manifested as
 141 a "no }" error from "find | xargs sed", but could cause other problems.)
 142 And David Halls reported another sed bug trying to compile libiconv (which
 143 left extra \ at the start of lines in a generated shell script, breaking
 144 the build). Output an error message for "cat /mnt".</p>
 145
 146 <p>Kylie McClain reported that mktemp broke when $TMPDIR was set to an empty
 147 string (which is not the same as unset), that install/find didn't support
 148 numeric uid/gids, and that sort -z affects both input and output.
 149 Isabella Parakiss fixed a printf.c bug.
 150 David Halls fixed bugs in install -D and find -exec. Samuel Holland
 151 fixed unshare -r. Hyejin Kim fixed makedevs with a count of 1, fold -w
 152 range checking, an error path in scripts/mkflags.c, added -i to dhcpd,
 153 and stopped su from prompting the root user for the new user's password.
 154 Jan Cybulski spotted wrong indentation when combining ls -s and -i with -C and
 155 -x. José Bollo fixed stat %G. Sameer Pradhan fixed a bug in mkfifo -Z.</p>
 156
 157 <p>Elliott Hughes asked for a default SIGPIPE handler to disable
 158 the signal handler bionic's dynamic loader installs (yes really). Still not
 159 100% sure what the correct behavior is there. (Posix is
 160 (<a href=http://permalink.gmane.org/gmane.comp.standards.posix.austin.general/10915>actively unhelpful</a>, but at least they're taking
 161 <a href=http://austingroupbugs.net/view.php?id=789#c1976>years to
 162 make up their mind</a>. Elliott also sent patches to fix a typo in
 163 useradd.test, add missing arguments to error_exit() calls and clean up
 164 printf() format strings, fix an off by one error in human_readable(),
 165 fix dmesg -c error reporting, fix a segfault in comma_scan where the option
 166 was the last item in optlist (triggered by mount -o ro,remount), fix
 167 hwclock -w, made ifconfig print lowercase MAC addresses (it was bothering
 168 him), and make terminal_size() read the right environment variable
 169 (LINES, not ROWS). And he suggested the test suite notice high command exit
 170 values (corresponding to segfault or other signals).</p>
 171
 172 <p>People are apparently using toys/pending commands, despite the police tape
 173 and flashing lights, so added louder warnings to toys/pending/README.
 174 Elliott Hughes fixed various problems with tar, dd, more, and top.
 175 Hyejin Kim cleaned up syslogd and dumpleases. Isaac Dunham added hotplug
 176 support to mdev. Yeongdeok Suh added RFC-3315 ipv6 support to dhcpd.</p>
 177
 178 <p>I rewrote ps.c from scratch (in pending), but it's not ready for real use
 179 yet.</p>
 180
 181 <p><b>Portability:</b>
 182 On the portability front Bernhard Rosenkranzer fixed a problem where the
 183 menuconfig code wouldn't compile in C99 mode. (This led to me documenting
 184 the craptacular nature of kconfig in a README, and the plan to replace it
 185 sometime before 1.0.) Some extra flags to shut up overzealous llvm warnings
 186 were added (and have to be probed for because gcc complains about
 187 arguments it doesn't recognize even when they switch stuff _off_ using
 188 a standard syntax). Don't depend on malloc(0) to return non-null in ls.
 189 David Halls fixed some mac/ios portability issues,
 190 implying somebody's built at least part of toybox on a mac.</p>
 191
 192 <p>Added basename_r() to lib/lib.c because the posix semantics for basename()
 193 are stupid but what the gnu guys did to it was appalling.
 194 Turns out bionic already had a basename_r(), but posix still doesn't.
 195 Fixed it up in portability.h, but this
 196 could break more stuff in future. (Correct fix is to lobby posix to add it,
 197 which would probably take about 15 years...)</p>
 198
 199 <p><b>Infrastructure:</b>
 200 The build now checks $LDFLAGS for linker-only flags, and allows the strip
 201 command to fail (binflt toolchains provide a strip that doesn't work).
 202 Since time.c uses floating point, added TOYBOX_FLOAT dependency in config.</p>
 203
 204 <p>There's a lib/lsm.h defining varous inline functions for linux
 205 security modules stuff, if (lsm_enabled()) should turn into a compile-time
 206 constant 0 and let code drop out when TOYBOX_LSM_NONE selected, but
 207 testing against CFG_TOYBOX_LSM_NONE or derived symbols is still useful
 208 becuase when it _is_ enabled the probe turns into a system call you
 209 don't want to repeat too much.</p>
 210
 211 <p>Switched a bunch of commands from signal() to xsignal(). Factored out
 212 xgetgrnamid() and xgetpwnamid() into xwrap.c. Make time.c depend on
 213 TOYBOX_FLOAT (since it always uses float so shouldn't be available on
 214 build targets without even software float). Added readfileat() to lib/lib.c.</p>
 215
 216 <p>The dirtree infrastructure now passes in full flags for the old symlink
 217 field, and the new DIRTREE_SHUTUP flag disables warnings if a file vanishes
 218 out from under you during traverse. New dirtree_start() wrapper to
 219 create dirtree root with only two arguments.</p>
 220
 221 <p>The not-curses infrastructure introduced by hexedit mostly moved to
 222 lib/interestingtimes.c.</p>
 223
 224 <a name="asterisk" />
 225 <a href="#asterisk_back" />Asterisk:</a> such when
 226 Tim contacted me (my blog says a couple days before nov 13, 2011, I.E.
 227 11/11/11 not some specific day 2 months later) to ask if I wanted to work
 228 on a new project he was proposing called
 229 <a href=http://www.elinux.org/Busybox_replacement_project>BentoBox</a>
 230 (because I used to do busybox, he'd forgotten toybox existed
 231 until I brought it up). And don't ask me what "focuses not on compatibility
 232 with its GNU counterparts" means when CP_MORE adds 7 non-posix options
 233 and toys/other has 84 commands in neither posix nor LSB. I think they're
 234 struggling to explain the difference having dismissed "licensing" as being
 235 the reason it started up again after a long hiatus? The reason I don't think
 236 GNU is special is there are a half-dozen other independent
 237 implementations of the same unix command tools out there (AT&amp;T,
 238 BSD, Coherent, Minix, plan 9, busybox, toybox, and several more analyzed in
 239 the <a href=roadmap.html>roadmap</a>, and that's ignoring the implementations
 240 written for DOS or in assembly over the years). But I do care what
 241 Linux From Scratch expects, and if it's
 242 <a href=http://archive.linuxfromscratch.org/lfs-museum/7.6/LFS-BOOK-7.6-NOCHUNKS.html#ch-tools-gcc-pass1>calling mv -v</a>
 243 then I impelement mv -v
 244 even if <a href=http://landley.net/toybox/roadmap.html>posix hasn't got
 245 it</a>. And I don't know why "gnu counterparts" would describe this when
 246 util-linux isn't a gnu package, nor are info-zip, e2fsprogs, kmod, less,
 247 procps, shadow, sysklogd, vim, zlib, sudo, dhcpcd...</p>
 248
 249 <a name="05-04-2015" /><a href="#05-04-2015"><hr><h2><b>April 5, 2015</b></h2></a>
 250 <p>Since <a href=https://android.googlesource.com/platform/external/toybox/>android</a> and
 251 <a href=https://git.tizen.org/cgit/platform/upstream/toybox.git>tizen</a>
 252 and <a href=https://github.com/kraj/meta-musl/tree/master/recipes-core/toybox>openembedded</a>
 253 and <a href=https://packages.gentoo.org/package/sys-apps/toybox>gentoo</a>
 254 and so on have all been using Georgi Chorbadzhiyski's git mirror rather
 255 than the mercurial repository, I bit the bullet and switched the project's repo
 256 <a href=https://github.com/landley/toybox>to git</a>. Georgi's
 257 <a href=https://github.com/gfto/toybox>mirror</a> is now pulling from that.</p>
 258
 259 <a name="25-02-2015" /><a href="#25-02-2015"><hr><h2><b>February 25, 2015</b></h2></a>
 260 <blockquote><p>"A common mistake that people make when trying to design
 261 something completely foolproof is to underestimate the ingenuity of
 262 complete fools."</p><p>- The Hitchhiker's Guide to the Galaxy.</p></blockquote>
 263
 264 <p><a href=downloads/toybox-0.5.2.tar.gz>Toybox 0.5.2</a>
 265 (<a href=/hg/toybox/shortlog/1702>commit 1702</a>) is out.</p>
 266
 267 <p>New promoted commands: sed (finally fixed enough it builds Linux From
 268 Scratch), printf (cleaned up and promoted), shred and
 269 base64 (the Tizen guys wanted them), getenforce, setenforce, and chcon (android),
 270 mix (promoted with fixes from Isaac Dunham), nsenter (from
 271 Andy Lutomirski, merged into unshare).</p>
 272
 273 <p>Elliott Hughes submited a bunch of patches to support Android (to
 274 both toybox and Bionic libc, which he maintains). On toybox's end this
 275 involved a lot of fixups to portability.[ch] and fixes to over a dozen
 276 commands, plus several new ones. Other portability fixes included working
 277 with buildroot's uclibc fork and building for nommu targets.</p>
 278
 279 <p>The new "make change" target builds each toybox command as a standalone
 280 binary. Rather a lot of commands that didn't build by themselves (mv depending
 281 on cp and so on) were hit with a large rock until they built standalone.
 282 This involved rewriting bits of option parsing, more elaborate dependency
 283 generation, making each command have its own config
 284 symbol and main() function (even when it's just a wrapper calling another
 285 command's main()), and so on. Also, some commands can't be built standalone
 286 at a conceptual level: "help" describes other enabled commands and "sh"
 287 has a number of bulitin commands (cd, exit, set) that require the
 288 multiplexer infrastructure, so "make change" filters them out.</p>
 289
 290 <p>The mailing list's web archive is still screwed up. Dreamhost has
 291 been trying to fix it since approximately September. There are
 292 <a href=http://www.mail-archive.com/toybox@lists.landley.net/>two</a>
 293 <a href=http://news.gmane.org/gmane.linux.toybox>other</a> less broken
 294 archives, but neither has quite the same UI as mailman.</p>
 295
 296 <h3>Bugfixes and tweaks</h3>
 297
 298 <p>Cynt Rynt sent in tests for ifconfig,
 299 Robert Thompson taught factor to accept whitespace separated arguments,
 300 Hyejin Kim pointed out that some of mktemp's longopts were attached to
 301 the wrong short options,
 302 Luis Felipe Strano Moraes fixed a wrong free() call in bootchartd in pending.
 303 Patches from Ashwini Sharma to make "df /dev/node" work, prevent du from
 304 looping endlessly following symlinks, and to make expr.c
 305 (in pending) understand == and regex matches. (Speaking of expr, it gets
 306 priority groupings wrong but the bug was actually in the posix spec's
 307 HTML conversion. They fixed the posix spec upstream for us. Still need
 308 to fix the expr code, but it's in pending for a reason...)</p>
 309
 310 <p>Some commands grew new option flags, such as cp --remove-destination
 311 and touch -h.</p>
 312
 313 <p>The parallel build has better error reporting now. When toybox needs to
 314 re-exec itself to regain suid root permissions and hasn't got the suid bit,
 315 it now gives the right error message ("not root" instead of "no such command").
 316
 317 <p>Added a test to "mount" to not mount the same device/directory combination
 318 over itself (the OS catches this for block devices, but not for tmpfs).
 319 Make blkid distinguish ext3 from ext4. Added catv back into cat (because
 320 the Android guys wanted it, and they have historical usage on their side,
 321 so...). Handle nanoseconds in touch.</p>
 322
 323 <p>Fixed a segfault when CP_MORE was disabled (the resulting option flag list
 324 no longer defined -d but still had it in option groups at the end).
 325 Workaround for glibc redefining dirname() and basename() to random non-posix
 326 semantics because gnu. (They could have created dirname_r() but didn't want
 327 to.)</p>
 328
 329 <p>Fix an ifconfig test that was preventing assigning an ipv4 address to
 330 interface aliases. Several cleanup passes on hwclock but not quite
 331 promoted out of pending yet.<p>
 332
 333 <p>Fixed a wrong error message in rm (if you had a chmod 000 directory and
 334 did rm -r on it without -f, after the prompt it would complain it was a
 335 directory, which was not the problem).</p>
 336
 337 <p>The gzip compression code now does "store only" output to stdout, for
 338 what that's worth.</p>
 339
 340 <p>Cleanup mountpoint and expand, and remove them from toys/pending/README
 341 (a list of commands that predate the toys/pending directory but needed
 342 another pass).</p>
 343
 344 <h3>Library and infrastructure:</h3>
 345
 346 <p>Reworked the option parsing infrastructure so more commands build
 347 standalone (via scripts/single.sh or "make change"). The option flag bit
 348 values are no longer packed, it leaves spaces where currently disabled
 349 flags go, and you can #define FORCE_FLAGS so disabled flags aren't zeroed.
 350 This allows multiple commands to more easily share infrastructure, even if
 351 your current flag context is for a disabled command (switched off in config),
 352 you can force them to stay on and as long as the flags read the same right
 353 to left they'll have the same values.</p>
 354
 355 <p>We've started removing use of strncpy() because it's a hugely broken
 356 standard C function: the length is the maximum length to _append_, not
 357 the size of the destination buffer. It memsets the remaining space it didn't
 358 copy ala "memset(dest+strlen(dest), 0, len);" so
 359 if you think len is the size of dest you're guaranteed to stomp memory off the
 360 end). And if it runs out of space it won't null terminate because reasons.
 361 (Meanwhile sprintf("%*s", len, str) is counting wide characters in your current
 362 locale, so if you set a locale other than "C" it will also go past your
 363 allocated buffer size. Whoever is maintining the C library standards is really
 364 bad at strings.)
 365 Instead we have xstrncat() which will error_exit() if src+dest+1 doesn't
 366 fit in the buffer. (Because randomly truncating input data isn't necessarily
 367 an improvement.) And there's always xmprintf().</p>
 368
 369 <p>Similarly, strtol() doesn't return an error indicator on overflow,
 370 you have to clear and then check errno. So new xstrtol() that cares
 371 about overflow.</p>
 372
 373 <p>The bionic and musl guys agree faccessat(AT_SYMLINK_NOFOLLOW) is not
 374 supported, so stop using it.</p>
 375
 376 <p>Fixed toy_exec() to detect when argc is in optargs, so we don't
 377 need a separate xexec_optargs().</p>
 378
 379 <a name="18-02-2015" /><a href="#18-02-2015"><hr><h2><b>February 18, 2015</b></h2></a>
 380 <p>Dreamhost continues to be unable to make mailing list archives work, so
 381 here's <a href=http://www.mail-archive.com/toybox@lists.landley.net/>another
 382 list archive</a> with a less awkward interface than gmane.</p>
 383
 384 <p>(Neither gives you the convenient historical monthly views of mailman,
 385 but I still have hopes dreamhost will someday figure out what they're doing
 386 wrong. They've only been trying since October. Last month they did a
 387 <a href=http://www.dreamhoststatus.com/2015/01/14/discussion-list-hardware-maintenance/>hardware upgrade to fix a software problem</a>, and the stale
 388 data loads much faster now, so that's something.)</p>
 389
 390 <p>Update (Feb 19): the archive started updating again, by discarding
 391 all the pending data. So there are now _two_ giant holes in Dreamhost's
 392 web archive, from Dec 15-Jan 3, and then another hole from Jan 16-Feb 18.
 393 The relevant messages are in both of the other archives. Here's hoping
 394 the chronic archive constipation problem won't happen a sixth time.</p>
 395
 396 <a name="30-12-2014" /><a href="#30-12-2014"><hr><h2><b>December 30, 2014</b></h2></a>
 397 <p>Due to Dreamhost's <a href=http://landley.net/dreamhost.txt>ongoing</a>
 398 <a href=http://landley.net/dreamhost2.txt>inability</a> to make mailman
 399 work reliably, I've added a link to a backup web archive at
 400 <a href=http://news.gmane.org/gmane.linux.toybox>gmane</a> to the nav bar
 401 on the left.</p>
 402
 403 <p>You still subscribe to the list through
 404 <a href=http://lists.landley.net/listinfo.cgi/toybox-landley.net>the first link</a>.</p>
 405
 406 <p>Update (January 27, 2015): they're <a href=https://twitter.com/landley/status/558428839462703104>still working on it</a>.</p>
 407
 408 <a name="19-11-2014" /><a href="#19-11-2014"><hr><h2><b>November 19, 2014</b></h2></a>
 409
 410 <blockquote><p>"This time it was right, it would work, and no one would have to get nailed to anything." - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
 411
 412 <p><a href=downloads/toybox-0.5.1.tar.bz2>Toybox 0.5.1</a>
 413 (<a href=/hg/toybox/shortlog/1566>commit 1566</a>) is out.</p>
 414
 415 <p>It's an interim release, mostly bugfixes. There are several new commands,
 416 but they're all in pending.</p>
 417
 418 <h3>Development</h3>
 419
 420 <p>Finally implemented sed, which is still in pending because although
 421 it's feature complete according to posix, and even passes the parts of
 422 Busybox's sed test suite that aren't explicitly testing for gnu bugs we
 423 don't want to copy, it's not yet good enough to build Linux From Scratch.
 424 (The ./configure stages use very long sed scripts. 20 commits worth of
 425 implementation and debugging, just under 1000 lines of code, and there's
 426 still more to do. We're definitely up to some of the "fiddly" commands now.
 427 Did you know "echo hello | sed p - -" segfaults gnu sed in Ubuntu 12.04?
 428 Yeah...)</p>
 429
 430 <p>Talked with the Tizen developers to follow up on their desire to
 431 make toybox a part of the base Tizen system, and got a list of commands
 432 to add to the roadmap. The tizen todo list is:</p>
 433
 434 <blockquote><p>
 435 wget, sha256*, gzip, gunzip, bunzip2, rsync, zdiff*,
 436 less, ar, arch, base64, csplit, dir, fmt, join,
 437 nproc, shred, shuf, stdbuf, stty, test, tr, unexpand,
 438 users, vdir, diff3, sdiff, dosfsck (fsck.vfat), awk, fdisk
 439 </p></blockquote>
 440
 441 <p>(Most of which was already on the todo list, but it helps prioritize.)</p>
 442
 443 <p>Fixed md5sum and sha1sum on big endian systems (reported by James McMechan).
 444 Andy Lutomirski fixed unshare's help text and option parsing,
 445 and submitted nsenter (a tool to use setns(2)) to pending.
 446 Isaac Dunham implemented acpi -ctV options, and spotted the bug that ls -d
 447 was inappropraitely following command line symlinks without -H or -L (it
 448 should act like ls -l does), and ls -F handles symlinks wrong too.
 449 Lukasz Szpakowski sent in two bugfixes to tail.c. Cynt Rynt spotted an
 450 unnecessary assignment in lib/password.c.</p>
 451
 452 <p>Ashwini Sharma's team was as busy as usual, submitting tr, crontab, and
 453 ipcrm, and hwclock to pending, more features to the pending ip.c, and a
 454 pile of bugfixes (to chgrp, killall, ifconfig, insmod,
 455 losetup, comm, cp, id, xwrap, netcat, modprobe, nohup...) mostly found by
 456 static analysis. (These fixes are mostly to seldom-used codepaths like the
 457 TOYBOX_FREE config option, but test coverage is always appreciated.) Ashwini
 458 also suggested upgrading ln -f to leave the original target alone if link
 459 creation fails, and reported that mv -f and -i weren't implemented (now fixed).</p>
 460
 461 <p>New config option: TOYBOX_NORECURSE prevents xexec() from making internal
 462 function calls (for nommu systems with a finite stack).</p>
 463
 464 <p>The "toybox" multiplexer command no longer adds a trailing space to each
 465 line of command names, so things like "./toybox | tr ' \n' '|'" to create
 466 a grep pattern snippet are easier to do. (Why you'd want to is your business,
 467 but the output is tidier now.)</p>
 468
 469 <h3>Infrastructure</h3>
 470
 471 <p>Isaac Dunham added Android support to portability.h, including compile
 472 probes for functions missing from bionic-libc, and annotated the commands that
 473 use those functions. We haven't really tested building against bionic,
 474 but in theory it's possible now.</p>
 475
 476 <p>Running the test suite now color codes the PASS/SKIP/FAIL notifications
 477 if output is to a tty. (And in case you missed it last time, VERBOSE=fail
 478 to stop at the first failure is really useful.)</p>
 479
 480 <p>In loopfiles_rw() use O_CLOEXEC instead of O_RDONLY to request the loop
 481 function close filehandles for us. (Otherwise the callback function must
 482 close each supplied filehandle itself.)</p>
 483
 484 <p>The printf-style escape parsing ("\n" and friends) got factored out into
 485 a new unescape() function.</p>
 486
 487 <a name="02-10-2014" /><a href="#02-10-2014"><hr><h2><b>October 2, 2014</b></h2></a>
 488 <blockquote><p>"There is an art, it says, or rather, a knack to flying.
 489 The knack lies in learning how to throw yourself at the ground and miss...
 490 Clearly, it is this second part, the missing, which presents the
 491 difficulties." - The Hitchhiker's Guide to the Galaxy.<p></blockquote>
 492
 493 <p><a href=downloads/toybox-0.5.0.tar.bz2>Toybox 0.5.0</a>
 494 (<a href=/hg/toybox/shortlog/1512>commit 1512</a>) is out.</p>
 495
 496 <h3>New commands</h3>
 497
 498 <p>The new commands are find, install, factor, and mount. Promoted commands
 499 (cleaned up and moved out of "pending") are lspci, inotifyd, and blockdev.</p>
 500
 501 <p>cp now implements -HL and -F to force delete of pending files, cpio now
 502 ignores -m and implements -p, ls -C now has utf8 support (using wcwidth
 503 instead of strlen), and umount got a number of upgrades involving
 504 looking things up in /proc/mounts. Other minor cleanups happend to
 505 cut, touch, free, and id.</p>
 506
 507 <p>In pending: Bradley Controy submitted mix (adjusts OSS sound volume). Ashwini
 508 Sharma submitted diff, userdel, blockdev, ipcs, and crond, upgraded
 509 fdisk, fsck, and ftpget, and ran a static analyzer on a lot of other code.
 510 Partial cleanup was done to useradd, userdel, groupadd, and groupdel.</p>
 511
 512 <h3>Build infrastructure</h3>
 513
 514 <p><b>Parallel builds</b></p>
 515
 516 <p>The build now takes advantage of SMP, autodetecting the number of
 517 processors. (Export the environment variable CPUS to pick a specific number.)
 518 Other build changes: split out $LDOPTIMIZE because old compilers complain
 519 about linker options passed with -c, and the entire "generated" directory now
 520 gets deleted by clean (the README that was in there got merged into code.html).</p>
 521
 522 <p><b>Standalone builds</b></p>
 523
 524 <p>The standalone build infrastructure (scripts/single.sh) got upgraded to
 525 build more commands as standalone executables. In make.sh the source file
 526 selection uses a regex to find the source files with the NEWTOY/OLDTOY macro
 527 for the command. It enables each command's
 528 sub-options (so CP has CP_MORE), enables I18N and FLOAT support to build
 529 full-featured commands, and includes --help text (at least when
 530 the command doesn't use another command's help). The OLDTOY() macro
 531 now produces (redundant) function prototypes so you can build an OLDTOY
 532 without the NEWTOY</p>
 533
 534 <p>It doesn't quite have complete coverage yet, the defconfig entries that
 535 aren't building standalone yet are:</p>
 536
 537 <blockquote><p>chown, egrep, fgrep, fstype, halt, mv, nc, poweroff, unix2dos,
 538 whoami</p></blockquote>
 539
 540 <p>The main reason for standalone build failures is NEWTOY() or OLDTOY()
 541 entries that don't have their own config symbol. Another problem is entries
 542 that depend on another entry in kconfig, usually because common infrastructure
 543 is using one command's flags (which the other commands copy): if that command
 544 is disabled, the FLAG macros become 0 so dead code elimination can remove the
 545 code. It's <a href=http://landley.net/hg/toybox/rev/1503>possible
 546 to untangle</a> this, but a bit awkward. (It boils down to conflicting
 547 design goals in the two contexts.)</p>
 548
 549 <p>Standalone builds are used by the test suite when testing individual
 550 commands.
 551
 552 <p><b>Snapshot builds</b></p>
 553
 554 <p>A new addition to the "generated" directory is generated/build.sh
 555 containing a single compiler command line to build toybox in its current
 556 configuration. Combined with the generated/*.{h,sh} files from an
 557 exisiting build, this may let you build on a new system that hasn't quite
 558 got enough OS bits working to run a full configureand make.</p>
 559
 560 <h3>Internals</h3>
 561
 562 <p>Library code: xcreate/xopen now O_CLOEXEC by default to avoid leaking
 563 filehandles to child processes. DIRTREE_COMEAGAIN's second callback is now
 564 done with the directory filehandle still open (new dir->again variable added
 565 to distinguish first from second callback, and requesting DIRTREE_RECURSE now
 566 requires passing in the specific macro value, not just a true/false).
 567 Use daemon() out of libc instead of hand-rolled daemonize() in various
 568 pending commands. string_to_mode() now passes through type bits so you can
 569 use it to more easily modify a file's existing mode.
 570 Split xpopen() into xpopen_both(), xopen(), and xrun() depending on whether
 571 we want to redirect both, one, or neither of stdin/stdout.</p>
 572
 573 <p>Bugfixes: Better error message when TOYBOX_SUID option can't drop priviliges
 574 (which happens when you suid something _other_ than root).
 575 The old pending version of nbd_client.c wasn't deleted when the
 576 command was promoted (and the build would break if both were enabled),
 577 toy_exec() sometimes needs to re-exec from $PATH rather than recurse
 578 internally (to gain dropped root permissions or limit stack depth),
 579 always call setlocale() when I18N is enabled to switch it back _off_ when
 580 we run commands that expect sscanf("%n") to return bytes,
 581 dirtree() had a memory leak in an error path, patch.c had some bugs in
 582 error paths (didn't report problem clearly). Ashwini Sharma spotted an
 583 option parsing bug where [-abc] would forget _all_ command line arguments
 584 saved in the GLOBALS() block (not just the ones for options being switched
 585 off), plus various minor fixes to nbd_client and cpio.
 586 Lukasz Szpakowski fixed rm -f on a broken symlink (failed), and killall
 587 with no arguments (segfaulted).</p>
 588
 589 <p><b>Portability</b></p>
 590
 591 <p>A somewhat fiddly fix to rm -rf (which needs to chmod directories to u+rwx
 592 to descend into them) which hit a musl bug in faccessat() which the musl
 593 maintainer refuses to fix. (He literally wants the man page changed
 594 instead, despite other libcs working.) Added an #ifdef __MUSL__ section
 595 to portability.h with a workaround, you may need CFLAGS=-D__MUSL__ in your
 596 build if your musl build's features.h doesn't #define that. (I may do
 597 a different workaround in future, but sometimes you've just got to make
 598 it work so you can ship. Also, toybox grep with multiple patterns
 599 requires <a href=http://landley.net/hg/aboriginal/rev/1692>a patch
 600 to musl's regex engine</a>, which applies to 1.1.4 but not to the current
 601 musl source control.)</p>
 602
 603 <p>More portability.h fixes for uClibc too. (I don't expect that to ever have
 604 another release, so locally patching around posix-2008 violations is silly).</p>
 605
 606 <p><b>Change to username filtering</b></p>
 607
 608 <p>Posix recommends the username creation logic filter usernames to a small
 609 allowed set of characters (which even Red Hat breaks by explicitly allowing
 610 "$" at the end), but this prevents UTF-8 usernames. Posix' stated logic
 611 is to allow filesystems to create the user's home directory, but Linux
 612 filesystems can accept any character but NUL and "/". The only characters
 613 we actually _need_ to filter out are ":" (field separator in passwd),
 614 newline (line separator in passwd), and "/" (directory separator in
 615 filesystem).</p>
 616
 617 <h3>Documentation</h3>
 618
 619 <p>Web pages updated: cleanup.html documents more cleanup, code.html
 620 documents more code, and about.html now capitalizes "toybox" consistently
 621 (it's just a word, capitalize at start of sentence).</p>
 622
 623 <p>The pending/README file now lists commands that needed review/cleanup
 624 before the pending directory was added.</p>
 625
 626 <h3>Test Suite</h3>
 627
 628 <p>Moved out of scripts/test into top level "tests" directory, and the
 629 testing.sh script is now in scripts rather than mixed into the *.test files.</p>
 630
 631 <p>Johan Bergström requested VERBOSE=fail to make tests (telling it to
 632 stop at the first failure), and spotted a build bug where using gnu
 633 sort on the host broke in non-C locales.</p>
 634
 635 <p>Divya Kothari submitted tests for chmod, link, tar, bzcat, xzcat, zcat,
 636 and hostname. (And more, but that's all that's merged so far.)</p>
 637
 638 <a name="07-07-2014" /><a href="#07-07-2014"><hr><h2><b>July 7, 2014</b></h2></a>
 639 <blockquote><p>"This planet has - or rather had - a problem, which was this:
 640 most of the people living on it were unhappy for pretty much of the time. Many
 641 solutions were suggested for this problem, but most of these were largely
 642 concerned with the movement of small green pieces of paper, which was odd
 643 because on the whole it wasn't the small green pieces of paper that were
 644 unhappy." - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
 645
 646 <p><a href=downloads/toybox-0.4.9.tar.bz2>Toybox 0.4.9</a> (<a href=/hg/toybox/shortlog/1385>commit 1385</a>) is out.</p>
 647
 648 <p><b>New commands</b> added to pending include:
 649 lsattr, chattr, inotifyd, rfkill, sulogin, strings, makedevs,
 650 killall5, and tar from Ashwini Sharma, arp from Kyungwan Han,
 651 sysctl by Bilal Qureshi, partprobe from Bertold Van den Bergh,
 652 host from Rich felker, and I did nbd-client and the first 2/3 of mount.</p>
 653
 654 <p>Finished cleanups (commands promoted out of pending):
 655 sysctl, rfkill, strings, mkpasswd, makedevs, partprobe, killall5,
 656 fallocate, and nbd-client.</p>
 657
 658 <p>(Along the way partial cleanups got made to: last, fold, lspci, ps,
 659 bootchartd, init, fsck, telnetd, telnet, vconfig, toysh, iconv, useradd,
 660 login, host, openvt, deallocvt, getty, tftpd, and modprobe. But there's
 661 still more to do on all of those.)</p>
 662
 663 <p>This time around the <a href=bin>static binaries</a> are linked against
 664 musl instead of uClibc. (That's why there's no sparc version, musl doesn't
 665 support that target yet.)</p>
 666
 667 <p><b>Documentation:</b></p>
 668
 669 <p>The help text parser expects lower case "usage:" lines with
 670 a blank line after them, so go through and regularize those. Expand the
 671 "coding style" section in the docs and move it to design.html. (Not a show
 672 stopper for incoming
 673 contributions, just an explanation of some of the things I'll do to them
 674 during cleanup.) The help text for the "toybox" command now includes
 675 the shell script snippet to install symlinks to the toybox binary.</p>
 676
 677 <p>The <a href=cleanup.html>cleanup page</a> now has descriptions for the
 678 full ifconfig cleanup series, among others.</p>
 679
 680 <p>The new toys/examples directory contains hello.c and skeleton.c. The first is
 681 a simple hello world program in toybox style, the second is a much more
 682 elaborate example program using showing how to use the command line option
 683 parsing and how to provide multiple commands in the same C file.</p>
 684
 685 <p><b>Fixes</b>:</p>
 686
 687 <p>Fix od bug reported by Samuel Holland ("od -v -b" was appending the default
 688 output type even though an output type was specified). Ashwini Sharma reported
 689 bugs where readfile() was incorrectly freeing its buffer, and where toy_init()
 690 was zeroing the wrong data because the field it was using to measure (rebound)
 691 had moved (when I moved it back I added a comment why the field needs to be
 692 there), fixed a segfault in the dhcp client, and made a 0 length read at
 693 the start of password entry count as EOF. Make the "we are not root" test
 694 in the init code show the help text. Posix implies that fflush() can return
 695 success even when the stream's error bit is set, so call both fflush() and
 696 ferror() from xprintf().</p>
 697
 698 <p>Isaac Dunham pointed out that bloatcheck couldn't deal with diff
 699 implementations that only implement "unified diff" format, and that some
 700 diff implementations can't handle nonseekable input (I.E. reading from
 701 a pipe). Bugfix so "help -a" works again. Option parsing on nohup now stops
 702 at first nonoption argument. Fix segfault in "which" if PATH wasn't set,
 703 which was actually a bug in lib function find_in_path(). Made rm -rf of
 704 chmod 000 directories actually remove them.</p>
 705
 706 <p>The build now passes the same $CFLAGS to the library probe as the final
 707 build, because arch linux is so broken it provides different sets of
 708 libraries for static and dynamic linking.</p>
 709
 710 <p>It turns out sprintf("%.123s", str) is counting characters, not bytes,
 711 so globally enabling locale support opens stack smashing vulnerabilities.
 712 So there's a new TOYFLAGS_LOCALE you set in toyflags when you want the
 713 setup code to setlocale().</p>
 714
 715 <p><b>Upgrades:</b></p>
 716
 717 <p>Isaac Dunham extended cpio to archive unreadable empty files, and I taught it
 718 to set uid/gid and timestamp when extracting archives. Isaac also
 719 added tests for cpio, link, and du, added lspci -i, made the pci database
 720 parsing skip # comment lines, merged logname and whoami into id.</p>
 721
 722 <p>Daniel Verkamp sped up md5sum about 30% with some loop unrolling, making
 723 it actually smaller in the process. I added -b flags to md5sum and sha1sum
 724 for "brief" output that's just the hash with no filename. (I'm aware other
 725 implementations use that for MSDOS "binary" mode, and don't care.)</p>
 726
 727 <p>When building standalone commands (scripts/singleconfig.sh commandname),
 728 the build now switches on all the sub-options of the command so we get
 729 a standalone version with all the bells and whistles enabled.</p>
 730
 731 <p>Add -ds flags to date and document +FORMAT escapes. Add the shell NOP
 732 command ":" as an alias for true (for toysh).</p>
 733
 734 <p>Add uClibc probe for iconv() and fallocate. (The fact it didn't always
 735 build against uClibc is why fallocate wasn't enabled in defconfig before.)</p>
 736
 737 <p>The umount command now does an losetup -d on the device by default, so
 738 we don't leak loopback devices. Bugfix to losetup so "losetup /dev/loop0
 739 filename" actually works again.</p>
 740
 741 <p>Divya Kothari sent in test suite entries for ls, ln, rm, mv, printf, dd,
 742 and renice. Then a second round for lsattr/chattr, mount, chmod, pgrep/pkill,
 743 groupadd, groupdel, and useradd. Several of these uncovered bugs, still
 744 working to fix them.</p>
 745
 746 <p>There are now free() functions for the predefined llist types and a
 747 dlist_terminate() function to break doubly linked lists. The new
 748 generic_signal() handler either sets "toys.signal" or writes a byte
 749 to toys.signalfd with the signal number if signalfd isn't -1 (which it's
 750 initialized to in toy_init).</p>
 751
 752 <p>The option parsing logic can now detect when a double fits in a long and
 753 use the more precise type for floating point arguments (the FLOAT macro
 754 contains the type used). The human_readable() function now just outputs
 755 decimal kilo/mega/gigabytes (so when du -u says 5.0G it means 5.0 billion
 756 bytes). The build infrastructure now notices duplicate commands (so if you
 757 cp toys/pending/command.c toys/other/command.c and forget to delete the
 758 first one, the build break is now more informative).</p>
 759
 760 <a name="20-04-2014" /><a href="#20-04-2014"><hr><h2><b>April 20, 2014</b></h2></a>
 761 <blockquote><p>And to this end they built themselves a stupendous supercomputer
 762 which was so amazingly intelligent that even before the data banks
 763 had been connected up it had started from "I think therefore I am" and got as
 764 far as the existence of rice pudding and income tax before anyone managed to
 765 turn it off. - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
 766
 767 <p><a href=downloads/toybox-0.4.8.tar.bz2>Toybox 0.4.8</a> is based on
 768 <a href=http://landley.net/hg/toybox/shortlog/1262>commit 1262</a>. And
 769 about time too.</p>
 770
 771 <p>The big news is that the build no longer needs python to generate help.h,
 772 that's now done in C. The help text generation is also collating help text
 773 from multiple options, merging command line option blocks and usage: lines.
 774 There's even a new <a href=help.html>help web page</a>.</p>
 775
 776 <p><b>New commands:</b> Ifconfig, cpio, and su were cleaned up the rest of the
 777 way and promoted out of pending. That saga is mostly explained on the
 778 <a href=cleanup.html>cleanup page</a>. Vivek Bhagat's freeramdisk,
 779 Isaac Dunham's fsfreeze, and Felix Janda's iconv are also new.</p>
 780
 781 <p><b>In pending:</b>
 782 Ashwini Sharma's team submitted tcpsvd, udpsvd, telnet, telnetd, last, more,
 783 groupdel/delgroup, arping, brctl, ftpget, ftpput, printf, reset, and added
 784 ipv6 support to traceroute. Kyungwan Han's team submitted modprobe and getty.
 785 Vivek Bhagat submitted openvt and deacllocvt. Samuel Holland submitted fold.
 786 I wrote a new inflate (zip/zlib/gzip decompression) implementation in
 787 compress.c, and still  need to do a corresponding deflate (compression-side)
 788 and plug them into gzip and zip and so on. (Right now it does zcat.)</p>
 789
 790 <p>Several commands (vmstat, login, du, vconfig, mountpoint, free, chroot,
 791 cut, touch, modinfo, expand) predate the "pending" directory, and are thus
 792 in other directories but still need cleanup. Of these, vmstat got some
 793 work this time (which would be much easier other vmstat implementations
 794 documented what their output actually meant).</p>
 795
 796 <p><b>Upgrades:</b> Ifconfig grew /prefix netmask support (ala 1.2.3.4/24). Grep now has -zZ to
 797 handle null terminated data, cksum grew -H for hex output. Upgraded od so the
 798 fields align better when producing multiple output types. Help has -a and -h
 799 options (all commands, html output).
 800 Bugfix to blkid building for a 32 bit target. The date command can actually
 801 set dates now. The O_NOFOLLOW compile time probe didn't work with cross
 802 compiling, so it's back to an #ifdef test in portability.h. Nathan McSween
 803 sent in a bugfix to od and a portability fix in the common library code.
 804 Ashwini Sharma spotted a bug in pidof -o, and added verbose (-v) options
 805 to mkdir and ln, and suggested killall should have an -s option and
 806 allow -l to take zero arguments. Ashwini Sharma and Felix Janda upgraded
 807 tftpd.  Fixed dumpleases still using toynet.h after
 808 that was removed. Corrected killall return code and error reporting.
 809 Isacc Dunham fixed bugs all over the tree, did cleanup on a bunch of
 810 pending commands (getty, ftpget, init, openvt, modprobe...), and clarified
 811 find's help text. Tom Sparrow ran three different static analyzers on
 812 the code, which resulted in a few cleanups. The peek()/poke() functions
 813 now use "volatile" to prevent broken compiler "optimizations" to do with
 814 aliasing.</p>
 815
 816 <p><b>Build stuff:</b> Each FOR_xxxx macro now has a complementary CLEANUP_xxxx macro, so you
 817 can put multiple commands with different command line options in the same
 818 .c file, so they can share infrastructure outside of lib. (This let the
 819 bunzip logic move out of lib into bzcat.c.) See XXX for example.
 820 i
 821 <p>The headers #included in toys.h are now grouped by standard, and headers
 822 not listed in Posix or LSB were moved to portability.h. The old xregcomp.h
 823 was folded into lib.h because it's posix (and supporting oddball uClibc
 824 configurations isn't as important as it once was).</p>
 825
 826 <p>Regression tested against Ubuntu 8.04 to fix up bit-rot in defconfig
 827 build on older systems. (We depend on Posix-2008, but not necessarily
 828 the absolute latest build environment.)</p>
 829
 830 <p><b>In lib</b>: lib/xwrap.c added xgetpwnam(), xchroot(), and lib/lib.c now has names_to_pid().
 831 xsetuid() was replaced with xsetuser() which takes a struct passwd
 832 and sets both gid and uid, mkpathat() got factored out into a library command,
 833 get_int_value() became atolx_range(), and
 834 xmsprintf() is now just xmprintf(). The bunzip2 logic moved from lib into
 835 bzcat.c.</p>
 836
 837 <p><b>Documentation</b>: new <a href=help.html>help page</a> with the
 838 help text for all the defconfig commands, using the new help -ah output.
 839 The <a href=code.html>source code walkthrough</a> now says more about
 840 #including header files, and how the generated/* directory works. The
 841 <a href=design.html>design page</a> has some new paragraphs about trading
 842 of different kinds of simplicity, and why comments aren't a substitute for
 843 good code. The README no longer trails off into obvious unfinished confusion
 844 at the end. Each page on the website should now have its own title.</p>
 845
 846 <a name="18-11-2013" /><a href="#18-11-2013"><hr><h2><b>November 18, 2013</b></h2></a>
 847 <blockquote><p>"Space," it says, "is big. Really big. You just won't believe how vastly, hugely, mindbogglingly big it is. I mean, you may think it's a long way down the street to the chemist's, but that's just peanuts to space." -
 848 The Hitchhiker's Guide to the Galaxy.</p></blockquote>
 849
 850 <p><a href=downloads/toybox-0.4.7.tar.bz2>Toybox 0.4.7</a> is based on
 851 <a href=http://landley.net/hg/toybox/shortlog/1122>commit 1122</a>.</p>
 852
 853 <p>New commands: Brad Conroy submitted blkid. Elie De Brauwer submitted
 854 reboot, halt, and poweroff. Strake's nl got cleaned up and promoted from
 855 pending to posix. In addition, the existing chvt and vconfig got some
 856 cleanup.</p>
 857
 858 <p>That said, I haven't nearly kept up with the flood of new commands going
 859 into pending: Ashwini Sharma's team submitted
 860 dd, dumpleases, traceroute, top, useradd, groupadd, mkpasswd, tftpd, and
 861 an fsck wrapper (with no filesystem drivers yet). Isaac Dunham sent in cpio.</p>
 862
 863 <p>Bugfixes: Jeroen van Rijn added a user count to uptime. Elie De Brauwer
 864 added -e to watch, removed a memory leak, and fixed a terminal size problem.
 865 William Haddon made xargs call its command line once even with blank input
 866 (the standard is vague, but builds expect it), and fixed an off by one bug
 867 where grep didn't malloc enough space with -E (leading to a segfault).
 868 I fixed a glitch in bunzip2 (same one as went into busybox since they're using
 869 the code I wrote), in od to fix -t co, -J, and -c options. Add uname -o as a
 870 synonym for -s. Build fix to never use $CC without prefixing it with
 871 $CROSS_COMPILE (since $HOSTCC could be different). Anca Emanuel spotted
 872 a typo in the web page.</p>
 873
 874 <p>The compile-time command line option parsing got rewritten (ported from
 875 bash to C), which should speed up builds a bit and allow code controlled by
 876 --longopts to drop out properly when disabled in the configuration. Terminal
 877 querying got refactored. Patch's -x option is now more informative (a
 878 debug thing if you're trying to figure out why a patch didn't apply).
 879 The "toynet.h" file got folded into toys.h since musl supports it and
 880 micromanging uClibc options isn't very interesting anymore. The test suite
 881 now uses scripts/single.sh when testing a single command.</p>
 882
 883 <a name="17-09-2013" /><a href="#17-09-2013"><hr><h2><b>September 17, 2013</b></h2></a>
 884 <blockquote><p>"Think of a number," said the computer, "any number."
 885 Arthur told the computer the telephone number of King's Cross railway
 886 station passenger inquiries, on the grounds that it must have some function,
 887 and this might turn out to be it. - The Hitchhiker's Guide to the Galaxy</p>
 888 </blockquote>
 889
 890 <p><a href=downloads/toybox-0.4.6.tar.bz2>Toybox 0.4.6</a> is based on
 891 <a href=http://landley.net/hg/toybox/shortlog/1068>commit 1068</a>.</p>
 892
 893 <p>This release adds
 894 several new commands: Felix Janda wrote paste and fallocate, Kyungwan Han
 895 submitted eject, Strake contributed grep, Ashwini Sharma added pmap (and
 896 a testsuite entry for grep), Lukasz Skalski sent pwdx, Isaac Dunham posted
 897 acpi, and I did timeout and umount.</p>
 898
 899 <p>The ls command now has a --color=auto option (suggested by Rich Felker).
 900 The multiplexer now has a --help option so you can say "./toybox --help blah"
 901 instead of using the built-in "help" command. (Which is a shell built-in.
 902 Try it on your command line, it's like man for shell builtins. But a certain
 903 other project has conditioned people to expect --help, so...) I forget who
 904 heehooman at gmail is but they pointed out unshare needed PID and UID
 905 namespace support.</p>
 906
 907 <h3>Pending</h3>
 908
 909 <p>A lot of new commands in toys/pending, to the point the next release should
 910 probably just focus on cleanup and review of this backlog. We've got klogd,
 911 dhcp, dhcpd, watch, route, and ps from
 912 Ashwini Sharma (and an fsck wrapper but no fsck.fstype engines yet),
 913 syslogd, pgrep, and pkill from Madhur Verma, netstat by Ranjan Kumar,
 914 test by Felix Janda, lspci by Isaac Dunham, nl, su, and renice by strake (I.E.
 915 M. Farkas-Dyck), and sysvinit by Kyungwan Han.</p>
 916
 917 <p>Some cleanup work on existing pending commands that aren't
 918 ready to promote yet: I did a few more rounds on ifconfig
 919 and Isaac Dunham's did several cleanups to xzcat, Felix Janda cleaned up
 920 logger and syslogd...</p>
 921
 922 <p>Also some cleanup work on commands that predate the pending directory,
 923 but weren't quite polished when they went in, most prominently du,
 924 expand, and touch.</p>
 925
 926 <h3>Infrastructure</h3>
 927
 928 <p>The new scripts/single.sh builds a standalone command without the
 929 multiplexer, although not all commands can be built that way yet (NEWTOY yes,
 930 OLDTOY no) and the space savings aren't anything to write home about. (If a
 931 command needs the option parsing logic at all, it needs all of it.) If
 932 you're curious, you can do:</p>
 933
 934 <blockquote><pre>
 935 make defconfig
 936 make
 937 mkdir singles
 938 for i in $(./toybox)
 939 do
 940   echo $i
 941   PREFIX=singles/ scripts/single.sh $i || break
 942 done
 943 </pre>
 944 <p>(And then wait a long time and watch almost half the builds fail.)</p>
 945 </blockquote>
 946
 947 <p>There is now libbuf analogous to toybuf, another global 4k buffer this
 948 time for use by lib/ code instead of command code.</p>
 949
 950 <p>The lib directory got split up a bit, lib/pending.c contains functions
 951 not yet used by anything outside of toys/pending/*, and lib/xwrap.c contains
 952 functions that wrap other functions and handle failures (via error_exit).
 953 This leaves lib/lib.c containing actual new functions.</p>
 954
 955 <p>General improvements and bug fixes to argument parsing. The [-abc] exclude
 956 logic should now clear arguments slots when disabling options. Bare --longopts
 957 should work now and be able to report errors using their name, the new ;
 958 option allows optional arguments to longopts only suppliable with = (I.E.
 959 --color and --color=auto but not --color auto).</p>
 960
 961 <p>I'm gradually weaning the code off of itoa()/utoa() because sprintf
 962 does this already. In this case "simple" probably means "let libc do it
 963 for us".</p>
 964
 965 <p>Rewrote for_each_pid_with_name_in() and renamed it to just names_to_pid().
 966 It shouldn't get confused trying to compare absolute and relative paths quite
 967 so much anymore.</p>
 968
 969 <p>lib/llist.c grew a new dlist_pop() function for removing a doubly
 970 linked list entry while maintaining a circular list; tail and patch are
 971 using it now.</p>
 972
 973 <p>The musl guys suggested a new optimization flag
 974 (-fno-asynchronous-unwind-tables)
 975 that shaves about 10% off the binary size by removing a C++ism that crept
 976 into gcc's idea of C. While I don't normally try to micromanage the compiler,
 977 "-fstop-being-stupid" is a thing you have to hit gcc with from time to time.</p>
 978
 979 <h3>Bugfixes</h3>
 980
 981 <p>Felix Janda and I did a largeish rewrite of tail to
 982 finally make it work right (we think). Still need to implement tail -f
 983 someday (the tricky bit is making -f follow multiple files at once).
 984 Felix also reported a bug in xpidfile.</p>
 985
 986 <p>Juhani Haverinen pointed out that
 987 python 3 doesn't work with config2help.py, so the detection logic looks
 988 for python2 (until I get around to rewriting that in C). Elie De Brauwer
 989 then fixed our first attempt at this, and also fixed uname's help string.</p>
 990
 991 <p>Ashwini Sharma
 992 pointed out the build was making a FLAG_ macro for " " which broke some
 993 configurations. (That's a control character, not a command line option.)</p>
 994
 995 <p>Jacek Bukarewicz pointed out a bug in chdir permission handling, and
 996 a way to make env segfault. Both should be fixed now.</p>
 997
 998 <p>The new function xexec_optargs()
 999 replaces calls to xexec(toys.optargs) to avoid freeing and reusing optargs
1000 during option parsing screwing stuff up (such as netcat's exec mode).</p>
1001
1002 <p>The stat command's %a output was padded with leading zeroes, which
1003 didn't match anybody else's behavior and thus made the test suite hiccup
1004 between TEST_HOST and testing toybox. (If you go "TEST_HOST=1 scripts/test.sh
1005 command" it sanity checks the tests against the host implementation.)</p>
1006
1007 <p>Last release, "mkdir sub/sub && chmod 007 sub/sub && rm -rf sub" didn't
1008 delete sub and didn't exit with an error either. Neither was correct, rm
1009 should now be fixed.</p>
1010
1011 <p>
1012 <a name="26-07-2013" /><a href="#26-07-2013"><hr><h2><b>July 26, 2013</b></h2></a>
1013 <p>Georgi Chorbadzhiyski maintains a <a href=https://github.com/gfto/toybox>git
1014 mirror</a> of the repository on github, automatically updated from the
1015 mercurial every 6 hours. The mirror is read only, but you can generate patches
1016 against it and post them to the list.</p>
1017
1018 <a name="02-07-2013" /><a href="#02-07-2013"><hr><h2><b>July 2, 2013</b></h2></a>
1019 <blockquote><p>"Time is an illusion. Lunchtime doubly so." "Very deep. You
1020 should send that in to the Reader's Digest. They've got a page for people
1021 like you." -
1022 The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1023
1024 <p><a href=downloads/toybox-0.4.5.tar.bz2>Toybox 0.4.5</a> is based on
1025 <a href=http://landley.net/hg/toybox/shortlog/941>commit 941</a>. It adds
1026 uuencode and uudecode from Erich Plondke, and enables Luis Morales' "who" by
1027 default. Felix Janda and I cleaned up last year's "stat" submission and
1028 enabled it. Ivo van Poorten added "groups".
1029 Andre Renaud added "lsusb". I implemented "split", "pivot_root", and "mv".
1030 </p>
1031
1032 <p>The "help" command is implemented differently now (lib/help.c) and
1033 each command can now understand --help (including both "toybox --help"
1034 and "toybox --help command" in the multiplexer).</p>
1035
1036 <p>The "pending" directory has several commands (find, xzcat, nbd-client,
1037 logger, expr) which work but are not enabled by default pending further cleanup.
1038 Ifconfig is enabled, but still in pending because it's only 2/3 cleaned up.
1039 (It's an awkward halfway state but I'm not holding up the release for it.)</p>
1040
1041 <p>I'm <a href=cleanup.html>documenting the cleanups</a> to teach
1042 more people to do it, but the writeups aren't caught up yet. The
1043 <a href=roadmap.html>roadmap</a> also got updated a bit with further analysis
1044 of other projects, and the README and about pages got updated.</p>
1045
1046 <p>Fixed _another_ "ls -C" segfault when terminal size can't be detected,
1047 condensed the ls help text to fit on one page, implented --color, and taught
1048 -l to print the major, minor numbers when showing block/char devices.
1049 Argument parsing now handles "--" properly (to end option checking),
1050 and the infrastructure can now handle bare --longopts that have no
1051 corresponding short option (both were implemented before but didn't work).
1052 Fixed an old bug in "patch", chmod grew -f, who grew -a. Isaac Dunham
1053 fixed "-" vs "_" handling in modinfo, added a "firmware" output
1054 field, added -b and -k support, and taught it that the ".ko" extension means
1055 to look for the file at the specified path instead of under /lib. Felix Janda
1056 moved file permission display code to lib so ls and
1057 stat could share it. Ashwini Sharma spotted a bug in xabspath when the
1058 last path component exists but we haven't got permissions to open it
1059 (ala readlink -f /dev/sda as a normal user).
1060 </p>
1061
1062 <p>In the build infrastructure, scripts/findglobals.sh finds leaked global
1063 variables. (Leaked means they aren't part of the global union: Other than glibc
1064 debris, toybox should define "this", "toy_list", "toybuf", and "toys", and
1065 that's it; the rest add memory footprint to every command for the benefit of
1066 just one command; use GLOBALS() to stick 'em in the union.) Static linking
1067 against libraries other than the host's libc now applies to feature probes
1068 for unshare and such. Neuter stupid internationalization support that makes
1069 various host "sort" commands put things in an order other than alphabetical
1070 (breaking the multiplexer's binary search on command names).
1071
1072 <p>You should now be able to build from a source control snapshot on a build
1073 system that hasn't got python: if you disable CONFIG_TOYBOX_HELP. (The
1074 release tarballs ship generated/help.h, but it's not in source control.
1075 Eventually I should rewrite that python script in C.)</p>
1076 </p>
1077
1078 <p><b>LICENSE TWEAK</b>: After <a href=http://lists.landley.net/pipermail/toybox-landley.net/2013-March/000794.html>discussion</a> on the mailing list the "2 clause
1079 BSD" <a href=license.html>license</a> got slightly simplified so the first
1080 paragraph now says:</p>
1081
1082 <blockquote><p>Permission to use, copy, modify, and/or distribute this
1083 software for any purpose with or without fee is hereby granted.</p></blockquote>
1084
1085 <p>It used to continue "provided that the above copyright notice and this
1086 permission notice appear in all copies", but A) what's the point? B) does "all
1087 copies" mean binaries, or just source code, or what? C) lots of projects
1088 that consider BSD and GPL compatible have <a href=https://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/tree/crypto/aes_generic.c>files with
1089 both license notices</a> on them (sometimes at <a href=http://git.busybox.net/busybox/tree/shell/ash.c>opposite ends of the file</a> to make the conflict
1090 less obvious) because "all copies must include this function" would violate
1091 the GPL but "all copies must include this magic text blob" somehow don't?</p>
1092
1093 <p>I don't want to have to care about this anymore. The tweaked version is more
1094 or less public domain with a liability disclaimer, but we're still calling it
1095 BSD (sometimes "0 clause BSD") to avoid explaining.</p>
1096
1097 <a name="21-03-2013" /><a href="#21-03-2013"><hr><h2><b>March 21, 2013</b></h2></a>
1098 <p>Video of my ELC talk
1099 "<a href=http://youtu.be/SGmtP5Lg_t0>Why is Toybox?</a>"
1100 is up on youtube. Related materials include the
1101 <a href=http://landley.net/talks/celf-2013.txt>talk outline</a> and an
1102 <a href=/aboriginal/about.html#selfhost>android self-hosting writeup</a>.</p>
1103
1104 <p>[Updated June 4] The following links jump to specific topics in the video. (Sorry about
1105 the ads, it's The Linux Foundation.)</p>
1106
1107 <ul>
1108 <li>0m29s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=0m29s>The smartphone is replacing the PC</a></li>
1109   <ul>
1110   <li>4m22s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=4m22s>Software needed to become self-hosting</a></li>
1111   <li>6m20s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=6m20s>Do we care if android or iphone wins?</a></li>
1112   </ul>
1113 <li>9m45s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=9m45s>Android not vanilla: oppose or accept?</a></li>
1114   <ul>
1115   <li>11m30s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=11m30s>Open source can't do User Interfaces</a></li>
1116   </ul>
1117 <li>15m09s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=15m09s>Android is not copyleft: oppose or accept?</a></li>
1118 <li>18m23s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=18m23s>Security issues</a></li>
1119 <li>21m15s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=21m15s>Solutions to the software problems</a></li>
1120   <ul>
1121   <li>22m55s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=22m55s>What toybox needs to be/do</a></li>
1122   <li>28m17s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=28m17s>What is toybox?</a></li>
1123     <ul>
1124     <li>28m58s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=28m58s>Why toybox started...</a></li>
1125     <li>37m50s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=37m50s>What does toybox actually implement?</a></li>
1126     </ul>
1127   </ul>
1128 </ul>
1129 </span>
1130
1131
1132 <a name="14-03-2013" /><a href="#14-03-2013"><hr><h2><b>March 14, 2013</b></h2></a>
1133 <blockquote><p>"Ford, you're turning into a penguin. Stop it." -
1134 The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1135
1136 <p><a href=downloads/toybox-0.4.4.tar.bz2>Toybox 0.4.4</a> is based on
1137 <a href=http://landley.net/hg/toybox/shortlog/813>commit 813</a>, adding
1138 the "time" and "readahead" commands, plus some bugfixes.</p>
1139
1140 <p>The "cp" command now implements the -s symlink option, plus bugfixes
1141 getting various corner cases right as used in actual package builds.
1142 "id -Gn root" should now print root's groups
1143 instead of the current user's. Several build fixes so toybox builds under
1144 Ubuntu 8.04 again (which is about as old a build environment as you
1145 can expect to find posix-2008 features in).</p>
1146
1147 <p>Unfinished commands have generally been moved to "toys/pending".
1148 Everything else should "default y" to participate in make defconfig.
1149 Several of those pending commands got some basic cleanup so allyesconfig
1150 should at least compile (although defconfig is still what's useful).</p>
1151
1152 <p>Significant roadmap updates, checking several other multicall binaries
1153 (klibc, sash, sbase, s6...) to see what commands they include.</p>
1154
1155 <a name="18-01-2013" /><a href="#18-01-2013"><hr><h2><b>January 18, 2013</b></h2></a>
1156 <blockquote><p>This must be Thursday. I never could get the hang of Thursdays. - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1157
1158 <p><a href=downloads/toybox-0.4.3.tar.bz2>Toybox 0.4.3</a> is based on
1159 <a href=http://landley.net/hg/toybox/shortlog/793>commit 793</a>. There
1160 are now exactly 100 commands in defconfig (of a little over 220 on the
1161 <a href=roadmap.html>todo list</a>).</p>
1162
1163 <p>Elie De Brauwer added the rev command, cleaned up tac, implemented the -s
1164 and -f flags for seq, added -v and -i to killall (and fixed killall not to
1165 kill itself before finishing its pid list), and added to the test suite.
1166 Felix Janda added -m to mkdir, pwd -L and -P, and more test suite entries.</p>
1167
1168 <p>Rob Landley added the losetup command, and fixed the existing ls, cp, and
1169 readlink commands. The segfault in ls
1170 happened when it couldn't determine the screen size (last release changed the
1171 default to -C and a screen size of 0 made column view unhappy), and cp got an
1172 extensive rewrite bringing it up to date with the dirtree changes and fixing
1173 a number of things it never did right in the first place. The xabspath()
1174 code in the library now handles a symlink after ".." properly (and the test
1175 suite checks for it).</p>
1176
1177 <p>Infrastructure-wise the code is better about automatically setting the
1178 error return code properly. Now error_msg() sets the exit code to 1 if it's
1179 still defaulting to 0, and the global exit path does a fflush(NULL) with error
1180 bit check rather than trying to be quite so granular about flushing. (That
1181 means if we use printf() instead of xprintf() it still exits with the right
1182 error code, it just doesn't end the program early on an output error.)
1183 Minor bugfix so TOYBOX_DEBUG
1184 doesn't always warn about the lack of suid bit when toybox is built with
1185 at least one STAYROOT command. Bugfix for the option [grouping] logic
1186 (and then further fixes to the error reporting pointed out by Ashwini Sharma).
1187 dirtree_handle_callback() now has a prefix like the rest of the dirtree
1188 functions. A lot of stuff doing manual path handling was switched to using
1189 libc basename() (including, embarassingly, the basename command), which means
1190 it now correctly detects "/trailing/slash/" which the previous code didn't.</p>
1191
1192 <p>Also, last release included some accidentally checked in debug code that
1193 disabled compiler optimization, so the binary size bloated a bit. It's back
1194 to -Os by default now.</p>
1195
1196 <a name="15-12-2012" /><a href="#15-12-2012"><hr><h2><b>December 15, 2012</b></h2></a>
1197 <blockquote><p>"The major difference between a thing that might go wrong and a
1198 thing that cannot possibly go wrong is that when a thing that cannot possibly
1199 go wrong goes wrong it usually turns out to be impossible to get at or repair."
1200 </p><p>- The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1201
1202 <p><a href=downloads/toybox-0.4.2.tar.bz2>Toybox 0.4.2</a> is based on
1203 <a href=http://landley.net/hg/toybox/shortlog/749>commit 749</a> and is
1204 just a resync. Linux 3.7 came out, meaning it's time to do an Aboriginal
1205 Linux release, and that should use a stable version of toybox. So here's
1206 a new stable version.</p>
1207
1208 <p>The new commands are cut (from Jason Kyungwan Han), touch
1209 (from Choubey Ji), expand (from Jonathan Clairembault, and he fixed a
1210 bug in login), and rm (from Rob Landley). Felix Janda added UTF-8
1211 support infrastructure (for non-ascii character sets) with a config option.
1212 Elie De Brauwer added tests for cat and sha1sum, and -so options to pidof.
1213 The "ls" command defaults to -C (column view) now, and "readlink" now supports
1214 -fenq.</p>
1215
1216 <p>Portability work: toybox should now build against the musl C library,
1217 and against older glibc versions (circa 2008, much before that and kernel
1218 features we depend on start to drop out).</p>
1219
1220 <p>The whole codebase got reindented from "one tab" to "two spaces" per
1221 level. The option parsing logic now understands [groups] of commands (when more
1222 than one in a group is selected it can switch the others off, or error out,
1223 or other things). The error_exit() infrastructure can now longjmp back to an
1224 earlier point instead of exiting. Each toys/* directory now has a README,
1225 the first line of which is the fancy name menuconfig uses for the directory
1226 (so no more hardwired directory list in scripts/genconfig.sh).</p>
1227
1228 <p>Fixed a filehandle leak in getmountlist().
1229 Pass parent pointer to dirtree_add_node() so it can give error messages with
1230 full path. The yesno() function now always reads from stdin and writes to
1231 stderr (we can retry tty checking complexity once we've got commands needing
1232 it).</p>
1233
1234 <p>The open group broke their website so the
1235 <a href=http://opengroup.org/onlinepubs/9699919799>old links</a> to POSIX 2008
1236 now <a href=http://pubs.opengroup.org/onlinepubs/9699919799>need to start with
1237 pubs</a>. Some of the links in the tree have been updated, others haven't while
1238 I wait to see if their webmaster notices and fixes it.</p>
1239
1240 <p>(I note that the current rm implementation is not technically posix compliant
1241 because the standard requires infinite recursion depth and the current
1242 implementation uses one filehandle per level. I can add a config option
1243 to do it Posix's way, which is more brittle and needs extra security checks,
1244 but am waiting for somebody to complain first. The default "ulimit -n" is 1024
1245 filehandles, so drilling down over 1000 nested subdirectories).</p>
1246
1247 <a name="13-11-2012" /><a href="#13-11-2012"><hr><h2><b>November 13, 2012</b></h2></a>
1248 <blockquote><p>"Rule Six: The winning team shall be the first team that wins."
1249 - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1250
1251 <p><a href=downloads/toybox-0.4.1.tar.bz2>Toybox 0.4.1</a> is based on
1252 <a href=http://landley.net/hg/toybox/shortlog/691>commit 691</a>.</p>
1253
1254 <p>Elie De Brauwer contributed usleep, Ashwini Kumar contributed du, and
1255 Kyungwan Han contributed vconfig. Other new commands include switch_root and
1256 md5sum, and the remaining shell wrappers are now proper commands (dos2unix,
1257 unix2dos).</p>
1258
1259 <p>The patch command now supports -l, and gethostname is now enabled by
1260 default. The df command follows symlinks to get the actual device name.
1261 Felix Janda added -m support to wc (for utf8).</p>
1262
1263 <p>On the infrastructure side, the commands have now been grouped into
1264 "posix", "lsb", and "other" subdirectories (for things required by Posix-2008,
1265 the Linux Standard Base 4.1, and commands in neither). This affects menuconfig
1266 and the actual source layout (toys/cp.c is now toys/posix/cp.c, and so on).
1267 An android directory is planned (see the updated
1268 <a href=roadmap.html#android>android roadmap analysis</a>).</p>
1269
1270 <p>The FLAG_ macros for command option parsing and TT alias for the command's
1271 global block are now automatically generated, commands should
1272 #define FOR_commandname before #including <toys.h> to get the macros for that
1273 command.</p>
1274
1275 <p>An upgrade to the build infrastructure now allows commands with _ and -
1276 in them, such as switch_root.</p>
1277
1278 <p>Bugfixes: Avery Pennarun spotted a case where ls showed uid twice instead of
1279 uid and gid, and that nice was using the wrong range of numbers.
1280 The ls command also recursed inappropriately last time (not quite
1281 properly converted for the dirtree changes last release), and now it's
1282 fixed. Roy Tam pointed out a glitch in sh, and fixed df's percentage
1283 calculation to match the POSIX spec. The kernel build didn't like our mktemp
1284 and it does now. The wc command wasn't quite posix compliant (trailing spaces
1285 break stuff). The ls command recursed inappropriately last time (not quite
1286 properly converted for the dirtree changes last release), and now it's
1287 fixed. The catv command wasn't displaying byte 255 correctly. Some lib
1288 fixes (thinko in xpidfile). Fixed uname -m when running a 32 bit x86 binary
1289 on an x86-64 host (it lies and says the system is i686, i586, or i486 depending
1290 on what the toolchain that built the binary supported. This makes builds in
1291 a 32 bit chroot on a 64 bit kernel break less.) The df command was checking
1292 partitions in the wrong order (displaying undermounts instead of overmounts:
1293 this used to work but some library code changed out from under it and it
1294 wasn't updated to match until now). Felix Janda filled out the test suite
1295 some more. The patch file creation logic got tweaked several times to
1296 successfully apply more patches. Support for older (pre 2.10) glibc
1297 versions was added to portability.h.</p>
1298
1299 <p>Miscelaneous cleanups all around (mknod, sha1sum, logname), including a
1300 rewrite of taskset to be less dependent on libc getting the headers right. All
1301 the command headers should now point to the current relevant standards
1302 document, where applicable.</p>
1303
1304 <p>This news page had old news entries from before the relaunch moved into
1305 a separate <a href=oldnews.html>oldnews</a> page.</p>
1306
1307 <p>I forgot to create <a href=bin>static binaries</a> last time, but they're
1308 back now.</p>
1309 </span>
1310
1311 <a name="23-07-2012" /><a href="#23-07-2012"><hr><h2><b>July 23, 2012</b></h2></a>
1312 <blockquote><p>"Ford", Arthur said. "There's an infinite number of monkeys
1313 out here who want to talk to us about this script for Hamlet they've worked
1314 out." - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1315
1316 <p><a href=downloads/toybox-0.4.0.tar.bz2>Toybox 0.4.0</a> is based on
1317 <a href=http://landley.net/hg/toybox/shortlog/640>commit 640</a>.</p>
1318
1319 <p>The new <a href=status.html>status page</a> is calculated from
1320 the roadmap info, and should be easier to keep up to date in future.</p>
1321
1322 <p>Andre Renaud contributed od and modinfo. Elie De Brauwer contributed
1323 taskset, bugfixes to cmp and tail, and tests for sort and tail. Kyungwan Han
1324 contributed passwd. Gaurang Shastri contributed w. Ashwini Sharma spotted a
1325 case where dirtree was adding extra slashes to a path.</p>
1326
1327 <p>I rewrote od, cleaned up comm, documented the
1328 <a href=code.html#lib_llist>llist</a> and
1329 <a href=code.html#lib_dirtree>dirtree</a> infrastructure, added an -r option
1330 to date (and fixed a bug where -u wouldn't override /etc/localtime),
1331 fixed bugs in chmod +stw, fixed ls to show suid bits properly when the
1332 corresponding executable bit wasn't set, and worked around a longstanding
1333 glibc bug where static linking prevents stdout from automatically flushing
1334 pending output on exit.</p>
1335
1336 <a name="25-06-2012" /><a href="#25-06-2012"><hr><h2><b>June 25, 2012</b></h2></a>
1337 <blockquote><p>"For a moment, nothing happened. Then, after a second or so, nothing continued to happen." - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1338
1339 <p><a href=downloads/toybox-0.3.1.tar.bz2>Toybox 0.3.1</a> is based on commit
1340 <a href=http://landley.net/hg/toybox/shortlog/607>commit 607</a>. It's
1341 mostly a bugfix release for ls -l (which was unhappy on targets other than
1342 x86-64), plus a new "date" from Andre Renaud and rewritten chgrp/chown which
1343 now support the full set of posix flags, plus a little work on the test
1344 suite and some more header tweaks towards eventual compatability with the
1345 musl libc.</p>
1346
1347 <p>The todo list runneth over, but "release early, release often", so here
1348 it is. The roadmap and documentation are a bit behind, and I've got ~40
1349 pending submissions to review. I need to catch up...</p>
1350 </span>
1351
1352 <a name="12-06-2012" /><a href="#12-06-2012"><hr><h2><b>June 12, 2012</b></h2></a>
1353 <blockquote><p>"For instance, on the planet Earth, man had always assumed that
1354 he was more intelligent than dolphins because he had achieved so much - the
1355 wheel, New York, wars and so on - whilst all the dolphins had ever done was
1356 muck about in the water having a good time. But conversely, the dolphins had
1357 always believed that they were far more intelligent than man - for precisely
1358 the same reasons." - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1359
1360 <p>It's well past time for <a href=downloads/toybox-0.3.0.tar.bz2>toybox 0.3.0</a>,
1361 so here it is, based
1362 on <a href=http://landley.net/hg/toybox/shortlog/595>commit 595</a>, and the
1363 statically linked <a href=downloads/binaries>prebuilt binaries</a> should
1364 actually be statically linked this time (thanks Ashwini Sharma for spotting
1365 that).</p>
1366
1367 <p>It's hard to figure out where to cut a release, because development
1368 doesn't stop. "Long before now" is the obviuos answer, of course.
1369 The project's maintainer also moved house during this development cycle, which
1370 threw things off for a bit (so many boxes). Releases should hopefully be a bit
1371 more frequent from here on.</p>
1372
1373 <p>The big things Rob worked on this time were the new dirtree (directory
1374 tree traversal) infrastructure, and a complete rewrite of ls using that
1375 which should now implement all 26 posix options.</p>
1376
1377 <p>Georgi Chorbadzhiyski added printenv, whoami, mkdir, mkfifo, chmod, chown,
1378 chgrp, and uniq. He also added fraction and extension support to sleep (so if
1379 you need a quarter-second sleep, it can do that now), and fixed a build bug
1380 on slackware.</p>
1381
1382 <p>Daniel Walter contributed a string to mode_t parser (in use by chmod and
1383 mkdir -m).  Ilya Kuzmich contributed comm. Elie De Brauwer added mountpoint,
1384 vmstat, logname, login, and mktemp. Kevin Chase did some portability cleanups.
1385 Pere Orga fixed some documentation.</p>
1386
1387 <p>The "tac" and "clear" commands are now normal commands instead of shell
1388 wrappers, and the header #includes have been cleaned up a bit to remove
1389 deprecated functions and attempt to increase compatability with the bionic and
1390 musl C libraries, "tail" should now use lseek() for large files, and "id" got
1391 some cleanups and bugfixes.</p>
1392
1393 <p>The new TOYBOX_FLOAT configuration option selects whether or not
1394 to include floating point support (for embedded targets where that's
1395 problematic).</p>
1396
1397 <p>Several random bugfixes: unshare() might actually build portably now,
1398 yes 'n' | cp -i should no longer bypass stdin and prompt via the tty, the
1399 SUID support no longer drops permissions going through the toybox
1400 multiplexer command, and a bugfix to xargs -0 means it should no longer
1401 segfault. (I have a pending bug report about xargs not doing the full
1402 posix whitespace handling that -0 obsoleted, but I'll deal with that next
1403 release.)</p>
1404
1405 <p>The build infrastructure is now automatically generating FLAG_ macros
1406 for the options, but currently with the wrong names. Some more macro glue
1407 is necessary, which I haven't quite figured out how to do yet.</p>
1408
1409 <p>A defconfig toybox at the start of the $PATH has successfully built
1410 Linux From Scratch (in my Aboriginal Linux project). The commands that
1411 'default n' in the config are often still broken, cleanup is ongoing.
1412 (The new dirtree stuff broke several of them that haven't been converted
1413 yet, but if I wait until everything works we won't have a release before
1414 1.0, so here's a checkpoint.)</p>
1415
1416
1417 <a name="03-03-2012" /><a href="#03-03-2012"><hr><h2><b>March 3, 2012</b></h2></a>
1418
1419 <blockquote><p>"They went unnoticed at Goonhilly, passed over Cape Canaveral
1420 without a blip, and Woomera and Jodrell Bank looked straight through them.
1421 Which was a pity, because it was exactly the sort of thing they'd been looking
1422 for all these years."</p></p>- The Hitchhiker's Guide to the Galaxy.</p>
1423 </p></blockquote>
1424
1425 <p>Here's <a href=downloads/toybox-0.2.1.tar.bz2>toybox 0.2.1</a> based
1426 on <a href=http://landley.net/hg/toybox/shortlog/512>commit 512</a>.  This
1427 time around, there are statically linked <a href=downloads/binaries>prebuilt
1428 binaries</a> for various embedded targets.</p>
1429
1430 <p>It's been a busy few weeks, almost entirely due to new contributors. (I
1431 have not quite been keeping up.)</p>
1432
1433 <p>Elie De Brauwer contributed free, uptime, swapon, swapoff, lsmod, mknod,
1434 insmod, rmmod, and fixed a bug in basename.  Andre Renaud contributed ls, ln,
1435 realpath, and hostname. Andres Heck contributed pidof and killall.  Daniel
1436 Walter wrote kill and extended id. Timothy Elliott contributed tail and tests
1437 for cmp. Frank Bergmann sent a warning fix. Bryce Fricke added -i to cp.
1438 Nathan McSween pointed out an optimization. Georgi Chorbadzhiyski fixed
1439 cross compiling to work more reliably.</p>
1440
1441 <p>(My own contribution this time around was just tightening up other people's
1442 code, a build fix to unshare, some random bugfixes, and so on. My only new
1443 code this time around was writing a bash replacement for the existing python
1444 bloat-o-meter.)</p>
1445
1446 <p>Last time (the 0.2.0 release) included the first pass at an id command from
1447 Tim Bird, env and basename from Tryn Mirell, cmp and head from Timothy Elliott,
1448 more bugfixes from Nathan McSween and Elie De Brauwer, and Luis Felipe Strano
1449 Moraes did a first pass at the who command plus other bugfixes and
1450 optimizations.</p>
1451
1452 <p>(For that release I did xargs, cal, truncate, unlink, nohup, tty, wc, link,
1453 dirname, unshare, and various infrastructure tweaks, but it took me 3 months
1454 and those guys did their stuff in a week or so.)</p>
1455
1456
1457 <a name="12-02-2012" /><a href="#12-02-2012"><hr><h2><b>February 12, 2012</b></h2></a>
1458 <blockquote><p>
1459 "for though it has many omissions and contains much that is apocryphal, or at
1460 least wildly inaccurate, it scores over the older, more pedestrian work in two
1461 important respects..."</p>
1462 <p> - The Hitchhiker's Guide to the Galaxy</p></blockquote>
1463
1464 <p>Here's the first BSD licensed release,
1465 <a href=downloads/toybox-0.2.0.tar.bz2>toybox-0.2.0</a>, more a synchronization
1466 point than anything particularly useful.  47 commands in a reasonably
1467 ready-to-use state (what "make defconfig" builds), another ten or so partially
1468 finished stubs ("make allyesconfig"), and several
1469 patches pending on the mailing list I need to review and merge.</p>
1470
1471 <p>More to come...</p>
1472
1473 <hr>
1474 <a name="15-11-2011" /><a href="#15-11-2011"><hr><h2><b>November 15, 2011</b></h2></a>
1475 - Back from the dead, Toybox is now under a 2
1476 clause BSD license, and aiming to become the default command line
1477 implementation of Android systems everywhere.</p>
1478
1479 <p>More to come...</p>
1480
1481 <hr>
1482
1483 <p><a href=oldnews.html>Old news</a> from before the relaunch.</p>
1484
1485 <!--#include file="footer.html" -->