www/news.html

   1 <html><head><title>toybox news</title>
   2 <!--#include file="header.html" -->
   3
   4 <p>Toybox combines common Linux command line utilities together
   5 into a single BSD-licensed executable that's simple, small, fast,
   6 reasonably standards-compliant, and powerful enough to turn Android into
   7 a development environment. See the links on the left for details.</p>
   8
   9 <h2>News</h2>
  10
  11 <a name="12-10-2017" /><a href="#03-10-2017"><hr><h2><b>October 12, 2017</b></h2></a>
  12 <blockquote><p>Would it save you a lot of time if I just gave up and went
  13 mad now?</p>
  14 <p> - The Hitchhiker's Guide to the Galaxy</p>
  15 </blockquote>
  16
  17 <p><a href=downloads/toybox-0.7.5.tar.gz>Toybox 0.7.5</a>
  18 (<a href=https://github.com/landley/toybox/releases/tag/0.7.5>git commit</a>)
  19 is out.</p>
  20
  21 <p>This is another <b>mostly bugfix release</b>. I delayed it a bit trying to get some
  22 of the many half-finished projects (dd, ping, lsof, iconv, cut, sysconf,
  23 the cp --parents option...) finished/promoted/tested, but decided adding big
  24 things at the end of the dev cycle would be too destabilizing.</p>
  25
  26 <p>A couple <b>new features</b> slipped in anyway. Ilya Kuzmich added head -c
  27 and strings -t (and corrected strings' output in a couple places). Elliott
  28 Hughes taught file to recognize Macintosh (Mach-O) binaries.</p>
  29
  30 <p><b>NOTE</b>: the chrt command is broken when built against musl-libc
  31 because that project's maintainer decided he didn't like the system calls
  32 it depends on, so he
  33 <a href=https://git.musl-libc.org/cgit/musl/commit/?id=1e21e78bf7a5>removed
  34 them from his libc</a>. The prebuilt binaries are built against musl,
  35 so the chrt command there will always say -ENOSYS. (It works fine built against
  36 glibc, and presumably bionic or uClibc.)</p>
  37
  38 <p><b>Bugfixes</b>: Remounting (mount -o remount,rw) should work properly now,
  39 and we fixed another place ps was segfaulting when /proc
  40 entries vanished out from under us (a hard to hit race condition
  41 mostly noticeable in long-running "top" exiting; error value was treated
  42 as a pointer). Elliott Hughes fixed a -Wformat warning in expr.c,
  43 and made xargs split the command
  44 line at ARG_MAX (which is 1/4 the stack size ulimit, which normal users
  45 can arbitrarily increase but execve() will complain if they don't).
  46 Josh Gao made netcat -l exit after handling a request, and reported a
  47 seq bug (seq "1000000 10000001" output 1e+06, fixed now). Zach Riggle fixed a
  48 broken URL in the README. Rob fixed env -0 checking the flag wrong so
  49 it didn't work in combination with other flags (typo).</p>
  50
  51 <p><b>Plumbing</b>:
  52 Replaced mbrtowc() with a new utf8towc() that doesn't have a context
  53 struct or care about locale. A bugfix in comma_scan() (wasn't removing an entry at the end
  54 of the list) is why remount _sometimes_ worked (depending on argument
  55 order), xgetaddrinfo() is now separate from xconnect(),
  56 atolx_range() learned the w (word=2) suffix, and b is now (block=512) instead
  57 of (byte=1).</p>
  58
  59 <p><b>Build</b>: Patrick Oppenlander added a workaround for a bug in config2help.c
  60 that resulted in segfaults on newer toolchains. (It was actually a use
  61 after free error; the build infrastructure isn't nearly as heavily audited as
  62 code that gets installed on the target; oops.) A new GITHASH
  63 environment variable can force the build version from
  64 the command line, and the build checks for .git in the top directory
  65 before asking git what our version is (so it isn't confused by ../../.git
  66 in an enclosing directory). Added a build #warning about musl intentionally
  67 breaking chrt (as with nommu fork() musl now provides a broken
  68 stub function so compile-time probes for its existence think it's there, and
  69 you can't run the result to test behavior when cross compiling).</p>
  70
  71 <a name="19-06-2017" /><a href="#19-06-2017"><hr><h2><b>June 19, 2017</b></h2></a>
  72 <blockquote><p>It is a well-known fact that those people who most want to rule people are, ipso facto, those least suited to do it.
  73 To summarize the summary: anyone who is capable of getting themselves made President should on no account be allowed to do the job.</p>
  74 <p>- The Hitchhiker's Guide to the Galaxy</p>
  75 </blockquote>
  76
  77 <p><a href=downloads/toybox-0.7.4.tar.gz>Toybox 0.7.4</a>
  78 (<a href=https://github.com/landley/toybox/releases/tag/0.7.4>git commit</a>)
  79 is out. No new commands this time, but
  80 <b>chrt</b> and <b>dmesg</b> got promoted out of pending.</p>
  81
  82 <p><u>New features</u>:
  83 Rob rewrote paste, which should work much better now, and added grep
  84 -M and -S to match and skip wildcards respectively (useful with -r).
  85 Elliott's updated dmesg has -T and --color. The file
  86 command can recognize gzip now, uptime grew -s, date grew %N, env knows - as a first argument
  87 means -i (posix!) and grew -0, ls defaults to -b
  88 instead of -q now when there's a tty, and ls has a new -ll option (with
  89 --full-time as a compatibility synonym) showing nanoseconds and (for some
  90 reason) timezone. (Why do individual files have timezones?) Elliott added
  91 "uudecode -o -" support. Illya Kuzmich taught head -v and -q. The cpio
  92 code no longer adds the "TRAILER!!!" entry by default (initramfs extractor
  93 doesn't care) without which you can concatenate cpio archives with "cat".
  94 (Use the new --trailer option if you want the legacy behavior.)
  95 In pending, fdisk compiles now and tar understands bzip2.</p>
  96
  97 <p><u>Build</u>:
  98 The "make install_airlock" target now symlinks bc from the host because
  99 the kernel <a href=https://landley.net/notes-2013.html#28-03-2013>inexplicably</a>
 100 needs that to build. This was motivated by
 101 <a href=https://github.com/landley/mkroot>mkroot</a>, which builds under
 102 a toybox airlock directory.</p>
 103
 104 <p>Lots of work on the test suite, mostly from the Android guys who are now
 105 running it under Android. This fixed several existing tests that didn't
 106 pass, made more tests run on a toybox-only system, and so on. The test suite
 107 infrastructure now has a second testing function,
 108 "testcmd", which supplies the command name being tested (bypassing
 109 shell builtins).</p>
 110
 111 <p>Various android build and config fixes, getting closer to being able
 112 to let android someday use scripts/make.sh instead of generated/* snapshots.
 113 Also more work into building under android's NDK; not quite there yet
 114 but much closer.
 115 Use nproc in scripts/make.sh detect available processors (so you can control the SMP level with taskset).
 116 Removed the old uClibc compatibility glue, it's been 5 years since their
 117 <a href=http://lists.busybox.net/pipermail/buildroot/2016-December/180102.html>last release</a>.</p>
 118
 119 <p>The new config option TOYBOX_PEDANTIC_ARGS checks arguments when there
 120 are no arguments, so things like "uptime" no longer silently ignore arguments
 121 you pass but instead refuse to run.</p>
 122
 123 <p><u>Docs</u>:
 124 The FAQ now has more than one entry. Commands no longer output the full
 125 help text for argument errors but instead just say "See %s --help" with the
 126 command name (in addition to the actual error message).
 127 Elliott did a big period-ectomy on all the --help text, and
 128 we cleaned up some tab/space inconsistency. The
 129 non-html help -a output now has separators with the command name.
 130 The top/iotop and pkill/pgrep help text now describe a lot more of what
 131 the commands can do. Twitter's code of conduct page went down so we
 132 mirrored the text locally.</p>
 133
 134 <p><u>Bugfixes</u>:
 135 Fixed a race condition in ps/top where a process that exited right as we
 136 read its data returned a different error value than we were expecting (which
 137 was causing long-running top instances to occasionally exit),
 138 mount now gives an error if it can't autodetect the filesystem
 139 type, ps no longer queries the terminal size when output isn't to a tty
 140 (so "ps -A | cat" doesn't vary), date's chkmktime() was replaced with
 141 simple range checks for fields (to avoid false positives from things like
 142 timezones and daylight savings time), removed %s from date's help (we
 143 didn't implement it, we have @seconds[.nanoseconds] instead), fixed
 144 zcat's buffer flush logic (which was always failing on files larger
 145 than 32k), and factor now detects requests for numbers >64 bits and fails
 146 loudly instead of producing incorrect answers.
 147 Elliott fixed touch -a/-m (they were backwards), and allowed ':' in
 148 setprop's property names. Grep now exits with 2 for errors (so -q can
 149 distinguish "didn't find" from "didn't work"), doesn't stop on symlinks
 150 that point nowhere (there was an error_exit() that should just be a warning),
 151 and provides error messages for files we could open but not read.</p>
 152
 153 <p><u>Library</u>:
 154 New library functions: strend() complements strstart(), minof()/maxof()
 155 are min/max macros that evalute arguments once and autodetect type (why
 156 isn't this in libc?), xmmap() checks MAP_FAILED (which is not NULL).</p>
 157
 158 <a name="21-02-2017" /><a href="#21-02-2017"><hr><h2><b>February 21, 2017</b></h2></a>
 159 <blockquote><p>Only six people in the Galaxy knew that the job of the
 160 Galactic President was not to wield power but to attract attention
 161 away from it. Zaphod Beeblebrox was amazingly good at his job.</p>
 162 <p>- The Hitchhiker's Guide to the Galaxy</p></blockquote>
 163
 164 <p>Despite everything, <a href=downloads/toybox-0.7.3.tar.gz>Toybox 0.7.3</a>
 165 (<a href=https://github.com/landley/toybox/releases/tag/0.7.3>git commit</a>)
 166 is out. The <u>new commands</u> this time are <b>ftpget</b>, <b>ftpput</b>, <b>microcom</b>, and <b>ascii</b>.<p>
 167
 168 <p>We also had two command _demotions_ out of defconfig:
 169 <b>hostid</b> got moved to toys/example and
 170 switched to "default n" because despite <a href=http://pubs.opengroup.org/onlinepubs/9699919799/functions/gethostid.html>still being in posix</a>
 171 the concept of a unique 32 bit number identifying a system is something
 172 Linux outgrew about the time Pauline Middelink wrote the first IP
 173 Masquerading code. And Elliott did a complete rewrite of <b>dmesg</b> introducing
 174 two codepaths that I didn't get a chance to unify and didn't want to
 175 hold up the release for, so that's back in pending.</p>
 176
 177 <p><u>New features</u>: Rob added units to <b>find</b> -atime and friends
 178 (with the legacy -amin alias). Elliott added color and -w to dmesg, fallocate
 179 -o, and improved file's ELF parsing. Steve Muckle added -d and finit_module
 180 support to modprobe. Rob and Elliott tweaked the
 181 ps/top display format a bit more (extending the USER field from 8 to 18 chars
 182 and putting + at the end of string fields that got truncated).
 183 df -a isn't entirely new, but wasn't documented and needed a bugfix.</p>
 184
 185 <p><u>Bugfixes</u>:
 186 Last release broke oneit because -c didn't get moved to xopen_stdio() (oops).
 187 Rob and Elliott simultaneously spotted ps padding each line to 99999
 188 chars when there's no tty (serial console or adb); now it pads to 80 in
 189 that case but also switches on -w to avoid field truncation. The "tty"
 190 field also sometimes had trailing debris (that's fixed now). And "top" was
 191 endlessly redrawing with out tty because receipt of the ANSI size probe
 192 results would set SIGWINCH, and handling that sent another ansi probe. (Sigh.)
 193 And while we're there, replace "ADDR" with "BIT" in ps -l so there are
 194 more than 4 chars left for the "CMD" field on 64 bit systems.</p>
 195
 196 <p>Izabera pointed out that split -b and -l can't mix, and suggested seq should
 197 multiply to avoid accumulating rounding errors from repeated fractional
 198 increments. Wang Xiao Jian fixed a bug in sort -k.
 199 Elliott let getprop use the @ character in property names, and
 200 Dimitry Ivanov removed the name length limit for system properties.
 201 Elliott also improved some error reporting and improved top -H's display
 202 of thread names.
 203
 204 <p>Josh Gao pointed out that recursive operations on . and .. could be ignored
 205 in chmod -R (and the resulting generic fix to dirtree_notdotdot() fixed
 206 it in several other places).</p>
 207
 208 <p>Justin Cormack caught tar producing a warning to stdout that screwed up
 209 "tar c" to stdout.
 210 Rob fixed an option parsing bug (where switching off a --longopt in menuconfig
 211 confused the parser), and another one where an option excluding itself
 212 (ala "abc[-ab][!abc]" with "command -a -b") would segfault.</p>
 213
 214 <p>There's some sort of gcc stack over-optimization bug where musl-libc's
 215 version of vfork() doesn't get marked with attribute(returns_twice) so
 216 stack varabiles in the same function after that get semi-randomly overwritten
 217 when the optimizer decides to reclaim the space. So add the attribute
 218 to the function the XVFORK() wrapper macro calls. (It's a nommu thing.)</p>
 219
 220 <p>Fixed a couple variable size mismatch bugs that were only tested on 64 bit
 221 (printf %x 64) or only tested on 32 bit (modprobe), removed some
 222 unnecessary casts in stat.</p>
 223
 224 <p>Continuing attempts to build under Android NDK brought up that posix
 225 defines the global 'stdout' as a macro, which older versions of bionic
 226 turned into an array member, but a function was using it as an argument
 227 name. (This worked in the AOSP build because it only builds against current
 228 bionic, where there's a global 'stdout'.)</p>
 229
 230 <p>Several commits argued with clang's warning generation, eventually
 231 settling on a variant of __attribute__((__shut_up__)).</p>
 232
 233 <p>Android should no longer give spurious error messages
 234 when you "ps -A | head" about EPIPE on output. (Older versions of bionic
 235 set an error handler on SIGPIPE, but it shouldn't do that now. More recent
 236 versions of adb set the SIGPIPE handler to SIGIGN instead of SIGDFL,
 237 leading to write returning an error message instead of silently killing
 238 the program. So we set it back to the default.)</p>
 239
 240 <p><u>Docs</u>:
 241 Removed website link to the gmane archive (which didn't survive gmane's
 242 change of ownership). The FAQ now answers a _second_ question. (Woo!)
 243 Some roadmap updates.</p>
 244
 245 <p><u>Build tweaks</u>:
 246 Upgraded "make install_airlock" target to only warn about missing
 247 commands (unless $PEDANTIC is set) when it sets up the hermetic build
 248 path. (The plan is still to implement everything but the toolchain
 249 binaries in toybox, but in the meantime we're symlinking other stuff from
 250 the $HOST that isn't ready yet. See
 251 <a href=https://github.com/landley/mkroot>mkroot</a> for an example using
 252 this.)</p>
 253
 254 <p>Elliott and Rob continue to poke at building toybox with Android's NDK,
 255 but it's a work in progress (<a href=http://lists.landley.net/pipermail/toybox-landley.net/2016-December/008767.html>thread</a>). Various changes
 256 removing libcutils dependencies and adding an selinux dependency to getprop
 257 are fallout from this.</p>
 258
 259 <p>Cross-compiling from Macs needs to use "gsed" instead of apple's
 260 version, so teach the build to use that name if it exists in the $PATH.
 261 If you try to build without running config first, you should get better
 262 error reporting now. Added a workaround for Centos' broken "which" command
 263 producing output when it _can't_ find a name in the $PATH.</p>
 264
 265 <p><u>Library</u>:
 266 The new dirtree flag DIRTREE_PROC skips non-numeric entries so things
 267 like ps and top can scan /proc more efficiently.</p>
 268
 269 <a name="21-10-2016" /><a href="#21-10-2016"><hr><h2><b>October 21, 2016</b></h2></a>
 270 <blockquote><p>Probability factor of one to one. We have normality. I repeat,
 271 we have normality. Anything you still can't cope with is therefore your
 272 own problem.</p><p> - The Hitchhiker's Guide to the Galaxy</p></blockquote>
 273
 274 <p><a href=downloads/toybox-0.7.2.tar.gz>Toybox 0.7.2</a>
 275 (<a href=https://github.com/landley/toybox/releases/tag/0.7.2>git commit</a>)
 276 is out.</p>
 277
 278 <p>During this development cycle, Elliott Hughes <a href=http://androidbackstage.blogspot.com/2016/07/episode-53-adb-on-adb.html>got interviewed
 279 on the ADB podcast</a>
 280 and Rob Landley <a href=http://linuxluddites.com/shows/episode-88/>got interviewed on Linux Luddites</a> (<a href=http://linuxluddites.com/shows/episode-11/>again</a>).
 281 Both talk about toybox and many other things.
 282 The web page also grew a new <a href=faq.html>FAQ page</a>, currently with
 283 just the one.</p>
 284
 285 <p>New comands added to defconfig are <b>tunctl</b>,
 286 <b>log</b>, <b>start</b>, <b>stop</b>, and <b>sendevent</b>.
 287 The commands <b>file</b> and <b>netstat</b> got promoted out of pending.
 288 Pending added <b>chrt</b>, <b>setfattr</b>, and <b>getfattr</b>, and saw
 289 a lot of cleanups to diffstat and dd but not enough to promote them to
 290 defconfig yet. A new toys/net directory was added, moving ifconfig, netcat,
 291 netstat, rfkill, and tunctl there so far.</p>
 292
 293 <p><b>Upgrades</b>: All commands now parse --version when they understand
 294 --help, but "true" and "false" should now ignore their arguments entirely.
 295 We taught stat to handle "%12x" and "%.12x" printf-style escapes, which
 296 apparently other versions do. The ifconfig output now shows the interface's
 297 device driver. Added patch -d and --dry-run, wc can now do -cm together,
 298 find has a NOP -noleaf so scripts that use that don't break, add -c to md5sum
 299 and sha1sum. Elliott taught ps to treat extra aguments as additional -p
 300 pids, implemented xxd -s, did a number of upgrades to file (added -HL,
 301 support for ar files, improved ELF support to report android API level
 302 and stripped/not stripped and it no longer prints a guessed build ID type).
 303 Elliott also added optional build-time support for using openssl's
 304 assembly-optimized md5sum/sha1sum implementations (leading to a new
 305 <a href=design.html>design</a> policy on shared libraries).</p>
 306
 307 <p><b>Bugfixes</b>: Too many fixes to "ps" and "touch" to list, from both
 308 Elliott and Rob. Rob taught sed to handle s/[[:space:]/]// type sequences
 309 properly, switched grep to a better
 310 workaround for <a href=https://sourceware.org/bugzilla/show_bug.cgi?id=17829>glibc bug 17829</a>, made sed -i preserve ownership when run as root,
 311 made du max out at 2 terabytes instead of 2 gigabytes on 32-bit systems
 312 (it was always designed to, but was missing a typecast),
 313 fixed the option parsing infrastructure (config options that remove command
 314 line options got the placeholders wrong), fix to printf for printing
 315 octal digits and handling the (posix-mandated) difference between %b and
 316 non-%b octal output, reading from "-" no longer closes stdin when done,
 317 netcat -L works with nommu (although it may need more portability work),
 318 and you can now "make test_scankey" if you want to. Several commands
 319 (stat, makedeves, chgrp, cp, find) handled user name lookup failure badly
 320 (stat was segfaulting if you interrogated a file belonging to a nonexistent
 321 user, "chown 12345 file" errored out if you didn't have that user
 322 in /etc/passwd... now they should all print/accept the number when
 323 appropriate). "LC_ALL=C ls -Cs --color" produces the same output
 324 as other versions (two spaces padding, -k hardwired on).<p>
 325
 326 <p>Kyungsik Lee fixed a bug
 327 in cp (readlink() doesn't actually null terminate the string it reads in),
 328 Elliott Hughes made pgrep/pkill return success/failure, fixed trailing
 329 whitespace in netstat, fixed a SMACK symbol conflict due to linux/xattr.h
 330 changing, fixed ls -sh, and added a lot of
 331 stuff to the <a href=roadmap.html>roadmap page</a>.
 332 Izabera pointed out cmp -l and -s can't be selected at the same time,
 333 that timeout was never actually checking -v, that ls should default to -q
 334 when output is to a tty, and that "file -" would sometimes try to open "-"
 335 instead of stdin.
 336 Usischev Yury pointed out a use after free error, and that id shouldn't
 337 call exit() directly. Matthias Urhahn pointed out that stat(2) returns
 338 hardwired 512-byte units, so stat.c was wrong. David Hedges pointed out
 339 that route could only handle 10 character interface names when the kernel
 340 can do 15 (it's still in pending for a reason, but fixed). Evgenii
 341 Stepanov found and helped diagnose one of the more subtle ps bugs fixed
 342 this time around.</p>
 343
 344 <p>Calling "make test_blah" no longer causes make to error out if the last
 345 test fails (and thus returns a nonzero error code).
 346 Building single commands and the multiplexer used to require a "make clean"
 347 between them (because they had different config files both of which were older
 348 than generated/config.h so it didn't get rebuilt; now it just always
 349 rebuilds it).</p>
 350
 351 <p>The defconfig build is now slightly less broken on older centos versions
 352 (although <a href=http://lists.landley.net/pipermail/toybox-landley.net/2016-September/008664.html>the consensus</a> is that Centos is just generally broken).<p>
 353
 354 <p>Several commands were over-using xprintf(), which flushes its output
 355 to check for error (something you only need to do maybe once per line,
 356 and even then maybe only in loops because xexit() flushes and checks
 357 ferror() for you and adjusts the exit code if we wrote stuff to stdout
 358 that couldn't be printed). Lots of little flushes are inefficient,
 359 so most things can use normal printf(). (Retransmission
 360 of short writes is presumably libc's problem since it's buffering the
 361 output and all.)</p>
 362
 363 <p><b>Library:</b>
 364 New library functions readlink0() and readlinkat0() which properly null
 365 terminates the symlink value (which the stock libc function inexplicably
 366 doesn't).
 367 The new do_lines() function interates reading lines from a filehandle
 368 and calling a function on each line.
 369 New function pollinate() factoring out netcat's poll() loop so things
 370 like telnet can use it.
 371 New functions getusername() and getgroupname() return a
 372 char * given a uid/gid (and return a string representation of the number
 373 if the lookup fails), and xgetpwnamid/xgetgrnamid were renamed to
 374 xgetuid/xgetgid and now return an integer instead of a struct (also helping
 375 handle lookup failures, you can still return the uid/get for "12345").</p>
 376
 377 <p>Switched atolx() to use long long internally.
 378 Renamed xopen() to xopen_stdio() and made a new xopen() that never returns
 379 stdin, stdout, or stderr (duping /dev/null into the filehandles as necessary).
 380 New function xopenro() opens a file read only with one less argument, and
 381 understands that "-" means stdin. New flag WARN_ONLY tells these functions
 382 to just print a warning on failure, and return -1 instead of exiting.
 383 Misc new functions like openro() which defaults to the WARN_ONLY behavior
 384 and notstdio() which dup()s a filehandle up beyond stdin/out/err backfilling
 385 with /dev/null as necessary. The WARN_ONLY flag let us remove the failok
 386 argument from loopfiles().</p>
 387
 388 <p>New TOYFLAG_NOHELP disables --help processing (which "true" and "false"
 389 should not do).</b>
 390
 391 <p>The test suite now has NOSPACE=1 to ignore whitespace (using diff -b to
 392 check results), which helps TEST_HOST pass the same tests as toybox.
 393 Fixes to chattr and date tests. It also has a new variable $C with the
 394 absolute path to the command being tested (bypassing shell builtins),
 395 and a function testcmd() which is just like testing() except it prepends
 396 the command name ($C) to the test command line as well as the test
 397 description.</p>
 398
 399 <a name="02-06-2016" /><a href="#02-06-2016"><hr><h2><b>June 2, 2016</b></h2></a>
 400 <blockquote><p>When the 'Drink' button is pressed it makes an instant but
 401 highly detailed examination of the subject's taste buds, a spectroscopic
 402 analysis of the subject's metabolism, and then sends tiny experimental
 403 signals down the neural pathways to the taste centres of the subject's
 404 brain to see what is likely to be well received. However, no-one knows
 405 quite why it does this because it then invariably delivers a cupful of
 406 liquid that is almost, but not quite, entirely unlike tea.</p>
 407 <p> - The Hitchhiker's Guide to the Galaxy</p></blockquote>
 408
 409 <p><a href=downloads/toybox-0.7.1.tar.gz>Toybox 0.7.1</a>
 410 (<a href=https://github.com/landley/toybox/releases/tag/0.7.1>git commit</a>)
 411 is out. (Yes, I forgot to update the --version string, but I already
 412 uploaded the <a href=downloads/binaries/0.7.1>binaries</a>.)</p>
 413
 414 <p>The website has https support now, you can "make cat ps ls"
 415 to get standalone commands (and "make list list_pending" to see what's
 416 available), and a whole lot of bugfixes and new options to existing
 417 commands.</p>
 418
 419 <h2>New Commands</h2>
 420 <p>Rob implemented <b>ulimit</b>. In pending, Elliott Hughes implemented
 421 file. and Lipi Lee implemented a simple wget. (Pending also had minor
 422 cleanups to more and lsof, but no promotions this time around.)</p>
 423
 424 <h2>New Options</h2>
 425 <p>Izabera implemented env -u, suggested adding seq -w, made factor
 426 use full unsigned 64 bit math even on 32 bit platforms, pointed out base64
 427 -w0 should disable wrapping, and sped up wc -c.
 428 Elliott Hughes added mount -o relatime, xxd -p -r, and od -w.
 429 Sameer Pradhan (or possibly Bilal Qureshi) suggested adding stat -tL -c %m%t%T.
 430 Tom Cherry added getprop -Z. Paul Barker added hostname -b and -F.
 431 Rob added ls -b, made ls -q work with utf8,
 432 made sed -f - read from stdin, and added top -O (like ps -O).</p>
 433
 434 <p>Elliott and Rob <b>added Thread support to ps and top</b>,
 435 with -o TID, TNAME. We also added -o PCY (android scheduling policy),
 436 -o BIT (process is 32 or 64 bit), and -o TNAME now shows the parent
 437 command name for threads.</p>
 438
 439 <h2>Documentation</h2>
 440
 441 <p>Rob added the sed invocations to convert tabs/spaces and back to
 442 design.html. Isaac Dunham updated hexedit's help text.
 443 Jakob Flierl pointed out a broken URL in the README.</p>
 444
 445 <p>Rob also redid the naming scheme of sed's pattern manipulation code to
 446 remove the gratuitous references to Roger Zelazny's "Amber" series, since it
 447 was confusing people.</p>
 448
 449 <h2>Bugfixes</h2>
 450
 451 <p>Grep -H and -n should now work properly with -ABC. Andy Chu pointed out an
 452 out of bounds access for zero length lines in rev, fixed a buffer overflow
 453 in diff -r, and fixed operator precedence in expr (although Rob is rewriting
 454 chunks of expr so toysh can use its plumbing for $(( )) ).
 455 Patrick Ohly fixed the too-aggressive suid permission dropping logic.
 456 Josh Gao fixed a segfault when find -iname got no argument, and
 457 made tail -f work right with just one file argument.
 458 Tom Marshall cleaned up tar's long filename support and improved
 459 the tar tests, and reported another find bug (with -iname -o -iname not
 460 tracking copy lifetimes properly) that got fixed.</p>
 461
 462 <p>Elliott Hughes fixed wc -c to not trust zero length files to actually be
 463 zero length (/proc does that), fixed "mount -o rw,remount /system" on
 464 Android, removed trailing spaces on ps -o cmdline, fixed pkill -9 and
 465 the corresponding tests, made "insmod -" work, fixed top -b and tail -NUM,
 466 pointed out that ps shouldn't trim numeric fields for display size limits,
 467 and added some more
 468 explicit "sort" calls to make pipelines so build tempfiles are easier to cache.
 469 Rob <a href=https://github.com/landley/toybox/commit/32b3587af261>fixed an insane sed thing</a> the perl 5.22 build was doing.
 470 Fixed mount -o to properly pass in leftover string data, and
 471 <a href=http://lists.landley.net/pipermail/toybox-landley.net/2016-March/004790.html>documented how to use toybox to mount nfs</a> (warning: kernel patch
 472 to fix some bitrot in the kernel NFS driver's string parsing attached
 473 to that message).</p>
 474
 475 <p>George Burgess IV corrected some variable types in traceroute.
 476 Base64 now wraps == properly. Fixed two bzcat segfaults reported by
 477 John Regehr. Andy Chu found a segfault in "sed -e 'c\'" with no trailing
 478 line, and implemented mv -n and cp -n. The cyanogenmod guys pointed out that
 479 cp -a shouldn't complain if a non-root user can't chown, and we added
 480 the output path to cp -r error messages while we were there (before was just
 481 the filename).</p>
 482
 483 <p>Samuel Holland fixed blkid's handling of vfat labels, and
 484 fixed a segfault when basename was passed an empty string and an empty
 485 suffix. Davis Mosenkovs fixed touch -t seconds parsing.
 486 Rob fixed a bunzip bug reported by John Regehr (the bad CRC
 487 error message was printing a NUL argument).</p>
 488
 489 <p>Not all of the commands build standalone, but more of them do now;
 490 scripts/single.sh can now build a "mv" that isn't actually "cp".
 491 The dependencies are more granualr, so "make top; make ps" no longer
 492 produces a broken ps that ignores -A (because ps.o wasn't getting rebuilt
 493 even though top had the FLAG macros for -A zeroed).</p>
 494
 495 <h2>Build</h2>
 496 <p>Rob added a <b>warning when building commands out of
 497 pending</b>. (The pending directory is full of code that hasn't been
 498 properly vetted. Use at your own risk.)</p>
 499
 500 <p><b>New build targets let you build individual commands by name</b>, ala
 501 "make ls cat ps", and you can run the test suite for each standalone
 502 command with "make test_ls" and such.
 503 "make list" shows all such standalone commands in defconfig, and
 504 "make list_pending" shows unfinished commands from toys/pending
 505 ("make list list_pending" shows both together). "make clean" now deletes
 506 these filenames at the top level, and the corresponding unstripped files
 507 live in the directory generated/unstripped.</p>
 508
 509 <p>Nicholas Boichat suggested switching make.sh to use $! for process
 510 enumeration during parallel builds (which is both more efficient and more
 511 portable), and suggested shell builtin replacements for wc/awk/sed so the
 512 build loop has fewer forks now.</p>
 513
 514 <p>Lots of work on the test suite, much of it due to Andy Chu. It now
 515 consistently prints the name of the command being tested at the start of each
 516 test (and the common infrastructure does that, not each individual test), and
 517 "make tests" actually runs all the available tests now.
 518 Seperated pgrep and pkill tests, split lsattr/chattr, added fstype and base64
 519 tests. The "tests/files" directory now collects files for tests to
 520 use, with blkid, bzcat, and utf8 subdirectories: the $FILES variable
 521 gives a path to it, so "$FILES/blkid/ext2.bz2" and so on.
 522 The testsuite now has test files with 3 different types of "not utf8 output"
 523 sequences that require escaping, plus some combining character torture
 524 tests, direction reversals, and so on.</p>
 525
 526 <p>Added dependencies on TOYBOX_FORK to various pending commands that need
 527 nommu conversion (which should fix the allyesconfig build).</p>
 528
 529 <p>Static builds with selinux should work again.</p>
 530
 531 <h2>Library</h2>
 532
 533 <p>New bufgetgrgid() and bufgetpwuid() functions cache previous lookup info
 534 rather than repeatedly traversing /etc/passwd and /etc/group (which is slow).
 535 Added xpipe() to lib to catch pipe creation failure.
 536 The HELP_ macros generated by config2help.c now use a capital prefix
 537 to avoid collicing with help_exit() and such.</p>
 538
 539 <p>The dirtree infrastructure got a cleanup pass in preparation for adding
 540 infinite recursion depth support (needed by rm -r), updated the
 541 <a href=code.html#ib_dirtree>documentation</a> to describe the new
 542 semantics (removing dirtree_start() and adding dirtree_flagread()).
 543 Now dirtree_recurse() takes the new dirfd as an argument.</p>
 544
 545 <p>Split out _xexit() from xexit() and let sigatexit() set multiple
 546 callbacks.</p>
 547
 548 <p>For years the man pages have said to #include <sys/types.h> to get
 549 major/minor/makedev but now that glibc
 550 <a href=https://sourceware.org/ml/libc-alpha/2015-11/msg00253.html>has vowed
 551 to break existing programs</a> and replace it with another nonstandard header
 552 not in posix or lsb, we added our own functions to lib/ to do the transform
 553 ourselves (based on what the kernel actually expects).</p>
 554
 555 <h2>Portability</h2>
 556
 557 <p>Debian unstable started needing an extra header #include for some reason, and
 558 although printf("%.*s", INT_MAX, s) worked fine on Ubuntu 12.04 it
 559 didn't on 14.04, so added a workaround for that. Typecast a printf because
 560 wchar_t isn't a rigidly defined size. RLIMIT_RTTIME was
 561 added to the kernel in 2008 but you can't expect uClibc to have noticed yet,
 562 nor did it #define MS_RELATIME (added in 2006), or prlimit (2010)...
 563 (Given the improvements in musl and bionic, uClibc support may be dropped
 564 in a future release.) Given that the xattr functions were added during
 565 linux 2.5, we can #include its header unconditionally.</p>
 566
 567 <p>Renamed basename_r() to something else to avoid conflicting with freebsd's
 568 libc, and both scripts/install.h and scripts/config2help.c no longer include
 569 toys.h (to make cross-compiling from systems we don't run on easier).</p>
 570
 571 <p>Debian bug 635570 did something unspeakably nonportable, depending on
 572 "sed -e 'a\'" (with no next line of the pattern, so an unterminated
 573 continuation) to add a newline to the last line of input if and only if
 574 that last line of the input didn't have a newline, and to take no other
 575 action. This is well into "depending on a bug" territory, but we implemented
 576 it because otherwise Debian's install broke. (Of course this behavior
 577 is undocumented, non-obvious, and doesn't really make logical sense.)</p>
 578
 579 <p>CONFIG_TOYBOX_NORECURSE now disables the stack measuring logic (which
 580 was giving some "security" code fits). Also we typecast pointers to (long)
 581 before comparing them to avoid spurious compiler "optimizations" that
 582 break the code.</p>
 583
 584 <a name="02-02-2016" /><a href="#02-02-2016"><hr><h2><b>February 2, 2016</b></h2></a>
 585 <blockquote><p>"I checked it very thoroughly," said the computer, "and that
 586 quite definitely is the answer. I think the problem, to be quite honest with
 587 you, is that you've never actually known what the question is."
 588 - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
 589
 590 <p><a href=downloads/toybox-0.7.0.tar.gz>Toybox 0.7.0</a>
 591 (<a href=https://github.com/landley/toybox/releases/tag/0.7.0>git commit</a>)
 592 is out.</p>
 593
 594 <p>The new commands in defconfig are <b>iotop</b>, <b>top</b>, <b>pgrep</b>,
 595 and <b>pkill</b>
 596 (most replacing corresponding versions from pending). Added grep -ABC,
 597 swapon -d (discard), mkswap -L (label) and UUID support, and find -delete.
 598 Izabera added free -h and unshare -f. Josh Gao implemented tail -f.
 599 Jose Bollo submitted cp --preserve=context,attr. Kylie McClain added
 600 mktemp -u.</p>
 601
 602 <p>In pending there's the start of a vi command, and Sameer Pradhan contributed
 603 a new dhcp6. This cycle saw several rounds of route cleanup and a little dhcp
 604 cleanup, but neither are complete yet. Lipi Lee did some cleanup to netstat.c
 605 and Elliott Hughes removed warnings from traceroute.</p>
 606
 607 <p>Lots of updates to ps: several new -o options, -k (--sort) -O and -M,
 608 improved compatibility with Android's historical behavior, and
 609 extensive internal code cleanup (including the removal of all
 610 the magic constants).</p>
 611
 612 <h3><b>Website</b></h3>
 613
 614 <p>Dreamhost restored the <a href="#12-21-2015">missing 11 months</a>
 615 to the mailing list archive, in the process deleting the month after
 616 that. Now they've asked if I have mbox files archiving the new
 617 gap (between December 20, 2015 to January 21, 2016, and presumably they
 618 could also fill in the gap from December 14, 2014 to January 3, 2015 that's
 619 been there since the last time they did this),
 620 but due to some gmail filtering I've
 621 <a href=http://landley.net/notes-2012.html#15-10-2012>never
 622 been able to disable</a>, my copy of those files is spread among 3 different
 623 mbox files I'd have to sort/filter/collate. (It's on the todo list.)</p>
 624
 625 <p>Added a code of conduct to the README (we're
 626 <a href=https://engineering.twitter.com/opensource/code-of-conduct>borrowing twitter's</a>) because somebody
 627 made it necessary.</p>
 628
 629 <h3><b>Bugfixes</b></h3>
 630 <p>Fixed another sed bug where any ] right after [ was skipped (not just the
 631 first one in the range, so [[] didn't terminate). Fixed sort -f and added test cases.
 632 Assume 80 columns in "ls -m | cat", ls -L is no longer backwards,
 633 and ls of files with no paths no longer uses an uninitialized (zero) dirfd.
 634 Several bugfixes
 635 to find (Gilad Arnold fixed -perm, Daniel K. Levy fixed "find . -exec echo {}",
 636 and while we're there I fixed find --prune, made "find . -execdir
 637 echo {} + -execdir ls {} +" work, and ripped out the environment size
 638 measuring code that checked for a 128k limit removed back in linux 2.6.22).
 639 Elliott Hughes fixed the date command's parsing of 4 digit
 640 years and documented the %s escape, fixed hwclock -u, and pointed out
 641 that runcon needs to exec to do its job (not recursively call another
 642 command_main() in the same process). Tom Marshall reported that blkid was
 643 handling ext2 wrong. Mike Moreton corrected cpio extraction's uid and gid
 644 values, and added a --no-preserve-owner option. Fixed the SUID permission
 645 dropping logic (which was a bit over-zealous, preventing some commands from
 646 running at all).</p>
 647
 648 <p>I'm told that debian-testing broke its libc so the nsenter build breaks,
 649 but my attempts to install the debian-testing network cd image under
 650 qemu keep breaking. Maybe someday they'll fix it enough I can actually
 651 reproduce the problem. (Debootstrap under unbuntu builds an ubuntu-flavored
 652 chroot in which toybox builds fine.)</p>
 653
 654 <h3><b>Documentation</b></h3>
 655 <p>Rewrite of the about.html page, tweaks to design.html, and a re-triage of
 656 sbase in roadmap.html. Update to mkstatus.py to collate multiple span
 657 tags with the same id, resulting in a larger status.html page (which
 658 was previously ignoring some commands in the roadmap).</p>
 659
 660 <p>Expanded the defconfig/allyesconfig/allnoconfighelp text in "make help"
 661 to explain what they're for.</p>
 662
 663 <h3><b>infrastructure</b></h3>
 664 <ul>
 665 <li><p>Expanded toys.optargs to 64 bits so a command can have more than 32 options.</p></li>
 666 <li><p>Added NOEXIT() wrapper to turn xwrap() functions into warning versions
 667 using the existing longjump(toys.rebound) infrastructure.</p></li>
 668 <li><p>Renamed dirtree->data to dirfd and stopped storing symlink length
 669 into it (this fixed a bug where following symlinks to directories
 670 didn't give a valid directory filehandle, noticeable with ls -Z).</p></li>
 671 <li><p>New TAGGED_ARRAY() infrastructure generates index and bitmask macros
 672 for arrays of structures starting with a name string.</p></li>
 673 <li><p>New lib/linestack.c for utf8 fontmetrics (draw_str() and utf8len()
 674 and so on), and for tracking multiple lines of text
 675 (vi, less, shell history) that need wordwrapping and scrolling up/down.</p></li>
 676 <li><p>Upgrades to lib/interestingtimes.c: scan_key() now has a timeout
 677 in miliseconds and recognizes more sequences including ANSI
 678 window size probes. New utf8 test files in tests/files/utf8 including
 679 sequence reversing, stacked combining chars, and all three types of
 680 unprintable sequences (low ascii <32 ala ^X, invalid utf8 sequences ala
 681 <AB><CD>, and invalid unicode code points ala U+1234).</p></li>
 682 <li><p>More comma handling code in lib.c: comma_args()</p></li>
 683 <li><p>Added error_msg_raw() to shut up fortify's endless static checking false
 684 positives.</p></li>
 685 <li><p>readfileat() can now realloc() in a loop to read long files
 686 ("zcat | insmod" needed it).</p></li>
 687 </ul>
 688
 689 <h3><b>Roadmap</b></h3>
 690 <p>We're getting close to having a self-hosting development environment
 691 using toybox for the command line. The remaining busybox commands in
 692 <a href=http://landley.net/aboriginal/about.html>Aboriginal Linux</a> are:</p>
 693
 694 <blockquote><p><b>
 695 awk bunzip2 bzcat bzip2 dd diff expr fdisk ftpd ftpget ftpput gunzip gzip
 696 less ping route sh sha512sum tar test tr unxz vi wget xzcat zcat
 697 </b></p></blockquote>
 698
 699 <p>And the remaining non-busybox commands in Aboriginal Linux's build/host
 700 directory (from the distcc, genext2fs, e2fsprogs, zlib, and squashfs packagesi)
 701 are:</p>
 702
 703 <blockquote><p><b>
 704 mke2fs fsck.ext2 resize2fs distcc genext2fs unsquashfs distccd mksquashfs tune2fs
 705 </b></p></blockquote>
 706
 707 <p>Squashfs and distcc are probably out of scope for toybox, but mke2fs,
 708 fsck.ext2, resize2fs, genext2fs, and tune2fs should all be added to the
 709 above "busybox" replacement list.</p>
 710
 711 <p>Remind me to include this countdown in future releases. Once they've all
 712 been replaced, the next goal is <a href=http://landley.net/aboriginal/about.html#selfhost>building AOSP under itself</a>.</p>
 713
 714 <p>See the full <a href=roadmap.html>roadmap</a> and <a href=status.html>status</a>
 715 pages for more details.</p>
 716
 717 <a name="12-21-2015" /><a href="#12-21-2015"><hr><h2><b>December 21, 2015</b></h2></a>
 718
 719 <p>Yes, 11 months have gone missing from the mailing list web archive.</p>
 720
 721 <p>Yesterday evening Dreamhost's mailman server went down (timing out trying
 722 to connect). I poked them about it, they
 723 <a href=https://twitter.com/landley/status/678781271670149121>blamed
 724 DNS</a>, I explained that the hang was _after_ the DNS lookup and
 725 entered the dig info into the trouble ticket showing the IPs the DNS
 726 queries were returning, they reinstalled the server at that IP from what I
 727 assume was their most recent backup, and that's how 11 months of messages
 728 vanished out of the archive.</p>
 729
 730 <p>I've <a href=https://twitter.com/landley/status/679114451975467008>continued to poke them about it</a> but I honestly believe that's the best they
 731 can do. <a href=http://landley.net/dreamhost.txt>Last time</a>
 732 this sort of thing <a href=http://landley.net/dreamhost2.txt>happened</a>
 733 we went back and forth for months, so I added a link to a backup web
 734 archive (in the nav bar on the left) that isn't controlled by dreamhost,
 735 and thus doesn't gratuitously lose data on a regular basis. (I note
 736 the earlier hole in Dreamhost's archive was never fixed either. That
 737 was data never getting archived, this is a year's worth of data that
 738 was in the archive until yesterday vanishing after the fact.)</p>
 739
 740 <p>If you're wondering why the <a href=http://lists.landley.net>top level</a>
 741 list page has been "temporarily disabled" for multiple years now... you'd have
 742 to ask Dreamhost. I know I have. More than a dozen times.</p>
 743
 744 <a name="03-11-2015" /><a href="#03-11-2015"><hr><h2><b>November 3, 2015</b></h2></a>
 745 <blockquote><p>"Alright," said Ford. "How would you react if I said that I'm
 746 not from Guildford after all, but from a small planet somewhere in the vicinity
 747 of Betelgeuse?" Arthur shrugged in a so-so sort of way. "I don't know," he
 748 said, taking a pull of beer. "Why - do you think it's the sort of thing you're
 749 likely to say?" - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
 750
 751 <p><a href=downloads/toybox-0.6.1.tar.gz>Toybox 0.6.1</a>
 752 (<a href=https://github.com/landley/toybox/releases/tag/0.6.1>git commit</a>)
 753 is out.</p>
 754
 755 <p>We have a new <b>ps</b> command with all the -o fields posix wants (although
 756 it doesn't accept BSD non-dash option syntax yet), and <b>bunzip2</b> (not just
 757 bzcat but the proper extract-in-place command).
 758 Sameer Pradhan added <b>hostid</b> and <b>fsync</b>.
 759 Elliott Hughes added <b>flock</b>.
 760
 761 <p>The people waiting for <b>human readable number support</b> (du -hH, ls -h,
 762 and so on) can thank Elliott Hughes for implementing it. (Our output doesn't
 763 exactly match others' because we our "binary" mode will say 1.0G instead of
 764 1024M, which is a bug in the other one we didn't emulate.)</p>
 765
 766 <p>The other big news is <b>nommu support</b>, tested on the new
 767 <a href=http://nommu.org/jcore>jcore</a> processor but presumaby working
 768 on any nommu system. A few commands don't support nommu yet, but those
 769 are disabled by dependencies on TOYBOX_FORK in menuconfig when building
 770 for nommu. The roadmap now has a large section analyzing the uClinux
 771 project (note that <a href=http://nommu.org>nommu.org</a> is slowly replacing
 772 <a href=http://uclinux.org>uclinux.org</a> as the standard repository of
 773 all knowledge and wisdom about nommu. The old site <a href=#12-02-2012>contains
 774 much that is apocryphal</a>, or at least wildly inaccurate, and the new one
 775 is trying to improve on that).</p>
 776
 777 <p>Both "make change" and scripts/single.sh (for building standalone commands
 778 without the multiplexer logic) now use the top level .config
 779 for toybox global settings such as Linux Security Blanket Module selection,
 780 (so make defconfig before change now).</p>
 781
 782 <p>Documentation updates to the <a href=code.html>code</a> and
 783 <a href=roadmap.html>roadmap</a> pages.</p>
 784
 785 <h3>pending</h3>
 786
 787 <p>In the pending directory Sameer Pradhan added tftp,
 788 and Elliott Hughes sent lsof. Isaac Dunham upgraded mdev,
 789 reboot, init, login, and modprobe, and fixed a distro-specific build break in
 790 scripts/mkflags.h. Elliott Hughes and Lipi Lee made netstat -p handle
 791 command lines longer than 21 characters, and Elliott fixed netstat -e and
 792 some build warnings. Yeongdeok Suh fixed a warning in dhcpd.
 793 I started cleanup on pgrep/pkill.</p>
 794
 795 <h3>Command updates, bugfixes, and infrastructure</h3>
 796
 797 <p>The multiplexer's "command not found" error exit is now 127, so now you can't
 798 distinguish between a command not being found in the multiplexer and
 799 the multiplexer itself not being found by the shell, because people wanted
 800 that for some reason.</p>
 801
 802 <p>Elliott Hughes made date reject invalid dates rather
 803 than set the clock to something weird (setting the clock 100 years into the
 804 future makes most Linux desktops surprisingly unhappy, and ntpdate won't fix it
 805 either), fixed several ls -l display issues (user/group field ordering,
 806 make user/group/lsmcontext left aligned), did the aforementioned
 807 extensive work on human readable number output, fixed ionice's default
 808 class, fixed a mv overwrite bug, made df's columns auto-size, added
 809 --ppid and -Z to ps, and teamed up with Daniel K. Levy to fix
 810 a segfault in find's handling of -newer -group or -user.</p>
 811
 812 <p>Hyejin Kim added stat -c %T support. Colin Cross worked
 813 on vmstat fixing
 814 a header printing bug and calculating the bi and bo columns in the right
 815 units. Isabella Parakiss reported that sed -e "/x/c\" -e "y" added an extra
 816 newline and that grep -w '\(x\)\1' didn't work, both now fixed.
 817 Alistair Strachan fixed several problems with switch_root. Kylie McClain
 818 pointed out env should be able to clear variables via NAME= syntax.
 819 Dima Krasner added support for running blkid without a partition (so it shows
 820 all partitions). Hyejin Kim sent in a bunch of static analysis bug reports.</p>
 821
 822 <p>Isabella Parakiss reported that sed -e "/x/c\" -e "y" added an extra
 823 newline and that grep -w '\(x\)\1' didn't work, both now fixed.
 824 Alistair Strachan fixed several problems with switch_root. Kylie McClain
 825 pointed out env should be able to clear variables via NAME= syntax.
 826 Dima Krasner added support for running blkid without a partition (so it shows
 827 all partitions). Hyejin Kim sent in a bunch of static analysis bug reports.</p>
 828
 829 <p>Two large thinko fixes in oneit: -3 was always enabled (which would
 830 eventually block if the child never read the exiting PID numbers from its file
 831 descriptor #3 until the pipe filled up), and the signal handlers weren't
 832 set up right (for requesting semi-graceful halt/poweroff/reboot).
 833 Calling install without a mode is now 0755, and install -g 0 no longer clashes
 834 with cp --preserve. Better error message for ls -r on unreadable
 835 directories, and ls -Z now uses O_PATH (with the /proc/self/fd/%d
 836 workaround for kernel stupidity as necessary).</p>
 837
 838 <p>Date now understands @unixtime[.fraction] and uses -D for
 839 the set-side format (matching busybox's extension for this). The seq -f
 840 string now checks that it's got exactly one %f escape with the correct
 841 attributes (and a whole bunch of test cases for it). Fixed a bug
 842 in od that screwed up the position indicator on arm and mips.
 843 In stat the d/h units moved from %d %D to the default string.
 844 And patch can now correctly apply hunks with trailing context to the start of
 845 the file.</p>
 846
 847 <p>The prompt argument moved out of yesno() (the caller can print the prompt
 848 themselves). Replaced toys.exithelp with help_exit(). Added new
 849 XVFORK() macro, and xpopen_both() calls /proc/self/exe when passed
 850 a NULL argv (see cpio -p for example usage). Replaced toys.recurse
 851 with toys.stacktop so the recurse or re-exec decision is now based
 852 on bytes of stack space used. Marked a bunch of command-local functions
 853 static.</p>
 854
 855 <p>New additions to lib/ include strlower(), xconnect(), and the
 856 aforementioned help_exit().
 857 The testsuite now has some infrastructure tests based on "example"
 858 commands such as toys/examples/test_human_readable.c.
 859 The login command finally got a long-overdue cleanup (it's one of the
 860 commands that predate the "pending" directory but were part of the reason
 861 for it). Hexedit had an
 862 uninitialized variable (of course gcc didn't spot it, it was too busy
 863 warning about "may be used uninitialized but never actually is" variables).</p>
 864
 865 <p>Tweaked makefile so
 866 "make CROSS_COMPILE=prefix-" (as well as "CROSS_COMPILE=prefix- make",
 867 which still works). Toybox is now installed chmod -w so broken installers
 868 (like the bunzip2 package's) that try to overwrite existing binaries won't
 869 knock out the whole of toybox.
 870 GCC 5.2.0 stopped being able to compile Linux 2.6.12's kconfig, but
 871 we added a workaround. You can now build uptime without utmpx.h.
 872 Alejandro Joya pointed out that enabling smack required smack on the host
 873 as well as target when cross compiling, which is now fixed.</p>
 874
 875 <p>Note: toybox can autodetect nommu support when building with a uClibc
 876 toolchain such as <a href=http://landley.net/aboriginal/downloads/binaries/old/1.4.3/cross-compiler-sh2eb.tar.gz>the one from Aboriginal Linux</a>,
 877 but <a href=http://github.com/richfelker/musl-cross-make>with musl-libc</a>
 878 you'll have to enable CONFIG_TOYBOX_MUSL_NOMMU_IS_BROKEN to work around the
 879 fact they provide a non-functional fork() implementation that always returns
 880 -ENOSYS, to prevent you from compile-time probing for nommu support when
 881 cross-compiling. Unfortunately "preventing you from probing" seems to be
 882 an explicit policy with musl, they also don't provide an "#ifdef __MUSL__"
 883 because their library is perfect and you're only ever allowed to work around
 884 other people's bugs, not theirs. So we have to use menuconfig to manually
 885 enable musl-specific bug workarounds.</p>
 886
 887 <a name="23-07-2015" /><a href="#23-07-2015"><hr><h2><b>July 23, 2015</b></h2></a>
 888 <p>I recreated the <a href=downloads/toybox-0.6.0.tar.gz>0.6.0 source tarball</a>
 889 (new sha1sum 08fb1c23f520c25a15f262a8a95ea5b676a98d54)
 890 because I forgot to add --prefix to the git archive command when I updated
 891 my release script from mercurial, so the files weren't in an enclosing
 892 directory. (Ooops.)</p>
 893
 894 <a name="19-07-2015" /><a href="#19-07-2015"><hr><h2><b>July 19, 2015</b></h2></a>
 895 <blockquote><p>
 896 The reason why it was published in the form of a micro sub meson electronic
 897 component is that if it were printed in normal book form, an interstellar
 898 hitchhiker would require several inconveniently large buildings to carry it
 899 around in." - The Hitchhiker's Guide to the Galaxy </p></blockquote>
 900
 901 <p><a href=downloads/toybox-0.6.0.tar.gz>Toybox 0.6.0</a>
 902 (<a href=https://github.com/landley/toybox/releases/tag/0.6.0>git commit</a>)
 903 is out. (Yes, git. See the <a href=#05-04-2015>previous news entry</a>.)</p>
 904
 905 <p>Sorry for the unusually long gap between releases. Since last release Ye
 906 Olde Project Maintainer traveled to japan twice and had two more "once
 907 a century" floods at home. (Probably a coincidence.) Still catching up.</p>
 908
 909 <h3><b>CELF/ELC talk and Wikipedia[citation needed] article</b></h3>
 910
 911 <p>I gave another State Of The Toybox talk
 912 (<a href=https://www.youtube.com/watch?v=04XwAbtPmAg>video</a>
 913 <a href=http://landley.net/talks/celf-2015.txt>outline</a>), in which I
 914 repeat my <a href=http://landley.net/notes-2013.html#07-11-2013>perennial</a>
 915 <a href=https://twitter.com/landley/status/557309224535851009>complaint</a>
 916 that Wikipedia[citation needed]
 917 <a href=http://en.wikipedia.org/wiki/Toybox>still</a>
 918 <a href=https://en.wikipedia.org/wiki/BusyBox#Controversy_over_Toybox>says</a>
 919 toybox was relicensed before its hiatus, when relicensing was why
 920 the hiatus ended.</p>
 921
 922 <p>Since Wikipedia[citation needed] seems unable to do the
 923 <a href=#15-11-2011>most</a>
 924 <a href=http://landley.net/hg/toybox/log/tip/LICENSE>basic</a>
 925 <a href=http://landley.net/notes-2011.html#13-11-2011>research</a> on
 926 this point, and has stuck to an incorrect sequence of events for years,
 927 I've been gradually escalating my attempts to correct them. Toybox
 928 came out of mothballs in November 2011 <b>because</b> it could be
 929 relicensed. That's what opened up a new niche busybox wasn't already
 930 filling with a 10 year headstart.</p>
 931
 932 <a name="asterisk_back" />
 933 <p>The article has plenty of smaller issues<a href=#asterisk>*</a>, but
 934 given that I gave an entire talk at Ohio LinuxFest in 2013
 935 (<a href=http://landley.net/talks/ohio-2013.txt>outline</a>,
 936 <a href=https://archive.org/download/OhioLinuxfest2013/24-Rob_Landley-The_Rise_and_Fall_of_Copyleft.mp3>audio</a>) on why I switched away from GPL for
 937 my projects, that one bugs me.</p>
 938
 939 <h3><b>New stuff this release</b></h3>
 940
 941 <p>There's a new android menu in menuconfig, and rather a lot of Linux
 942 Security Module support (Smack for Tizen from Xavier Roche and José Bollo,
 943 and SELinux for Android from Elliott Hughes; see
 944 the Security Blanket menu under global settings in menuconfig) has
 945 trickled in, although there's still more to come.</p>
 946
 947 <p><b>New commands:</b> Added reset, nproc, ionice, and iorenice.
 948 Elliott Hughes contributed xxd, runcon,
 949 restorecon, load_policy, getenforce, setenforce, getprop, and setprop.
 950 Promoted shred, nsenter, and hwclock.</p>
 951
 952 <p>You can once again build catv now the flag infrastructure's been updated to
 953 let it coexist with cat -v.
 954 And on a long plane flight I wrote
 955 hexedit, an interactive hex editor that implements the start of
 956 cursor control infrastructure (for eventual use by less and vi and shell
 957 command history and so on).</p>
 958
 959 <p><b>New options:</b> Added sed -E as a BSD-compatible synonym for -r.
 960 Upgraded oneit with -r (restart), -3 (send exiting PID values to child),
 961 and signal handling. Added -v option to timeout, -m to mknod, -u to shred,
 962 -t to dmesg, and -123 to head and tail. Added implicit "." to grep -r without
 963 any files to work on. Hyejin Kim requested prefix support for truncate -s.
 964 Greg Hackman added -inum to find.
 965 Jan Cybulski added the smack side of ls -Z support. Various patches also
 966 added -Z to mkdir, mknod, and mkfifo.
 967 Basic cp --preserve support went in, but not yet the xattr/LSM parts.</p>
 968
 969 <p>The toybox command now has a --version option,
 970 which uses "git describe" if available.</p>
 971
 972 <p><b>Build infrastructure:</b>
 973 The "make change" target now saves the output of each failed standalone
 974 command build in a .bad file, and "make defconfig" is quieter now.</p>
 975
 976 <p>Paul Barker submitted a large patch changing command install paths so
 977 "toybox can be installed alongside busybox without confusing
 978 update-alternatives". (There's some argument over
 979 what the right paths should be, and I'm waiting for
 980 people to tell me what else needs fixing because I have no idea. I've
 981 been symlinking /bin to /usr/bin since 2002
 982 <a href=http://landley.net/writing/hackermonthly-issue022-pg33.pdf>for
 983 historical reasons</a>.)</p>
 984
 985 <p><b>Docs:</b> The repository link now goes to github, with another link
 986 to the commit rss feed.</p>
 987
 988 <p>Elliott Hughes updated the Android section of the roadmap
 989 (and he would know). Redid bits of scripts/mkstatus.py to make updating
 990 status.html easier, and the README is larger.</p>
 991
 992 <p>More description of option parsing in code.html, which now describes the
 993 FLAG_x macros, switching flag macro sets with FOR_newcommand, how
 994 configuration zeroes flag macros and using FORCE_FLAGS to suppress the
 995 zeroing of options shared between commands. Also added description of ";"
 996 to make --longopts take an optional =value part, and more about TOYBOX_DEBUG
 997 to check NEWTOY() option strings (otherwise a bad option string makes
 998 lib/args.c obviously segfault, but doesn't explain why).</p>
 999
1000 <p>Added a "Why 0BSD?" section to license.html when submitting zero clause bsd
1001 to SPDX (according to the pending license spreadsheet, it's been approved for
1002 SPDX 2.2).</p>
1003
1004 <p>The old list of commands needing cleanup but not in pending was
1005 removed from toys/pending/README and instead the issues were added
1006 as TODO comments in the individual commands.</p>
1007
1008 <p><b>Bugfixes:</b>
1009 Fixed mount -a segfaulting without -O (reported by Janus Troelsen),
1010 and made it try a "become rw" ioctl() on the block device before falling
1011 back to mounting read only (because Android expects that).
1012 Fixed printf -- and printf ---. Lots of tweaks to ls -l spacing with
1013 different options. Make touch -d and -t actually set time when you don't
1014 specify nanoseconds.
1015 Fixed a subtle bug where recursive calls (toybox commands that run other
1016 toybox commands) weren't resetting all their state. (This manifested as
1017 a "no }" error from "find | xargs sed", but could cause other problems.)
1018 And David Halls reported another sed bug trying to compile libiconv (which
1019 left extra \ at the start of lines in a generated shell script, breaking
1020 the build). Output an error message for "cat /mnt".</p>
1021
1022 <p>Kylie McClain reported that mktemp broke when $TMPDIR was set to an empty
1023 string (which is not the same as unset), that install/find didn't support
1024 numeric uid/gids, and that sort -z affects both input and output.
1025 Isabella Parakiss fixed a printf.c bug.
1026 David Halls fixed bugs in install -D and find -exec. Samuel Holland
1027 fixed unshare -r. Hyejin Kim fixed makedevs with a count of 1, fold -w
1028 range checking, an error path in scripts/mkflags.c, added -i to dhcpd,
1029 and stopped su from prompting the root user for the new user's password.
1030 Jan Cybulski spotted wrong indentation when combining ls -s and -i with -C and
1031 -x. José Bollo fixed stat %G. Sameer Pradhan fixed a bug in mkfifo -Z.</p>
1032
1033 <p>Elliott Hughes asked for a default SIGPIPE handler to disable
1034 the signal handler bionic's dynamic loader installs (yes really). Still not
1035 100% sure what the correct behavior is there. (Posix is
1036 (<a href=http://permalink.gmane.org/gmane.comp.standards.posix.austin.general/10915>actively unhelpful</a>, but at least they're taking
1037 <a href=http://austingroupbugs.net/view.php?id=789#c1976>years to
1038 make up their mind</a>. Elliott also sent patches to fix a typo in
1039 useradd.test, add missing arguments to error_exit() calls and clean up
1040 printf() format strings, fix an off by one error in human_readable(),
1041 fix dmesg -c error reporting, fix a segfault in comma_scan where the option
1042 was the last item in optlist (triggered by mount -o ro,remount), fix
1043 hwclock -w, made ifconfig print lowercase MAC addresses (it was bothering
1044 him), and make terminal_size() read the right environment variable
1045 (LINES, not ROWS). And he suggested the test suite notice high command exit
1046 values (corresponding to segfault or other signals).</p>
1047
1048 <p>People are apparently using toys/pending commands, despite the police tape
1049 and flashing lights, so added louder warnings to toys/pending/README.
1050 Elliott Hughes fixed various problems with tar, dd, more, and top.
1051 Hyejin Kim cleaned up syslogd and dumpleases. Isaac Dunham added hotplug
1052 support to mdev. Yeongdeok Suh added RFC-3315 ipv6 support to dhcpd.</p>
1053
1054 <p>I rewrote ps.c from scratch (in pending), but it's not ready for real use
1055 yet.</p>
1056
1057 <p><b>Portability:</b>
1058 On the portability front Bernhard Rosenkranzer fixed a problem where the
1059 menuconfig code wouldn't compile in C99 mode. (This led to me documenting
1060 the craptacular nature of kconfig in a README, and the plan to replace it
1061 sometime before 1.0.) Some extra flags to shut up overzealous llvm warnings
1062 were added (and have to be probed for because gcc complains about
1063 arguments it doesn't recognize even when they switch stuff _off_ using
1064 a standard syntax). Don't depend on malloc(0) to return non-null in ls.
1065 David Halls fixed some mac/ios portability issues,
1066 implying somebody's built at least part of toybox on a mac.</p>
1067
1068 <p>Added basename_r() to lib/lib.c because the posix semantics for basename()
1069 are stupid but what the gnu guys did to it was appalling.
1070 Turns out bionic already had a basename_r(), but posix still doesn't.
1071 Fixed it up in portability.h, but this
1072 could break more stuff in future. (Correct fix is to lobby posix to add it,
1073 which would probably take about 15 years...)</p>
1074
1075 <p><b>Infrastructure:</b>
1076 The build now checks $LDFLAGS for linker-only flags, and allows the strip
1077 command to fail (binflt toolchains provide a strip that doesn't work).
1078 Since time.c uses floating point, added TOYBOX_FLOAT dependency in config.</p>
1079
1080 <p>There's a lib/lsm.h defining varous inline functions for linux
1081 security modules stuff, if (lsm_enabled()) should turn into a compile-time
1082 constant 0 and let code drop out when TOYBOX_LSM_NONE selected, but
1083 testing against CFG_TOYBOX_LSM_NONE or derived symbols is still useful
1084 becuase when it _is_ enabled the probe turns into a system call you
1085 don't want to repeat too much.</p>
1086
1087 <p>Switched a bunch of commands from signal() to xsignal(). Factored out
1088 xgetgrnamid() and xgetpwnamid() into xwrap.c. Make time.c depend on
1089 TOYBOX_FLOAT (since it always uses float so shouldn't be available on
1090 build targets without even software float). Added readfileat() to lib/lib.c.</p>
1091
1092 <p>The dirtree infrastructure now passes in full flags for the old symlink
1093 field, and the new DIRTREE_SHUTUP flag disables warnings if a file vanishes
1094 out from under you during traverse. New dirtree_start() wrapper to
1095 create dirtree root with only two arguments.</p>
1096
1097 <p>The not-curses infrastructure introduced by hexedit mostly moved to
1098 lib/interestingtimes.c.</p>
1099
1100 <a name="asterisk" />
1101 <a href="#asterisk_back" />Asterisk:</a> such when
1102 Tim contacted me (my blog says a couple days before nov 13, 2011, I.E.
1103 11/11/11 not some specific day 2 months later) to ask if I wanted to work
1104 on a new project he was proposing called
1105 <a href=http://www.elinux.org/Busybox_replacement_project>BentoBox</a>
1106 (because I used to do busybox, he'd forgotten toybox existed
1107 until I brought it up). And don't ask me what "focuses not on compatibility
1108 with its GNU counterparts" means when CP_MORE adds 7 non-posix options
1109 and toys/other has 84 commands in neither posix nor LSB. I think they're
1110 struggling to explain the difference having dismissed "licensing" as being
1111 the reason it started up again after a long hiatus? The reason I don't think
1112 GNU is special is there are a half-dozen other independent
1113 implementations of the same unix command tools out there (AT&amp;T,
1114 BSD, Coherent, Minix, plan 9, busybox, toybox, and several more analyzed in
1115 the <a href=roadmap.html>roadmap</a>, and that's ignoring the implementations
1116 written for DOS or in assembly over the years). But I do care what
1117 Linux From Scratch expects, and if it's
1118 <a href=http://archive.linuxfromscratch.org/lfs-museum/7.6/LFS-BOOK-7.6-NOCHUNKS.html#ch-tools-gcc-pass1>calling mv -v</a>
1119 then I impelement mv -v
1120 even if <a href=http://landley.net/toybox/roadmap.html>posix hasn't got
1121 it</a>. And I don't know why "gnu counterparts" would describe this when
1122 util-linux isn't a gnu package, nor are info-zip, e2fsprogs, kmod, less,
1123 procps, shadow, sysklogd, vim, zlib, sudo, dhcpcd...</p>
1124
1125 <a name="05-04-2015" /><a href="#05-04-2015"><hr><h2><b>April 5, 2015</b></h2></a>
1126 <p>Since <a href=https://android.googlesource.com/platform/external/toybox/>android</a> and
1127 <a href=https://git.tizen.org/cgit/platform/upstream/toybox.git>tizen</a>
1128 and <a href=https://github.com/kraj/meta-musl/tree/master/recipes-core/toybox>openembedded</a>
1129 and <a href=https://packages.gentoo.org/package/sys-apps/toybox>gentoo</a>
1130 and so on have all been using Georgi Chorbadzhiyski's git mirror rather
1131 than the mercurial repository, I bit the bullet and switched the project's repo
1132 <a href=https://github.com/landley/toybox>to git</a>. Georgi's
1133 <a href=https://github.com/gfto/toybox>mirror</a> is now pulling from that.</p>
1134
1135 <a name="25-02-2015" /><a href="#25-02-2015"><hr><h2><b>February 25, 2015</b></h2></a>
1136 <blockquote><p>"A common mistake that people make when trying to design
1137 something completely foolproof is to underestimate the ingenuity of
1138 complete fools."</p><p>- The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1139
1140 <p><a href=downloads/toybox-0.5.2.tar.gz>Toybox 0.5.2</a>
1141 (<a href=/hg/toybox/shortlog/1702>commit 1702</a>) is out.</p>
1142
1143 <p>New promoted commands: sed (finally fixed enough it builds Linux From
1144 Scratch), printf (cleaned up and promoted), shred and
1145 base64 (the Tizen guys wanted them), getenforce, setenforce, and chcon (android),
1146 mix (promoted with fixes from Isaac Dunham), nsenter (from
1147 Andy Lutomirski, merged into unshare).</p>
1148
1149 <p>Elliott Hughes submited a bunch of patches to support Android (to
1150 both toybox and Bionic libc, which he maintains). On toybox's end this
1151 involved a lot of fixups to portability.[ch] and fixes to over a dozen
1152 commands, plus several new ones. Other portability fixes included working
1153 with buildroot's uclibc fork and building for nommu targets.</p>
1154
1155 <p>The new "make change" target builds each toybox command as a standalone
1156 binary. Rather a lot of commands that didn't build by themselves (mv depending
1157 on cp and so on) were hit with a large rock until they built standalone.
1158 This involved rewriting bits of option parsing, more elaborate dependency
1159 generation, making each command have its own config
1160 symbol and main() function (even when it's just a wrapper calling another
1161 command's main()), and so on. Also, some commands can't be built standalone
1162 at a conceptual level: "help" describes other enabled commands and "sh"
1163 has a number of bulitin commands (cd, exit, set) that require the
1164 multiplexer infrastructure, so "make change" filters them out.</p>
1165
1166 <p>The mailing list's web archive is still screwed up. Dreamhost has
1167 been trying to fix it since approximately September. There are
1168 <a href=http://www.mail-archive.com/toybox@lists.landley.net/>two</a>
1169 <a href=http://news.gmane.org/gmane.linux.toybox>other</a> less broken
1170 archives, but neither has quite the same UI as mailman.</p>
1171
1172 <h3>Bugfixes and tweaks</h3>
1173
1174 <p>Cynt Rynt sent in tests for ifconfig,
1175 Robert Thompson taught factor to accept whitespace separated arguments,
1176 Hyejin Kim pointed out that some of mktemp's longopts were attached to
1177 the wrong short options,
1178 Luis Felipe Strano Moraes fixed a wrong free() call in bootchartd in pending.
1179 Patches from Ashwini Sharma to make "df /dev/node" work, prevent du from
1180 looping endlessly following symlinks, and to make expr.c
1181 (in pending) understand == and regex matches. (Speaking of expr, it gets
1182 priority groupings wrong but the bug was actually in the posix spec's
1183 HTML conversion. They fixed the posix spec upstream for us. Still need
1184 to fix the expr code, but it's in pending for a reason...)</p>
1185
1186 <p>Some commands grew new option flags, such as cp --remove-destination
1187 and touch -h.</p>
1188
1189 <p>The parallel build has better error reporting now. When toybox needs to
1190 re-exec itself to regain suid root permissions and hasn't got the suid bit,
1191 it now gives the right error message ("not root" instead of "no such command").
1192
1193 <p>Added a test to "mount" to not mount the same device/directory combination
1194 over itself (the OS catches this for block devices, but not for tmpfs).
1195 Make blkid distinguish ext3 from ext4. Added catv back into cat (because
1196 the Android guys wanted it, and they have historical usage on their side,
1197 so...). Handle nanoseconds in touch.</p>
1198
1199 <p>Fixed a segfault when CP_MORE was disabled (the resulting option flag list
1200 no longer defined -d but still had it in option groups at the end).
1201 Workaround for glibc redefining dirname() and basename() to random non-posix
1202 semantics because gnu. (They could have created dirname_r() but didn't want
1203 to.)</p>
1204
1205 <p>Fix an ifconfig test that was preventing assigning an ipv4 address to
1206 interface aliases. Several cleanup passes on hwclock but not quite
1207 promoted out of pending yet.<p>
1208
1209 <p>Fixed a wrong error message in rm (if you had a chmod 000 directory and
1210 did rm -r on it without -f, after the prompt it would complain it was a
1211 directory, which was not the problem).</p>
1212
1213 <p>The gzip compression code now does "store only" output to stdout, for
1214 what that's worth.</p>
1215
1216 <p>Cleanup mountpoint and expand, and remove them from toys/pending/README
1217 (a list of commands that predate the toys/pending directory but needed
1218 another pass).</p>
1219
1220 <h3>Library and infrastructure:</h3>
1221
1222 <p>Reworked the option parsing infrastructure so more commands build
1223 standalone (via scripts/single.sh or "make change"). The option flag bit
1224 values are no longer packed, it leaves spaces where currently disabled
1225 flags go, and you can #define FORCE_FLAGS so disabled flags aren't zeroed.
1226 This allows multiple commands to more easily share infrastructure, even if
1227 your current flag context is for a disabled command (switched off in config),
1228 you can force them to stay on and as long as the flags read the same right
1229 to left they'll have the same values.</p>
1230
1231 <p>We've started removing use of strncpy() because it's a hugely broken
1232 standard C function: the length is the maximum length to _append_, not
1233 the size of the destination buffer. It memsets the remaining space it didn't
1234 copy ala "memset(dest+strlen(dest), 0, len);" so
1235 if you think len is the size of dest you're guaranteed to stomp memory off the
1236 end). And if it runs out of space it won't null terminate because reasons.
1237 (Meanwhile sprintf("%*s", len, str) is counting wide characters in your current
1238 locale, so if you set a locale other than "C" it will also go past your
1239 allocated buffer size. Whoever is maintining the C library standards is really
1240 bad at strings.)
1241 Instead we have xstrncat() which will error_exit() if src+dest+1 doesn't
1242 fit in the buffer. (Because randomly truncating input data isn't necessarily
1243 an improvement.) And there's always xmprintf().</p>
1244
1245 <p>Similarly, strtol() doesn't return an error indicator on overflow,
1246 you have to clear and then check errno. So new xstrtol() that cares
1247 about overflow.</p>
1248
1249 <p>The bionic and musl guys agree faccessat(AT_SYMLINK_NOFOLLOW) is not
1250 supported, so stop using it.</p>
1251
1252 <p>Fixed toy_exec() to detect when argc is in optargs, so we don't
1253 need a separate xexec_optargs().</p>
1254
1255 <a name="18-02-2015" /><a href="#18-02-2015"><hr><h2><b>February 18, 2015</b></h2></a>
1256 <p>Dreamhost continues to be unable to make mailing list archives work, so
1257 here's <a href=http://www.mail-archive.com/toybox@lists.landley.net/>another
1258 list archive</a> with a less awkward interface than gmane.</p>
1259
1260 <p>(Neither gives you the convenient historical monthly views of mailman,
1261 but I still have hopes dreamhost will someday figure out what they're doing
1262 wrong. They've only been trying since October. Last month they did a
1263 <a href=http://www.dreamhoststatus.com/2015/01/14/discussion-list-hardware-maintenance/>hardware upgrade to fix a software problem</a>, and the stale
1264 data loads much faster now, so that's something.)</p>
1265
1266 <p>Update (Feb 19): the archive started updating again, by discarding
1267 all the pending data. So there are now _two_ giant holes in Dreamhost's
1268 web archive, from Dec 15-Jan 3, and then another hole from Jan 16-Feb 18.
1269 The relevant messages are in both of the other archives. Here's hoping
1270 the chronic archive constipation problem won't happen a sixth time.</p>
1271
1272 <a name="30-12-2014" /><a href="#30-12-2014"><hr><h2><b>December 30, 2014</b></h2></a>
1273 <p>Due to Dreamhost's <a href=http://landley.net/dreamhost.txt>ongoing</a>
1274 <a href=http://landley.net/dreamhost2.txt>inability</a> to make mailman
1275 work reliably, I've added a link to a backup web archive at
1276 <a href=http://news.gmane.org/gmane.linux.toybox>gmane</a> to the nav bar
1277 on the left.</p>
1278
1279 <p>You still subscribe to the list through
1280 <a href=http://lists.landley.net/listinfo.cgi/toybox-landley.net>the first link</a>.</p>
1281
1282 <p>Update (January 27, 2015): they're <a href=https://twitter.com/landley/status/558428839462703104>still working on it</a>.</p>
1283
1284 <a name="19-11-2014" /><a href="#19-11-2014"><hr><h2><b>November 19, 2014</b></h2></a>
1285
1286 <blockquote><p>"This time it was right, it would work, and no one would have to get nailed to anything." - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1287
1288 <p><a href=downloads/toybox-0.5.1.tar.bz2>Toybox 0.5.1</a>
1289 (<a href=/hg/toybox/shortlog/1566>commit 1566</a>) is out.</p>
1290
1291 <p>It's an interim release, mostly bugfixes. There are several new commands,
1292 but they're all in pending.</p>
1293
1294 <h3>Development</h3>
1295
1296 <p>Finally implemented sed, which is still in pending because although
1297 it's feature complete according to posix, and even passes the parts of
1298 Busybox's sed test suite that aren't explicitly testing for gnu bugs we
1299 don't want to copy, it's not yet good enough to build Linux From Scratch.
1300 (The ./configure stages use very long sed scripts. 20 commits worth of
1301 implementation and debugging, just under 1000 lines of code, and there's
1302 still more to do. We're definitely up to some of the "fiddly" commands now.
1303 Did you know "echo hello | sed p - -" segfaults gnu sed in Ubuntu 12.04?
1304 Yeah...)</p>
1305
1306 <p>Talked with the Tizen developers to follow up on their desire to
1307 make toybox a part of the base Tizen system, and got a list of commands
1308 to add to the roadmap. The tizen todo list is:</p>
1309
1310 <blockquote><p>
1311 wget, sha256*, gzip, gunzip, bunzip2, rsync, zdiff*,
1312 less, ar, arch, base64, csplit, dir, fmt, join,
1313 nproc, shred, shuf, stdbuf, stty, test, tr, unexpand,
1314 users, vdir, diff3, sdiff, dosfsck (fsck.vfat), awk, fdisk
1315 </p></blockquote>
1316
1317 <p>(Most of which was already on the todo list, but it helps prioritize.)</p>
1318
1319 <p>Fixed md5sum and sha1sum on big endian systems (reported by James McMechan).
1320 Andy Lutomirski fixed unshare's help text and option parsing,
1321 and submitted nsenter (a tool to use setns(2)) to pending.
1322 Isaac Dunham implemented acpi -ctV options, and spotted the bug that ls -d
1323 was inappropraitely following command line symlinks without -H or -L (it
1324 should act like ls -l does), and ls -F handles symlinks wrong too.
1325 Lukasz Szpakowski sent in two bugfixes to tail.c. Cynt Rynt spotted an
1326 unnecessary assignment in lib/password.c.</p>
1327
1328 <p>Ashwini Sharma's team was as busy as usual, submitting tr, crontab, and
1329 ipcrm, and hwclock to pending, more features to the pending ip.c, and a
1330 pile of bugfixes (to chgrp, killall, ifconfig, insmod,
1331 losetup, comm, cp, id, xwrap, netcat, modprobe, nohup...) mostly found by
1332 static analysis. (These fixes are mostly to seldom-used codepaths like the
1333 TOYBOX_FREE config option, but test coverage is always appreciated.) Ashwini
1334 also suggested upgrading ln -f to leave the original target alone if link
1335 creation fails, and reported that mv -f and -i weren't implemented (now fixed).</p>
1336
1337 <p>New config option: TOYBOX_NORECURSE prevents xexec() from making internal
1338 function calls (for nommu systems with a finite stack).</p>
1339
1340 <p>The "toybox" multiplexer command no longer adds a trailing space to each
1341 line of command names, so things like "./toybox | tr ' \n' '|'" to create
1342 a grep pattern snippet are easier to do. (Why you'd want to is your business,
1343 but the output is tidier now.)</p>
1344
1345 <h3>Infrastructure</h3>
1346
1347 <p>Isaac Dunham added Android support to portability.h, including compile
1348 probes for functions missing from bionic-libc, and annotated the commands that
1349 use those functions. We haven't really tested building against bionic,
1350 but in theory it's possible now.</p>
1351
1352 <p>Running the test suite now color codes the PASS/SKIP/FAIL notifications
1353 if output is to a tty. (And in case you missed it last time, VERBOSE=fail
1354 to stop at the first failure is really useful.)</p>
1355
1356 <p>In loopfiles_rw() use O_CLOEXEC instead of O_RDONLY to request the loop
1357 function close filehandles for us. (Otherwise the callback function must
1358 close each supplied filehandle itself.)</p>
1359
1360 <p>The printf-style escape parsing ("\n" and friends) got factored out into
1361 a new unescape() function.</p>
1362
1363 <a name="02-10-2014" /><a href="#02-10-2014"><hr><h2><b>October 2, 2014</b></h2></a>
1364 <blockquote><p>"There is an art, it says, or rather, a knack to flying.
1365 The knack lies in learning how to throw yourself at the ground and miss...
1366 Clearly, it is this second part, the missing, which presents the
1367 difficulties." - The Hitchhiker's Guide to the Galaxy.<p></blockquote>
1368
1369 <p><a href=downloads/toybox-0.5.0.tar.bz2>Toybox 0.5.0</a>
1370 (<a href=/hg/toybox/shortlog/1512>commit 1512</a>) is out.</p>
1371
1372 <h3>New commands</h3>
1373
1374 <p>The new commands are find, install, factor, and mount. Promoted commands
1375 (cleaned up and moved out of "pending") are lspci, inotifyd, and blockdev.</p>
1376
1377 <p>cp now implements -HL and -F to force delete of pending files, cpio now
1378 ignores -m and implements -p, ls -C now has utf8 support (using wcwidth
1379 instead of strlen), and umount got a number of upgrades involving
1380 looking things up in /proc/mounts. Other minor cleanups happend to
1381 cut, touch, free, and id.</p>
1382
1383 <p>In pending: Bradley Controy submitted mix (adjusts OSS sound volume). Ashwini
1384 Sharma submitted diff, userdel, blockdev, ipcs, and crond, upgraded
1385 fdisk, fsck, and ftpget, and ran a static analyzer on a lot of other code.
1386 Partial cleanup was done to useradd, userdel, groupadd, and groupdel.</p>
1387
1388 <h3>Build infrastructure</h3>
1389
1390 <p><b>Parallel builds</b></p>
1391
1392 <p>The build now takes advantage of SMP, autodetecting the number of
1393 processors. (Export the environment variable CPUS to pick a specific number.)
1394 Other build changes: split out $LDOPTIMIZE because old compilers complain
1395 about linker options passed with -c, and the entire "generated" directory now
1396 gets deleted by clean (the README that was in there got merged into code.html).</p>
1397
1398 <p><b>Standalone builds</b></p>
1399
1400 <p>The standalone build infrastructure (scripts/single.sh) got upgraded to
1401 build more commands as standalone executables. In make.sh the source file
1402 selection uses a regex to find the source files with the NEWTOY/OLDTOY macro
1403 for the command. It enables each command's
1404 sub-options (so CP has CP_MORE), enables I18N and FLOAT support to build
1405 full-featured commands, and includes --help text (at least when
1406 the command doesn't use another command's help). The OLDTOY() macro
1407 now produces (redundant) function prototypes so you can build an OLDTOY
1408 without the NEWTOY</p>
1409
1410 <p>It doesn't quite have complete coverage yet, the defconfig entries that
1411 aren't building standalone yet are:</p>
1412
1413 <blockquote><p>chown, egrep, fgrep, fstype, halt, mv, nc, poweroff, unix2dos,
1414 whoami</p></blockquote>
1415
1416 <p>The main reason for standalone build failures is NEWTOY() or OLDTOY()
1417 entries that don't have their own config symbol. Another problem is entries
1418 that depend on another entry in kconfig, usually because common infrastructure
1419 is using one command's flags (which the other commands copy): if that command
1420 is disabled, the FLAG macros become 0 so dead code elimination can remove the
1421 code. It's <a href=http://landley.net/hg/toybox/rev/1503>possible
1422 to untangle</a> this, but a bit awkward. (It boils down to conflicting
1423 design goals in the two contexts.)</p>
1424
1425 <p>Standalone builds are used by the test suite when testing individual
1426 commands.
1427
1428 <p><b>Snapshot builds</b></p>
1429
1430 <p>A new addition to the "generated" directory is generated/build.sh
1431 containing a single compiler command line to build toybox in its current
1432 configuration. Combined with the generated/*.{h,sh} files from an
1433 exisiting build, this may let you build on a new system that hasn't quite
1434 got enough OS bits working to run a full configureand make.</p>
1435
1436 <h3>Internals</h3>
1437
1438 <p>Library code: xcreate/xopen now O_CLOEXEC by default to avoid leaking
1439 filehandles to child processes. DIRTREE_COMEAGAIN's second callback is now
1440 done with the directory filehandle still open (new dir->again variable added
1441 to distinguish first from second callback, and requesting DIRTREE_RECURSE now
1442 requires passing in the specific macro value, not just a true/false).
1443 Use daemon() out of libc instead of hand-rolled daemonize() in various
1444 pending commands. string_to_mode() now passes through type bits so you can
1445 use it to more easily modify a file's existing mode.
1446 Split xpopen() into xpopen_both(), xopen(), and xrun() depending on whether
1447 we want to redirect both, one, or neither of stdin/stdout.</p>
1448
1449 <p>Bugfixes: Better error message when TOYBOX_SUID option can't drop priviliges
1450 (which happens when you suid something _other_ than root).
1451 The old pending version of nbd_client.c wasn't deleted when the
1452 command was promoted (and the build would break if both were enabled),
1453 toy_exec() sometimes needs to re-exec from $PATH rather than recurse
1454 internally (to gain dropped root permissions or limit stack depth),
1455 always call setlocale() when I18N is enabled to switch it back _off_ when
1456 we run commands that expect sscanf("%n") to return bytes,
1457 dirtree() had a memory leak in an error path, patch.c had some bugs in
1458 error paths (didn't report problem clearly). Ashwini Sharma spotted an
1459 option parsing bug where [-abc] would forget _all_ command line arguments
1460 saved in the GLOBALS() block (not just the ones for options being switched
1461 off), plus various minor fixes to nbd_client and cpio.
1462 Lukasz Szpakowski fixed rm -f on a broken symlink (failed), and killall
1463 with no arguments (segfaulted).</p>
1464
1465 <p><b>Portability</b></p>
1466
1467 <p>A somewhat fiddly fix to rm -rf (which needs to chmod directories to u+rwx
1468 to descend into them) which hit a musl bug in faccessat() which the musl
1469 maintainer refuses to fix. (He literally wants the man page changed
1470 instead, despite other libcs working.) Added an #ifdef __MUSL__ section
1471 to portability.h with a workaround, you may need CFLAGS=-D__MUSL__ in your
1472 build if your musl build's features.h doesn't #define that. (I may do
1473 a different workaround in future, but sometimes you've just got to make
1474 it work so you can ship. Also, toybox grep with multiple patterns
1475 requires <a href=http://landley.net/hg/aboriginal/rev/1692>a patch
1476 to musl's regex engine</a>, which applies to 1.1.4 but not to the current
1477 musl source control.)</p>
1478
1479 <p>More portability.h fixes for uClibc too. (I don't expect that to ever have
1480 another release, so locally patching around posix-2008 violations is silly).</p>
1481
1482 <p><b>Change to username filtering</b></p>
1483
1484 <p>Posix recommends the username creation logic filter usernames to a small
1485 allowed set of characters (which even Red Hat breaks by explicitly allowing
1486 "$" at the end), but this prevents UTF-8 usernames. Posix' stated logic
1487 is to allow filesystems to create the user's home directory, but Linux
1488 filesystems can accept any character but NUL and "/". The only characters
1489 we actually _need_ to filter out are ":" (field separator in passwd),
1490 newline (line separator in passwd), and "/" (directory separator in
1491 filesystem).</p>
1492
1493 <h3>Documentation</h3>
1494
1495 <p>Web pages updated: cleanup.html documents more cleanup, code.html
1496 documents more code, and about.html now capitalizes "toybox" consistently
1497 (it's just a word, capitalize at start of sentence).</p>
1498
1499 <p>The pending/README file now lists commands that needed review/cleanup
1500 before the pending directory was added.</p>
1501
1502 <h3>Test Suite</h3>
1503
1504 <p>Moved out of scripts/test into top level "tests" directory, and the
1505 testing.sh script is now in scripts rather than mixed into the *.test files.</p>
1506
1507 <p>Johan Bergström requested VERBOSE=fail to make tests (telling it to
1508 stop at the first failure), and spotted a build bug where using gnu
1509 sort on the host broke in non-C locales.</p>
1510
1511 <p>Divya Kothari submitted tests for chmod, link, tar, bzcat, xzcat, zcat,
1512 and hostname. (And more, but that's all that's merged so far.)</p>
1513
1514 <a name="07-07-2014" /><a href="#07-07-2014"><hr><h2><b>July 7, 2014</b></h2></a>
1515 <blockquote><p>"This planet has - or rather had - a problem, which was this:
1516 most of the people living on it were unhappy for pretty much of the time. Many
1517 solutions were suggested for this problem, but most of these were largely
1518 concerned with the movement of small green pieces of paper, which was odd
1519 because on the whole it wasn't the small green pieces of paper that were
1520 unhappy." - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1521
1522 <p><a href=downloads/toybox-0.4.9.tar.bz2>Toybox 0.4.9</a> (<a href=/hg/toybox/shortlog/1385>commit 1385</a>) is out.</p>
1523
1524 <p><b>New commands</b> added to pending include:
1525 lsattr, chattr, inotifyd, rfkill, sulogin, strings, makedevs,
1526 killall5, and tar from Ashwini Sharma, arp from Kyungwan Han,
1527 sysctl by Bilal Qureshi, partprobe from Bertold Van den Bergh,
1528 host from Rich felker, and I did nbd-client and the first 2/3 of mount.</p>
1529
1530 <p>Finished cleanups (commands promoted out of pending):
1531 sysctl, rfkill, strings, mkpasswd, makedevs, partprobe, killall5,
1532 fallocate, and nbd-client.</p>
1533
1534 <p>(Along the way partial cleanups got made to: last, fold, lspci, ps,
1535 bootchartd, init, fsck, telnetd, telnet, vconfig, toysh, iconv, useradd,
1536 login, host, openvt, deallocvt, getty, tftpd, and modprobe. But there's
1537 still more to do on all of those.)</p>
1538
1539 <p>This time around the <a href=bin>static binaries</a> are linked against
1540 musl instead of uClibc. (That's why there's no sparc version, musl doesn't
1541 support that target yet.)</p>
1542
1543 <p><b>Documentation:</b></p>
1544
1545 <p>The help text parser expects lower case "usage:" lines with
1546 a blank line after them, so go through and regularize those. Expand the
1547 "coding style" section in the docs and move it to design.html. (Not a show
1548 stopper for incoming
1549 contributions, just an explanation of some of the things I'll do to them
1550 during cleanup.) The help text for the "toybox" command now includes
1551 the shell script snippet to install symlinks to the toybox binary.</p>
1552
1553 <p>The <a href=cleanup.html>cleanup page</a> now has descriptions for the
1554 full ifconfig cleanup series, among others.</p>
1555
1556 <p>The new toys/examples directory contains hello.c and skeleton.c. The first is
1557 a simple hello world program in toybox style, the second is a much more
1558 elaborate example program using showing how to use the command line option
1559 parsing and how to provide multiple commands in the same C file.</p>
1560
1561 <p><b>Fixes</b>:</p>
1562
1563 <p>Fix od bug reported by Samuel Holland ("od -v -b" was appending the default
1564 output type even though an output type was specified). Ashwini Sharma reported
1565 bugs where readfile() was incorrectly freeing its buffer, and where toy_init()
1566 was zeroing the wrong data because the field it was using to measure (rebound)
1567 had moved (when I moved it back I added a comment why the field needs to be
1568 there), fixed a segfault in the dhcp client, and made a 0 length read at
1569 the start of password entry count as EOF. Make the "we are not root" test
1570 in the init code show the help text. Posix implies that fflush() can return
1571 success even when the stream's error bit is set, so call both fflush() and
1572 ferror() from xprintf().</p>
1573
1574 <p>Isaac Dunham pointed out that bloatcheck couldn't deal with diff
1575 implementations that only implement "unified diff" format, and that some
1576 diff implementations can't handle nonseekable input (I.E. reading from
1577 a pipe). Bugfix so "help -a" works again. Option parsing on nohup now stops
1578 at first nonoption argument. Fix segfault in "which" if PATH wasn't set,
1579 which was actually a bug in lib function find_in_path(). Made rm -rf of
1580 chmod 000 directories actually remove them.</p>
1581
1582 <p>The build now passes the same $CFLAGS to the library probe as the final
1583 build, because arch linux is so broken it provides different sets of
1584 libraries for static and dynamic linking.</p>
1585
1586 <p>It turns out sprintf("%.123s", str) is counting characters, not bytes,
1587 so globally enabling locale support opens stack smashing vulnerabilities.
1588 So there's a new TOYFLAGS_LOCALE you set in toyflags when you want the
1589 setup code to setlocale().</p>
1590
1591 <p><b>Upgrades:</b></p>
1592
1593 <p>Isaac Dunham extended cpio to archive unreadable empty files, and I taught it
1594 to set uid/gid and timestamp when extracting archives. Isaac also
1595 added tests for cpio, link, and du, added lspci -i, made the pci database
1596 parsing skip # comment lines, merged logname and whoami into id.</p>
1597
1598 <p>Daniel Verkamp sped up md5sum about 30% with some loop unrolling, making
1599 it actually smaller in the process. I added -b flags to md5sum and sha1sum
1600 for "brief" output that's just the hash with no filename. (I'm aware other
1601 implementations use that for MSDOS "binary" mode, and don't care.)</p>
1602
1603 <p>When building standalone commands (scripts/singleconfig.sh commandname),
1604 the build now switches on all the sub-options of the command so we get
1605 a standalone version with all the bells and whistles enabled.</p>
1606
1607 <p>Add -ds flags to date and document +FORMAT escapes. Add the shell NOP
1608 command ":" as an alias for true (for toysh).</p>
1609
1610 <p>Add uClibc probe for iconv() and fallocate. (The fact it didn't always
1611 build against uClibc is why fallocate wasn't enabled in defconfig before.)</p>
1612
1613 <p>The umount command now does an losetup -d on the device by default, so
1614 we don't leak loopback devices. Bugfix to losetup so "losetup /dev/loop0
1615 filename" actually works again.</p>
1616
1617 <p>Divya Kothari sent in test suite entries for ls, ln, rm, mv, printf, dd,
1618 and renice. Then a second round for lsattr/chattr, mount, chmod, pgrep/pkill,
1619 groupadd, groupdel, and useradd. Several of these uncovered bugs, still
1620 working to fix them.</p>
1621
1622 <p>There are now free() functions for the predefined llist types and a
1623 dlist_terminate() function to break doubly linked lists. The new
1624 generic_signal() handler either sets "toys.signal" or writes a byte
1625 to toys.signalfd with the signal number if signalfd isn't -1 (which it's
1626 initialized to in toy_init).</p>
1627
1628 <p>The option parsing logic can now detect when a double fits in a long and
1629 use the more precise type for floating point arguments (the FLOAT macro
1630 contains the type used). The human_readable() function now just outputs
1631 decimal kilo/mega/gigabytes (so when du -u says 5.0G it means 5.0 billion
1632 bytes). The build infrastructure now notices duplicate commands (so if you
1633 cp toys/pending/command.c toys/other/command.c and forget to delete the
1634 first one, the build break is now more informative).</p>
1635
1636 <a name="20-04-2014" /><a href="#20-04-2014"><hr><h2><b>April 20, 2014</b></h2></a>
1637 <blockquote><p>And to this end they built themselves a stupendous supercomputer
1638 which was so amazingly intelligent that even before the data banks
1639 had been connected up it had started from "I think therefore I am" and got as
1640 far as the existence of rice pudding and income tax before anyone managed to
1641 turn it off. - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1642
1643 <p><a href=downloads/toybox-0.4.8.tar.bz2>Toybox 0.4.8</a> is based on
1644 <a href=http://landley.net/hg/toybox/shortlog/1262>commit 1262</a>. And
1645 about time too.</p>
1646
1647 <p>The big news is that the build no longer needs python to generate help.h,
1648 that's now done in C. The help text generation is also collating help text
1649 from multiple options, merging command line option blocks and usage: lines.
1650 There's even a new <a href=help.html>help web page</a>.</p>
1651
1652 <p><b>New commands:</b> Ifconfig, cpio, and su were cleaned up the rest of the
1653 way and promoted out of pending. That saga is mostly explained on the
1654 <a href=cleanup.html>cleanup page</a>. Vivek Bhagat's freeramdisk,
1655 Isaac Dunham's fsfreeze, and Felix Janda's iconv are also new.</p>
1656
1657 <p><b>In pending:</b>
1658 Ashwini Sharma's team submitted tcpsvd, udpsvd, telnet, telnetd, last, more,
1659 groupdel/delgroup, arping, brctl, ftpget, ftpput, printf, reset, and added
1660 ipv6 support to traceroute. Kyungwan Han's team submitted modprobe and getty.
1661 Vivek Bhagat submitted openvt and deacllocvt. Samuel Holland submitted fold.
1662 I wrote a new inflate (zip/zlib/gzip decompression) implementation in
1663 compress.c, and still  need to do a corresponding deflate (compression-side)
1664 and plug them into gzip and zip and so on. (Right now it does zcat.)</p>
1665
1666 <p>Several commands (vmstat, login, du, vconfig, mountpoint, free, chroot,
1667 cut, touch, modinfo, expand) predate the "pending" directory, and are thus
1668 in other directories but still need cleanup. Of these, vmstat got some
1669 work this time (which would be much easier other vmstat implementations
1670 documented what their output actually meant).</p>
1671
1672 <p><b>Upgrades:</b> Ifconfig grew /prefix netmask support (ala 1.2.3.4/24). Grep now has -zZ to
1673 handle null terminated data, cksum grew -H for hex output. Upgraded od so the
1674 fields align better when producing multiple output types. Help has -a and -h
1675 options (all commands, html output).
1676 Bugfix to blkid building for a 32 bit target. The date command can actually
1677 set dates now. The O_NOFOLLOW compile time probe didn't work with cross
1678 compiling, so it's back to an #ifdef test in portability.h. Nathan McSween
1679 sent in a bugfix to od and a portability fix in the common library code.
1680 Ashwini Sharma spotted a bug in pidof -o, and added verbose (-v) options
1681 to mkdir and ln, and suggested killall should have an -s option and
1682 allow -l to take zero arguments. Ashwini Sharma and Felix Janda upgraded
1683 tftpd.  Fixed dumpleases still using toynet.h after
1684 that was removed. Corrected killall return code and error reporting.
1685 Isacc Dunham fixed bugs all over the tree, did cleanup on a bunch of
1686 pending commands (getty, ftpget, init, openvt, modprobe...), and clarified
1687 find's help text. Tom Sparrow ran three different static analyzers on
1688 the code, which resulted in a few cleanups. The peek()/poke() functions
1689 now use "volatile" to prevent broken compiler "optimizations" to do with
1690 aliasing.</p>
1691
1692 <p><b>Build stuff:</b> Each FOR_xxxx macro now has a complementary CLEANUP_xxxx macro, so you
1693 can put multiple commands with different command line options in the same
1694 .c file, so they can share infrastructure outside of lib. (This let the
1695 bunzip logic move out of lib into bzcat.c.) See XXX for example.
1696 i
1697 <p>The headers #included in toys.h are now grouped by standard, and headers
1698 not listed in Posix or LSB were moved to portability.h. The old xregcomp.h
1699 was folded into lib.h because it's posix (and supporting oddball uClibc
1700 configurations isn't as important as it once was).</p>
1701
1702 <p>Regression tested against Ubuntu 8.04 to fix up bit-rot in defconfig
1703 build on older systems. (We depend on Posix-2008, but not necessarily
1704 the absolute latest build environment.)</p>
1705
1706 <p><b>In lib</b>: lib/xwrap.c added xgetpwnam(), xchroot(), and lib/lib.c now has names_to_pid().
1707 xsetuid() was replaced with xsetuser() which takes a struct passwd
1708 and sets both gid and uid, mkpathat() got factored out into a library command,
1709 get_int_value() became atolx_range(), and
1710 xmsprintf() is now just xmprintf(). The bunzip2 logic moved from lib into
1711 bzcat.c.</p>
1712
1713 <p><b>Documentation</b>: new <a href=help.html>help page</a> with the
1714 help text for all the defconfig commands, using the new help -ah output.
1715 The <a href=code.html>source code walkthrough</a> now says more about
1716 #including header files, and how the generated/* directory works. The
1717 <a href=design.html>design page</a> has some new paragraphs about trading
1718 of different kinds of simplicity, and why comments aren't a substitute for
1719 good code. The README no longer trails off into obvious unfinished confusion
1720 at the end. Each page on the website should now have its own title.</p>
1721
1722 <a name="18-11-2013" /><a href="#18-11-2013"><hr><h2><b>November 18, 2013</b></h2></a>
1723 <blockquote><p>"Space," it says, "is big. Really big. You just won't believe how vastly, hugely, mindbogglingly big it is. I mean, you may think it's a long way down the street to the chemist's, but that's just peanuts to space." -
1724 The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1725
1726 <p><a href=downloads/toybox-0.4.7.tar.bz2>Toybox 0.4.7</a> is based on
1727 <a href=http://landley.net/hg/toybox/shortlog/1122>commit 1122</a>.</p>
1728
1729 <p>New commands: Brad Conroy submitted blkid. Elie De Brauwer submitted
1730 reboot, halt, and poweroff. Strake's nl got cleaned up and promoted from
1731 pending to posix. In addition, the existing chvt and vconfig got some
1732 cleanup.</p>
1733
1734 <p>That said, I haven't nearly kept up with the flood of new commands going
1735 into pending: Ashwini Sharma's team submitted
1736 dd, dumpleases, traceroute, top, useradd, groupadd, mkpasswd, tftpd, and
1737 an fsck wrapper (with no filesystem drivers yet). Isaac Dunham sent in cpio.</p>
1738
1739 <p>Bugfixes: Jeroen van Rijn added a user count to uptime. Elie De Brauwer
1740 added -e to watch, removed a memory leak, and fixed a terminal size problem.
1741 William Haddon made xargs call its command line once even with blank input
1742 (the standard is vague, but builds expect it), and fixed an off by one bug
1743 where grep didn't malloc enough space with -E (leading to a segfault).
1744 I fixed a glitch in bunzip2 (same one as went into busybox since they're using
1745 the code I wrote), in od to fix -t co, -J, and -c options. Add uname -o as a
1746 synonym for -s. Build fix to never use $CC without prefixing it with
1747 $CROSS_COMPILE (since $HOSTCC could be different). Anca Emanuel spotted
1748 a typo in the web page.</p>
1749
1750 <p>The compile-time command line option parsing got rewritten (ported from
1751 bash to C), which should speed up builds a bit and allow code controlled by
1752 --longopts to drop out properly when disabled in the configuration. Terminal
1753 querying got refactored. Patch's -x option is now more informative (a
1754 debug thing if you're trying to figure out why a patch didn't apply).
1755 The "toynet.h" file got folded into toys.h since musl supports it and
1756 micromanging uClibc options isn't very interesting anymore. The test suite
1757 now uses scripts/single.sh when testing a single command.</p>
1758
1759 <a name="17-09-2013" /><a href="#17-09-2013"><hr><h2><b>September 17, 2013</b></h2></a>
1760 <blockquote><p>"Think of a number," said the computer, "any number."
1761 Arthur told the computer the telephone number of King's Cross railway
1762 station passenger inquiries, on the grounds that it must have some function,
1763 and this might turn out to be it. - The Hitchhiker's Guide to the Galaxy</p>
1764 </blockquote>
1765
1766 <p><a href=downloads/toybox-0.4.6.tar.bz2>Toybox 0.4.6</a> is based on
1767 <a href=http://landley.net/hg/toybox/shortlog/1068>commit 1068</a>.</p>
1768
1769 <p>This release adds
1770 several new commands: Felix Janda wrote paste and fallocate, Kyungwan Han
1771 submitted eject, Strake contributed grep, Ashwini Sharma added pmap (and
1772 a testsuite entry for grep), Lukasz Skalski sent pwdx, Isaac Dunham posted
1773 acpi, and I did timeout and umount.</p>
1774
1775 <p>The ls command now has a --color=auto option (suggested by Rich Felker).
1776 The multiplexer now has a --help option so you can say "./toybox --help blah"
1777 instead of using the built-in "help" command. (Which is a shell built-in.
1778 Try it on your command line, it's like man for shell builtins. But a certain
1779 other project has conditioned people to expect --help, so...) I forget who
1780 heehooman at gmail is but they pointed out unshare needed PID and UID
1781 namespace support.</p>
1782
1783 <h3>Pending</h3>
1784
1785 <p>A lot of new commands in toys/pending, to the point the next release should
1786 probably just focus on cleanup and review of this backlog. We've got klogd,
1787 dhcp, dhcpd, watch, route, and ps from
1788 Ashwini Sharma (and an fsck wrapper but no fsck.fstype engines yet),
1789 syslogd, pgrep, and pkill from Madhur Verma, netstat by Ranjan Kumar,
1790 test by Felix Janda, lspci by Isaac Dunham, nl, su, and renice by strake (I.E.
1791 M. Farkas-Dyck), and sysvinit by Kyungwan Han.</p>
1792
1793 <p>Some cleanup work on existing pending commands that aren't
1794 ready to promote yet: I did a few more rounds on ifconfig
1795 and Isaac Dunham's did several cleanups to xzcat, Felix Janda cleaned up
1796 logger and syslogd...</p>
1797
1798 <p>Also some cleanup work on commands that predate the pending directory,
1799 but weren't quite polished when they went in, most prominently du,
1800 expand, and touch.</p>
1801
1802 <h3>Infrastructure</h3>
1803
1804 <p>The new scripts/single.sh builds a standalone command without the
1805 multiplexer, although not all commands can be built that way yet (NEWTOY yes,
1806 OLDTOY no) and the space savings aren't anything to write home about. (If a
1807 command needs the option parsing logic at all, it needs all of it.) If
1808 you're curious, you can do:</p>
1809
1810 <blockquote><pre>
1811 make defconfig
1812 make
1813 mkdir singles
1814 for i in $(./toybox)
1815 do
1816   echo $i
1817   PREFIX=singles/ scripts/single.sh $i || break
1818 done
1819 </pre>
1820 <p>(And then wait a long time and watch almost half the builds fail.)</p>
1821 </blockquote>
1822
1823 <p>There is now libbuf analogous to toybuf, another global 4k buffer this
1824 time for use by lib/ code instead of command code.</p>
1825
1826 <p>The lib directory got split up a bit, lib/pending.c contains functions
1827 not yet used by anything outside of toys/pending/*, and lib/xwrap.c contains
1828 functions that wrap other functions and handle failures (via error_exit).
1829 This leaves lib/lib.c containing actual new functions.</p>
1830
1831 <p>General improvements and bug fixes to argument parsing. The [-abc] exclude
1832 logic should now clear arguments slots when disabling options. Bare --longopts
1833 should work now and be able to report errors using their name, the new ;
1834 option allows optional arguments to longopts only suppliable with = (I.E.
1835 --color and --color=auto but not --color auto).</p>
1836
1837 <p>I'm gradually weaning the code off of itoa()/utoa() because sprintf
1838 does this already. In this case "simple" probably means "let libc do it
1839 for us".</p>
1840
1841 <p>Rewrote for_each_pid_with_name_in() and renamed it to just names_to_pid().
1842 It shouldn't get confused trying to compare absolute and relative paths quite
1843 so much anymore.</p>
1844
1845 <p>lib/llist.c grew a new dlist_pop() function for removing a doubly
1846 linked list entry while maintaining a circular list; tail and patch are
1847 using it now.</p>
1848
1849 <p>The musl guys suggested a new optimization flag
1850 (-fno-asynchronous-unwind-tables)
1851 that shaves about 10% off the binary size by removing a C++ism that crept
1852 into gcc's idea of C. While I don't normally try to micromanage the compiler,
1853 "-fstop-being-stupid" is a thing you have to hit gcc with from time to time.</p>
1854
1855 <h3>Bugfixes</h3>
1856
1857 <p>Felix Janda and I did a largeish rewrite of tail to
1858 finally make it work right (we think). Still need to implement tail -f
1859 someday (the tricky bit is making -f follow multiple files at once).
1860 Felix also reported a bug in xpidfile.</p>
1861
1862 <p>Juhani Haverinen pointed out that
1863 python 3 doesn't work with config2help.py, so the detection logic looks
1864 for python2 (until I get around to rewriting that in C). Elie De Brauwer
1865 then fixed our first attempt at this, and also fixed uname's help string.</p>
1866
1867 <p>Ashwini Sharma
1868 pointed out the build was making a FLAG_ macro for " " which broke some
1869 configurations. (That's a control character, not a command line option.)</p>
1870
1871 <p>Jacek Bukarewicz pointed out a bug in chdir permission handling, and
1872 a way to make env segfault. Both should be fixed now.</p>
1873
1874 <p>The new function xexec_optargs()
1875 replaces calls to xexec(toys.optargs) to avoid freeing and reusing optargs
1876 during option parsing screwing stuff up (such as netcat's exec mode).</p>
1877
1878 <p>The stat command's %a output was padded with leading zeroes, which
1879 didn't match anybody else's behavior and thus made the test suite hiccup
1880 between TEST_HOST and testing toybox. (If you go "TEST_HOST=1 scripts/test.sh
1881 command" it sanity checks the tests against the host implementation.)</p>
1882
1883 <p>Last release, "mkdir sub/sub && chmod 007 sub/sub && rm -rf sub" didn't
1884 delete sub and didn't exit with an error either. Neither was correct, rm
1885 should now be fixed.</p>
1886
1887 <p>
1888 <a name="26-07-2013" /><a href="#26-07-2013"><hr><h2><b>July 26, 2013</b></h2></a>
1889 <p>Georgi Chorbadzhiyski maintains a <a href=https://github.com/gfto/toybox>git
1890 mirror</a> of the repository on github, automatically updated from the
1891 mercurial every 6 hours. The mirror is read only, but you can generate patches
1892 against it and post them to the list.</p>
1893
1894 <a name="02-07-2013" /><a href="#02-07-2013"><hr><h2><b>July 2, 2013</b></h2></a>
1895 <blockquote><p>"Time is an illusion. Lunchtime doubly so." "Very deep. You
1896 should send that in to the Reader's Digest. They've got a page for people
1897 like you." -
1898 The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1899
1900 <p><a href=downloads/toybox-0.4.5.tar.bz2>Toybox 0.4.5</a> is based on
1901 <a href=http://landley.net/hg/toybox/shortlog/941>commit 941</a>. It adds
1902 uuencode and uudecode from Erich Plondke, and enables Luis Morales' "who" by
1903 default. Felix Janda and I cleaned up last year's "stat" submission and
1904 enabled it. Ivo van Poorten added "groups".
1905 Andre Renaud added "lsusb". I implemented "split", "pivot_root", and "mv".
1906 </p>
1907
1908 <p>The "help" command is implemented differently now (lib/help.c) and
1909 each command can now understand --help (including both "toybox --help"
1910 and "toybox --help command" in the multiplexer).</p>
1911
1912 <p>The "pending" directory has several commands (find, xzcat, nbd-client,
1913 logger, expr) which work but are not enabled by default pending further cleanup.
1914 Ifconfig is enabled, but still in pending because it's only 2/3 cleaned up.
1915 (It's an awkward halfway state but I'm not holding up the release for it.)</p>
1916
1917 <p>I'm <a href=cleanup.html>documenting the cleanups</a> to teach
1918 more people to do it, but the writeups aren't caught up yet. The
1919 <a href=roadmap.html>roadmap</a> also got updated a bit with further analysis
1920 of other projects, and the README and about pages got updated.</p>
1921
1922 <p>Fixed _another_ "ls -C" segfault when terminal size can't be detected,
1923 condensed the ls help text to fit on one page, implented --color, and taught
1924 -l to print the major, minor numbers when showing block/char devices.
1925 Argument parsing now handles "--" properly (to end option checking),
1926 and the infrastructure can now handle bare --longopts that have no
1927 corresponding short option (both were implemented before but didn't work).
1928 Fixed an old bug in "patch", chmod grew -f, who grew -a. Isaac Dunham
1929 fixed "-" vs "_" handling in modinfo, added a "firmware" output
1930 field, added -b and -k support, and taught it that the ".ko" extension means
1931 to look for the file at the specified path instead of under /lib. Felix Janda
1932 moved file permission display code to lib so ls and
1933 stat could share it. Ashwini Sharma spotted a bug in xabspath when the
1934 last path component exists but we haven't got permissions to open it
1935 (ala readlink -f /dev/sda as a normal user).
1936 </p>
1937
1938 <p>In the build infrastructure, scripts/findglobals.sh finds leaked global
1939 variables. (Leaked means they aren't part of the global union: Other than glibc
1940 debris, toybox should define "this", "toy_list", "toybuf", and "toys", and
1941 that's it; the rest add memory footprint to every command for the benefit of
1942 just one command; use GLOBALS() to stick 'em in the union.) Static linking
1943 against libraries other than the host's libc now applies to feature probes
1944 for unshare and such. Neuter stupid internationalization support that makes
1945 various host "sort" commands put things in an order other than alphabetical
1946 (breaking the multiplexer's binary search on command names).
1947
1948 <p>You should now be able to build from a source control snapshot on a build
1949 system that hasn't got python: if you disable CONFIG_TOYBOX_HELP. (The
1950 release tarballs ship generated/help.h, but it's not in source control.
1951 Eventually I should rewrite that python script in C.)</p>
1952 </p>
1953
1954 <p><b>LICENSE TWEAK</b>: After <a href=http://lists.landley.net/pipermail/toybox-landley.net/2013-March/000794.html>discussion</a> on the mailing list the "2 clause
1955 BSD" <a href=license.html>license</a> got slightly simplified so the first
1956 paragraph now says:</p>
1957
1958 <blockquote><p>Permission to use, copy, modify, and/or distribute this
1959 software for any purpose with or without fee is hereby granted.</p></blockquote>
1960
1961 <p>It used to continue "provided that the above copyright notice and this
1962 permission notice appear in all copies", but A) what's the point? B) does "all
1963 copies" mean binaries, or just source code, or what? C) lots of projects
1964 that consider BSD and GPL compatible have <a href=https://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/tree/crypto/aes_generic.c>files with
1965 both license notices</a> on them (sometimes at <a href=http://git.busybox.net/busybox/tree/shell/ash.c>opposite ends of the file</a> to make the conflict
1966 less obvious) because "all copies must include this function" would violate
1967 the GPL but "all copies must include this magic text blob" somehow don't?</p>
1968
1969 <p>I don't want to have to care about this anymore. The tweaked version is more
1970 or less public domain with a liability disclaimer, but we're still calling it
1971 BSD (sometimes "0 clause BSD") to avoid explaining.</p>
1972
1973 <a name="21-03-2013" /><a href="#21-03-2013"><hr><h2><b>March 21, 2013</b></h2></a>
1974 <p>Video of my ELC talk
1975 "<a href=http://youtu.be/SGmtP5Lg_t0>Why is Toybox?</a>"
1976 is up on youtube. Related materials include the
1977 <a href=http://landley.net/talks/celf-2013.txt>talk outline</a> and an
1978 <a href=/aboriginal/about.html#selfhost>android self-hosting writeup</a>.</p>
1979
1980 <p>[Updated June 4] The following links jump to specific topics in the video. (Sorry about
1981 the ads, it's The Linux Foundation.)</p>
1982
1983 <ul>
1984 <li>0m29s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=0m29s>The smartphone is replacing the PC</a></li>
1985   <ul>
1986   <li>4m22s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=4m22s>Software needed to become self-hosting</a></li>
1987   <li>6m20s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=6m20s>Do we care if android or iphone wins?</a></li>
1988   </ul>
1989 <li>9m45s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=9m45s>Android not vanilla: oppose or accept?</a></li>
1990   <ul>
1991   <li>11m30s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=11m30s>Open source can't do User Interfaces</a></li>
1992   </ul>
1993 <li>15m09s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=15m09s>Android is not copyleft: oppose or accept?</a></li>
1994 <li>18m23s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=18m23s>Security issues</a></li>
1995 <li>21m15s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=21m15s>Solutions to the software problems</a></li>
1996   <ul>
1997   <li>22m55s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=22m55s>What toybox needs to be/do</a></li>
1998   <li>28m17s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=28m17s>What is toybox?</a></li>
1999     <ul>
2000     <li>28m58s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=28m58s>Why toybox started...</a></li>
2001     <li>37m50s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=37m50s>What does toybox actually implement?</a></li>
2002     </ul>
2003   </ul>
2004 </ul>
2005 </span>
2006
2007
2008 <a name="14-03-2013" /><a href="#14-03-2013"><hr><h2><b>March 14, 2013</b></h2></a>
2009 <blockquote><p>"Ford, you're turning into a penguin. Stop it." -
2010 The Hitchhiker's Guide to the Galaxy.</p></blockquote>
2011
2012 <p><a href=downloads/toybox-0.4.4.tar.bz2>Toybox 0.4.4</a> is based on
2013 <a href=http://landley.net/hg/toybox/shortlog/813>commit 813</a>, adding
2014 the "time" and "readahead" commands, plus some bugfixes.</p>
2015
2016 <p>The "cp" command now implements the -s symlink option, plus bugfixes
2017 getting various corner cases right as used in actual package builds.
2018 "id -Gn root" should now print root's groups
2019 instead of the current user's. Several build fixes so toybox builds under
2020 Ubuntu 8.04 again (which is about as old a build environment as you
2021 can expect to find posix-2008 features in).</p>
2022
2023 <p>Unfinished commands have generally been moved to "toys/pending".
2024 Everything else should "default y" to participate in make defconfig.
2025 Several of those pending commands got some basic cleanup so allyesconfig
2026 should at least compile (although defconfig is still what's useful).</p>
2027
2028 <p>Significant roadmap updates, checking several other multicall binaries
2029 (klibc, sash, sbase, s6...) to see what commands they include.</p>
2030
2031 <a name="18-01-2013" /><a href="#18-01-2013"><hr><h2><b>January 18, 2013</b></h2></a>
2032 <blockquote><p>This must be Thursday. I never could get the hang of Thursdays. - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
2033
2034 <p><a href=downloads/toybox-0.4.3.tar.bz2>Toybox 0.4.3</a> is based on
2035 <a href=http://landley.net/hg/toybox/shortlog/793>commit 793</a>. There
2036 are now exactly 100 commands in defconfig (of a little over 220 on the
2037 <a href=roadmap.html>todo list</a>).</p>
2038
2039 <p>Elie De Brauwer added the rev command, cleaned up tac, implemented the -s
2040 and -f flags for seq, added -v and -i to killall (and fixed killall not to
2041 kill itself before finishing its pid list), and added to the test suite.
2042 Felix Janda added -m to mkdir, pwd -L and -P, and more test suite entries.</p>
2043
2044 <p>Rob Landley added the losetup command, and fixed the existing ls, cp, and
2045 readlink commands. The segfault in ls
2046 happened when it couldn't determine the screen size (last release changed the
2047 default to -C and a screen size of 0 made column view unhappy), and cp got an
2048 extensive rewrite bringing it up to date with the dirtree changes and fixing
2049 a number of things it never did right in the first place. The xabspath()
2050 code in the library now handles a symlink after ".." properly (and the test
2051 suite checks for it).</p>
2052
2053 <p>Infrastructure-wise the code is better about automatically setting the
2054 error return code properly. Now error_msg() sets the exit code to 1 if it's
2055 still defaulting to 0, and the global exit path does a fflush(NULL) with error
2056 bit check rather than trying to be quite so granular about flushing. (That
2057 means if we use printf() instead of xprintf() it still exits with the right
2058 error code, it just doesn't end the program early on an output error.)
2059 Minor bugfix so TOYBOX_DEBUG
2060 doesn't always warn about the lack of suid bit when toybox is built with
2061 at least one STAYROOT command. Bugfix for the option [grouping] logic
2062 (and then further fixes to the error reporting pointed out by Ashwini Sharma).
2063 dirtree_handle_callback() now has a prefix like the rest of the dirtree
2064 functions. A lot of stuff doing manual path handling was switched to using
2065 libc basename() (including, embarassingly, the basename command), which means
2066 it now correctly detects "/trailing/slash/" which the previous code didn't.</p>
2067
2068 <p>Also, last release included some accidentally checked in debug code that
2069 disabled compiler optimization, so the binary size bloated a bit. It's back
2070 to -Os by default now.</p>
2071
2072 <a name="15-12-2012" /><a href="#15-12-2012"><hr><h2><b>December 15, 2012</b></h2></a>
2073 <blockquote><p>"The major difference between a thing that might go wrong and a
2074 thing that cannot possibly go wrong is that when a thing that cannot possibly
2075 go wrong goes wrong it usually turns out to be impossible to get at or repair."
2076 </p><p>- The Hitchhiker's Guide to the Galaxy.</p></blockquote>
2077
2078 <p><a href=downloads/toybox-0.4.2.tar.bz2>Toybox 0.4.2</a> is based on
2079 <a href=http://landley.net/hg/toybox/shortlog/749>commit 749</a> and is
2080 just a resync. Linux 3.7 came out, meaning it's time to do an Aboriginal
2081 Linux release, and that should use a stable version of toybox. So here's
2082 a new stable version.</p>
2083
2084 <p>The new commands are cut (from Jason Kyungwan Han), touch
2085 (from Choubey Ji), expand (from Jonathan Clairembault, and he fixed a
2086 bug in login), and rm (from Rob Landley). Felix Janda added UTF-8
2087 support infrastructure (for non-ascii character sets) with a config option.
2088 Elie De Brauwer added tests for cat and sha1sum, and -so options to pidof.
2089 The "ls" command defaults to -C (column view) now, and "readlink" now supports
2090 -fenq.</p>
2091
2092 <p>Portability work: toybox should now build against the musl C library,
2093 and against older glibc versions (circa 2008, much before that and kernel
2094 features we depend on start to drop out).</p>
2095
2096 <p>The whole codebase got reindented from "one tab" to "two spaces" per
2097 level. The option parsing logic now understands [groups] of commands (when more
2098 than one in a group is selected it can switch the others off, or error out,
2099 or other things). The error_exit() infrastructure can now longjmp back to an
2100 earlier point instead of exiting. Each toys/* directory now has a README,
2101 the first line of which is the fancy name menuconfig uses for the directory
2102 (so no more hardwired directory list in scripts/genconfig.sh).</p>
2103
2104 <p>Fixed a filehandle leak in getmountlist().
2105 Pass parent pointer to dirtree_add_node() so it can give error messages with
2106 full path. The yesno() function now always reads from stdin and writes to
2107 stderr (we can retry tty checking complexity once we've got commands needing
2108 it).</p>
2109
2110 <p>The open group broke their website so the
2111 <a href=http://opengroup.org/onlinepubs/9699919799>old links</a> to POSIX 2008
2112 now <a href=http://pubs.opengroup.org/onlinepubs/9699919799>need to start with
2113 pubs</a>. Some of the links in the tree have been updated, others haven't while
2114 I wait to see if their webmaster notices and fixes it.</p>
2115
2116 <p>(I note that the current rm implementation is not technically posix compliant
2117 because the standard requires infinite recursion depth and the current
2118 implementation uses one filehandle per level. I can add a config option
2119 to do it Posix's way, which is more brittle and needs extra security checks,
2120 but am waiting for somebody to complain first. The default "ulimit -n" is 1024
2121 filehandles, so drilling down over 1000 nested subdirectories).</p>
2122
2123 <a name="13-11-2012" /><a href="#13-11-2012"><hr><h2><b>November 13, 2012</b></h2></a>
2124 <blockquote><p>"Rule Six: The winning team shall be the first team that wins."
2125 - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
2126
2127 <p><a href=downloads/toybox-0.4.1.tar.bz2>Toybox 0.4.1</a> is based on
2128 <a href=http://landley.net/hg/toybox/shortlog/691>commit 691</a>.</p>
2129
2130 <p>Elie De Brauwer contributed usleep, Ashwini Kumar contributed du, and
2131 Kyungwan Han contributed vconfig. Other new commands include switch_root and
2132 md5sum, and the remaining shell wrappers are now proper commands (dos2unix,
2133 unix2dos).</p>
2134
2135 <p>The patch command now supports -l, and gethostname is now enabled by
2136 default. The df command follows symlinks to get the actual device name.
2137 Felix Janda added -m support to wc (for utf8).</p>
2138
2139 <p>On the infrastructure side, the commands have now been grouped into
2140 "posix", "lsb", and "other" subdirectories (for things required by Posix-2008,
2141 the Linux Standard Base 4.1, and commands in neither). This affects menuconfig
2142 and the actual source layout (toys/cp.c is now toys/posix/cp.c, and so on).
2143 An android directory is planned (see the updated
2144 <a href=roadmap.html#android>android roadmap analysis</a>).</p>
2145
2146 <p>The FLAG_ macros for command option parsing and TT alias for the command's
2147 global block are now automatically generated, commands should
2148 #define FOR_commandname before #including <toys.h> to get the macros for that
2149 command.</p>
2150
2151 <p>An upgrade to the build infrastructure now allows commands with _ and -
2152 in them, such as switch_root.</p>
2153
2154 <p>Bugfixes: Avery Pennarun spotted a case where ls showed uid twice instead of
2155 uid and gid, and that nice was using the wrong range of numbers.
2156 The ls command also recursed inappropriately last time (not quite
2157 properly converted for the dirtree changes last release), and now it's
2158 fixed. Roy Tam pointed out a glitch in sh, and fixed df's percentage
2159 calculation to match the POSIX spec. The kernel build didn't like our mktemp
2160 and it does now. The wc command wasn't quite posix compliant (trailing spaces
2161 break stuff). The ls command recursed inappropriately last time (not quite
2162 properly converted for the dirtree changes last release), and now it's
2163 fixed. The catv command wasn't displaying byte 255 correctly. Some lib
2164 fixes (thinko in xpidfile). Fixed uname -m when running a 32 bit x86 binary
2165 on an x86-64 host (it lies and says the system is i686, i586, or i486 depending
2166 on what the toolchain that built the binary supported. This makes builds in
2167 a 32 bit chroot on a 64 bit kernel break less.) The df command was checking
2168 partitions in the wrong order (displaying undermounts instead of overmounts:
2169 this used to work but some library code changed out from under it and it
2170 wasn't updated to match until now). Felix Janda filled out the test suite
2171 some more. The patch file creation logic got tweaked several times to
2172 successfully apply more patches. Support for older (pre 2.10) glibc
2173 versions was added to portability.h.</p>
2174
2175 <p>Miscelaneous cleanups all around (mknod, sha1sum, logname), including a
2176 rewrite of taskset to be less dependent on libc getting the headers right. All
2177 the command headers should now point to the current relevant standards
2178 document, where applicable.</p>
2179
2180 <p>This news page had old news entries from before the relaunch moved into
2181 a separate <a href=oldnews.html>oldnews</a> page.</p>
2182
2183 <p>I forgot to create <a href=bin>static binaries</a> last time, but they're
2184 back now.</p>
2185 </span>
2186
2187 <a name="23-07-2012" /><a href="#23-07-2012"><hr><h2><b>July 23, 2012</b></h2></a>
2188 <blockquote><p>"Ford", Arthur said. "There's an infinite number of monkeys
2189 out here who want to talk to us about this script for Hamlet they've worked
2190 out." - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
2191
2192 <p><a href=downloads/toybox-0.4.0.tar.bz2>Toybox 0.4.0</a> is based on
2193 <a href=http://landley.net/hg/toybox/shortlog/640>commit 640</a>.</p>
2194
2195 <p>The new <a href=status.html>status page</a> is calculated from
2196 the roadmap info, and should be easier to keep up to date in future.</p>
2197
2198 <p>Andre Renaud contributed od and modinfo. Elie De Brauwer contributed
2199 taskset, bugfixes to cmp and tail, and tests for sort and tail. Kyungwan Han
2200 contributed passwd. Gaurang Shastri contributed w. Ashwini Sharma spotted a
2201 case where dirtree was adding extra slashes to a path.</p>
2202
2203 <p>I rewrote od, cleaned up comm, documented the
2204 <a href=code.html#lib_llist>llist</a> and
2205 <a href=code.html#lib_dirtree>dirtree</a> infrastructure, added an -r option
2206 to date (and fixed a bug where -u wouldn't override /etc/localtime),
2207 fixed bugs in chmod +stw, fixed ls to show suid bits properly when the
2208 corresponding executable bit wasn't set, and worked around a longstanding
2209 glibc bug where static linking prevents stdout from automatically flushing
2210 pending output on exit.</p>
2211
2212 <a name="25-06-2012" /><a href="#25-06-2012"><hr><h2><b>June 25, 2012</b></h2></a>
2213 <blockquote><p>"For a moment, nothing happened. Then, after a second or so, nothing continued to happen." - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
2214
2215 <p><a href=downloads/toybox-0.3.1.tar.bz2>Toybox 0.3.1</a> is based on commit
2216 <a href=http://landley.net/hg/toybox/shortlog/607>commit 607</a>. It's
2217 mostly a bugfix release for ls -l (which was unhappy on targets other than
2218 x86-64), plus a new "date" from Andre Renaud and rewritten chgrp/chown which
2219 now support the full set of posix flags, plus a little work on the test
2220 suite and some more header tweaks towards eventual compatability with the
2221 musl libc.</p>
2222
2223 <p>The todo list runneth over, but "release early, release often", so here
2224 it is. The roadmap and documentation are a bit behind, and I've got ~40
2225 pending submissions to review. I need to catch up...</p>
2226 </span>
2227
2228 <a name="12-06-2012" /><a href="#12-06-2012"><hr><h2><b>June 12, 2012</b></h2></a>
2229 <blockquote><p>"For instance, on the planet Earth, man had always assumed that
2230 he was more intelligent than dolphins because he had achieved so much - the
2231 wheel, New York, wars and so on - whilst all the dolphins had ever done was
2232 muck about in the water having a good time. But conversely, the dolphins had
2233 always believed that they were far more intelligent than man - for precisely
2234 the same reasons." - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
2235
2236 <p>It's well past time for <a href=downloads/toybox-0.3.0.tar.bz2>toybox 0.3.0</a>,
2237 so here it is, based
2238 on <a href=http://landley.net/hg/toybox/shortlog/595>commit 595</a>, and the
2239 statically linked <a href=downloads/binaries>prebuilt binaries</a> should
2240 actually be statically linked this time (thanks Ashwini Sharma for spotting
2241 that).</p>
2242
2243 <p>It's hard to figure out where to cut a release, because development
2244 doesn't stop. "Long before now" is the obviuos answer, of course.
2245 The project's maintainer also moved house during this development cycle, which
2246 threw things off for a bit (so many boxes). Releases should hopefully be a bit
2247 more frequent from here on.</p>
2248
2249 <p>The big things Rob worked on this time were the new dirtree (directory
2250 tree traversal) infrastructure, and a complete rewrite of ls using that
2251 which should now implement all 26 posix options.</p>
2252
2253 <p>Georgi Chorbadzhiyski added printenv, whoami, mkdir, mkfifo, chmod, chown,
2254 chgrp, and uniq. He also added fraction and extension support to sleep (so if
2255 you need a quarter-second sleep, it can do that now), and fixed a build bug
2256 on slackware.</p>
2257
2258 <p>Daniel Walter contributed a string to mode_t parser (in use by chmod and
2259 mkdir -m).  Ilya Kuzmich contributed comm. Elie De Brauwer added mountpoint,
2260 vmstat, logname, login, and mktemp. Kevin Chase did some portability cleanups.
2261 Pere Orga fixed some documentation.</p>
2262
2263 <p>The "tac" and "clear" commands are now normal commands instead of shell
2264 wrappers, and the header #includes have been cleaned up a bit to remove
2265 deprecated functions and attempt to increase compatability with the bionic and
2266 musl C libraries, "tail" should now use lseek() for large files, and "id" got
2267 some cleanups and bugfixes.</p>
2268
2269 <p>The new TOYBOX_FLOAT configuration option selects whether or not
2270 to include floating point support (for embedded targets where that's
2271 problematic).</p>
2272
2273 <p>Several random bugfixes: unshare() might actually build portably now,
2274 yes 'n' | cp -i should no longer bypass stdin and prompt via the tty, the
2275 SUID support no longer drops permissions going through the toybox
2276 multiplexer command, and a bugfix to xargs -0 means it should no longer
2277 segfault. (I have a pending bug report about xargs not doing the full
2278 posix whitespace handling that -0 obsoleted, but I'll deal with that next
2279 release.)</p>
2280
2281 <p>The build infrastructure is now automatically generating FLAG_ macros
2282 for the options, but currently with the wrong names. Some more macro glue
2283 is necessary, which I haven't quite figured out how to do yet.</p>
2284
2285 <p>A defconfig toybox at the start of the $PATH has successfully built
2286 Linux From Scratch (in my Aboriginal Linux project). The commands that
2287 'default n' in the config are often still broken, cleanup is ongoing.
2288 (The new dirtree stuff broke several of them that haven't been converted
2289 yet, but if I wait until everything works we won't have a release before
2290 1.0, so here's a checkpoint.)</p>
2291
2292
2293 <a name="03-03-2012" /><a href="#03-03-2012"><hr><h2><b>March 3, 2012</b></h2></a>
2294
2295 <blockquote><p>"They went unnoticed at Goonhilly, passed over Cape Canaveral
2296 without a blip, and Woomera and Jodrell Bank looked straight through them.
2297 Which was a pity, because it was exactly the sort of thing they'd been looking
2298 for all these years."</p></p>- The Hitchhiker's Guide to the Galaxy.</p>
2299 </p></blockquote>
2300
2301 <p>Here's <a href=downloads/toybox-0.2.1.tar.bz2>toybox 0.2.1</a> based
2302 on <a href=http://landley.net/hg/toybox/shortlog/512>commit 512</a>.  This
2303 time around, there are statically linked <a href=downloads/binaries>prebuilt
2304 binaries</a> for various embedded targets.</p>
2305
2306 <p>It's been a busy few weeks, almost entirely due to new contributors. (I
2307 have not quite been keeping up.)</p>
2308
2309 <p>Elie De Brauwer contributed free, uptime, swapon, swapoff, lsmod, mknod,
2310 insmod, rmmod, and fixed a bug in basename.  Andre Renaud contributed ls, ln,
2311 realpath, and hostname. Andres Heck contributed pidof and killall.  Daniel
2312 Walter wrote kill and extended id. Timothy Elliott contributed tail and tests
2313 for cmp. Frank Bergmann sent a warning fix. Bryce Fricke added -i to cp.
2314 Nathan McSween pointed out an optimization. Georgi Chorbadzhiyski fixed
2315 cross compiling to work more reliably.</p>
2316
2317 <p>(My own contribution this time around was just tightening up other people's
2318 code, a build fix to unshare, some random bugfixes, and so on. My only new
2319 code this time around was writing a bash replacement for the existing python
2320 bloat-o-meter.)</p>
2321
2322 <p>Last time (the 0.2.0 release) included the first pass at an id command from
2323 Tim Bird, env and basename from Tryn Mirell, cmp and head from Timothy Elliott,
2324 more bugfixes from Nathan McSween and Elie De Brauwer, and Luis Felipe Strano
2325 Moraes did a first pass at the who command plus other bugfixes and
2326 optimizations.</p>
2327
2328 <p>(For that release I did xargs, cal, truncate, unlink, nohup, tty, wc, link,
2329 dirname, unshare, and various infrastructure tweaks, but it took me 3 months
2330 and those guys did their stuff in a week or so.)</p>
2331
2332
2333 <a name="12-02-2012" /><a href="#12-02-2012"><hr><h2><b>February 12, 2012</b></h2></a>
2334 <blockquote><p>
2335 "for though it has many omissions and contains much that is apocryphal, or at
2336 least wildly inaccurate, it scores over the older, more pedestrian work in two
2337 important respects..."</p>
2338 <p> - The Hitchhiker's Guide to the Galaxy</p></blockquote>
2339
2340 <p>Here's the first BSD licensed release,
2341 <a href=downloads/toybox-0.2.0.tar.bz2>toybox-0.2.0</a>, more a synchronization
2342 point than anything particularly useful.  47 commands in a reasonably
2343 ready-to-use state (what "make defconfig" builds), another ten or so partially
2344 finished stubs ("make allyesconfig"), and several
2345 patches pending on the mailing list I need to review and merge.</p>
2346
2347 <p>More to come...</p>
2348
2349 <hr>
2350 <a name="15-11-2011" /><a href="#15-11-2011"><hr><h2><b>November 15, 2011</b></h2></a>
2351 - Back from the dead, Toybox is now under a 2
2352 clause BSD license, and aiming to become the default command line
2353 implementation of Android systems everywhere.</p>
2354
2355 <p>More to come...</p>
2356
2357 <hr>
2358
2359 <p><a href=oldnews.html>Old news</a> from before the relaunch.</p>
2360
2361 <!--#include file="footer.html" -->