OSDN Git Service

Merge tag 'android-8.1.0_r1' into oreo-x86
[android-x86/external-toybox.git] / www / news.html
1 <html><head><title>toybox news</title>
2 <!--#include file="header.html" -->
3
4 <p>Toybox combines common Linux command line utilities together
5 into a single BSD-licensed executable that's simple, small, fast,
6 reasonably standards-compliant, and powerful enough to turn Android into
7 a development environment. See the links on the left for details.</p>
8
9 <h2>News</h2>
10
11 <a name="19-06-2017" /><a href="#19-06-2017"><hr><h2><b>June 19, 2017</b></h2></a>
12 <blockquote><p>It is a well-known fact that those people who most want to rule people are, ipso facto, those least suited to do it.
13 To summarize the summary: anyone who is capable of getting themselves made President should on no account be allowed to do the job.</p>
14 <p>- The Hitchhiker's Guide to the Galaxy</p>
15 </blockquote>
16
17 <p><a href=downloads/toybox-0.7.4.tar.gz>Toybox 0.7.4</a>
18 (<a href=https://github.com/landley/toybox/releases/tag/0.7.4>git commit</a>)
19 is out. No new commands this time, but
20 <b>chrt</b> and <b>dmesg</b> got promoted out of pending.</p>
21
22 <p><u>New features</u>:
23 Rob rewrote paste, which should work much better now, and added grep
24 -M and -S to match and skip wildcards respectively (useful with -r).
25 Elliott's updated dmesg has -T and --color. The file
26 command can recognize gzip now, uptime grew -s, date grew %N, env knows - as a first argument
27 means -i (posix!) and grew -0, ls defaults to -b
28 instead of -q now when there's a tty, and ls has a new -ll option (with
29 --full-time as a compatibility synonym) showing nanoseconds and (for some
30 reason) timezone. (Why do individual files have timezones?) Elliott added
31 "uudecode -o -" support. Illya Kuzmich taught head -v and -q. The cpio
32 code no longer adds the "TRAILER!!!" entry by default (initramfs extractor
33 doesn't care) without which you can concatenate cpio archives with "cat".
34 (Use the new --trailer option if you want the legacy behavior.)
35 In pending, fdisk compiles now and tar understands bzip2.</p>
36
37 <p><u>Build</u>:
38 The "make install_airlock" target now symlinks bc from the host because
39 the kernel <a href=https://landley.net/notes-2013.html#28-03-2013>inexplicably</a>
40 needs that to build. This was motivated by
41 <a href=https://github.com/landley/mkroot>mkroot</a>, which builds under
42 a toybox airlock directory.</p>
43
44 <p>Lots of work on the test suite, mostly from the Android guys who are now
45 running it under Android. This fixed several existing tests that didn't
46 pass, made more tests run on a toybox-only system, and so on. The test suite
47 infrastructure now has a second testing function,
48 "testcmd", which supplies the command name being tested (bypassing
49 shell builtins).</p>
50
51 <p>Various android build and config fixes, getting closer to being able
52 to let android someday use scripts/make.sh instead of generated/* snapshots.
53 Also more work into building under android's NDK; not quite there yet
54 but much closer.
55 Use nproc in scripts/make.sh detect available processors (so you can control the SMP level with taskset).
56 Removed the old uClibc compatibility glue, it's been 5 years since their
57 <a href=http://lists.busybox.net/pipermail/buildroot/2016-December/180102.html>last release</a>.</p>
58
59 <p>The new config option TOYBOX_PEDANTIC_ARGS checks arguments when there
60 are no arguments, so things like "uptime" no longer silently ignore arguments
61 you pass but instead refuse to run.</p>
62
63 <p><u>Docs</u>:
64 The FAQ now has more than one entry. Commands no longer output the full
65 help text for argument errors but instead just say "See %s --help" with the
66 command name (in addition to the actual error message).
67 Elliott did a big period-ectomy on all the --help text, and
68 we cleaned up some tab/space inconsistency. The
69 non-html help -a output now has separators with the command name.
70 The top/iotop and pkill/pgrep help text now describe a lot more of what
71 the commands can do. Twitter's code of conduct page went down so we
72 mirrored the text locally.</p>
73
74 <p><u>Bugfixes</u>:
75 Fixed a race condition in ps/top where a process that exited right as we
76 read its data returned a different error value than we were expecting (which
77 was causing long-running top instances to occasionally exit),
78 mount now gives an error if it can't autodetect the filesystem
79 type, ps no longer queries the terminal size when output isn't to a tty
80 (so "ps -A | cat" doesn't vary), date's chkmktime() was replaced with
81 simple range checks for fields (to avoid false positives from things like
82 timezones and daylight savings time), removed %s from date's help (we
83 didn't implement it, we have @seconds[.nanoseconds] instead), fixed
84 zcat's buffer flush logic (which was always failing on files larger
85 than 32k), and factor now detects requests for numbers >64 bits and fails
86 loudly instead of producing incorrect answers.
87 Elliott fixed touch -a/-m (they were backwards), and allowed ':' in
88 setprop's property names. Grep now exits with 2 for errors (so -q can
89 distinguish "didn't find" from "didn't work"), doesn't stop on symlinks
90 that point nowhere (there was an error_exit() that should just be a warning),
91 and provides error messages for files we could open but not read.</p>
92
93 <p><u>Library</u>:
94 New library functions: strend() complements strstart(), minof()/maxof()
95 are min/max macros that evalute arguments once and autodetect type (why
96 isn't this in libc?), xmmap() checks MAP_FAILED (which is not NULL).</p>
97
98 <a name="21-02-2017" /><a href="#21-02-2017"><hr><h2><b>February 21, 2017</b></h2></a>
99 <blockquote><p>Only six people in the Galaxy knew that the job of the
100 Galactic President was not to wield power but to attract attention
101 away from it. Zaphod Beeblebrox was amazingly good at his job.</p>
102 <p>- The Hitchhiker's Guide to the Galaxy</p></blockquote>
103
104 <p>Despite everything, <a href=downloads/toybox-0.7.3.tar.gz>Toybox 0.7.3</a>
105 (<a href=https://github.com/landley/toybox/releases/tag/0.7.3>git commit</a>)
106 is out. The <u>new commands</u> this time are <b>ftpget</b>, <b>ftpput</b>, <b>microcom</b>, and <b>ascii</b>.<p>
107
108 <p>We also had two command _demotions_ out of defconfig:
109 <b>hostid</b> got moved to toys/example and
110 switched to "default n" because despite <a href=http://pubs.opengroup.org/onlinepubs/9699919799/functions/gethostid.html>still being in posix</a>
111 the concept of a unique 32 bit number identifying a system is something
112 Linux outgrew about the time Pauline Middelink wrote the first IP
113 Masquerading code. And Elliott did a complete rewrite of <b>dmesg</b> introducing
114 two codepaths that I didn't get a chance to unify and didn't want to
115 hold up the release for, so that's back in pending.</p>
116
117 <p><u>New features</u>: Rob added units to <b>find</b> -atime and friends
118 (with the legacy -amin alias). Elliott added color and -w to dmesg, fallocate
119 -o, and improved file's ELF parsing. Steve Muckle added -d and finit_module
120 support to modprobe. Rob and Elliott tweaked the
121 ps/top display format a bit more (extending the USER field from 8 to 18 chars
122 and putting + at the end of string fields that got truncated).
123 df -a isn't entirely new, but wasn't documented and needed a bugfix.</p>
124
125 <p><u>Bugfixes</u>:
126 Last release broke oneit because -c didn't get moved to xopen_stdio() (oops).
127 Rob and Elliott simultaneously spotted ps padding each line to 99999
128 chars when there's no tty (serial console or adb); now it pads to 80 in
129 that case but also switches on -w to avoid field truncation. The "tty"
130 field also sometimes had trailing debris (that's fixed now). And "top" was
131 endlessly redrawing with out tty because receipt of the ANSI size probe
132 results would set SIGWINCH, and handling that sent another ansi probe. (Sigh.)
133 And while we're there, replace "ADDR" with "BIT" in ps -l so there are
134 more than 4 chars left for the "CMD" field on 64 bit systems.</p>
135
136 <p>Izabera pointed out that split -b and -l can't mix, and suggested seq should
137 multiply to avoid accumulating rounding errors from repeated fractional
138 increments. Wang Xiao Jian fixed a bug in sort -k.
139 Elliott let getprop use the @ character in property names, and
140 Dimitry Ivanov removed the name length limit for system properties.
141 Elliott also improved some error reporting and improved top -H's display
142 of thread names.
143
144 <p>Josh Gao pointed out that recursive operations on . and .. could be ignored
145 in chmod -R (and the resulting generic fix to dirtree_notdotdot() fixed
146 it in several other places).</p>
147
148 <p>Justin Cormack caught tar producing a warning to stdout that screwed up
149 "tar c" to stdout.
150 Rob fixed an option parsing bug (where switching off a --longopt in menuconfig
151 confused the parser), and another one where an option excluding itself
152 (ala "abc[-ab][!abc]" with "command -a -b") would segfault.</p>
153
154 <p>There's some sort of gcc stack over-optimization bug where musl-libc's
155 version of vfork() doesn't get marked with attribute(returns_twice) so
156 stack varabiles in the same function after that get semi-randomly overwritten
157 when the optimizer decides to reclaim the space. So add the attribute
158 to the function the XVFORK() wrapper macro calls. (It's a nommu thing.)</p>
159
160 <p>Fixed a couple variable size mismatch bugs that were only tested on 64 bit
161 (printf %x 64) or only tested on 32 bit (modprobe), removed some
162 unnecessary casts in stat.</p>
163
164 <p>Continuing attempts to build under Android NDK brought up that posix
165 defines the global 'stdout' as a macro, which older versions of bionic
166 turned into an array member, but a function was using it as an argument
167 name. (This worked in the AOSP build because it only builds against current
168 bionic, where there's a global 'stdout'.)</p>
169
170 <p>Several commits argued with clang's warning generation, eventually
171 settling on a variant of __attribute__((__shut_up__)).</p>
172
173 <p>Android should no longer give spurious error messages
174 when you "ps -A | head" about EPIPE on output. (Older versions of bionic
175 set an error handler on SIGPIPE, but it shouldn't do that now. More recent
176 versions of adb set the SIGPIPE handler to SIGIGN instead of SIGDFL,
177 leading to write returning an error message instead of silently killing
178 the program. So we set it back to the default.)</p>
179
180 <p><u>Docs</u>:
181 Removed website link to the gmane archive (which didn't survive gmane's
182 change of ownership). The FAQ now answers a _second_ question. (Woo!)
183 Some roadmap updates.</p>
184
185 <p><u>Build tweaks</u>:
186 Upgraded "make install_airlock" target to only warn about missing
187 commands (unless $PEDANTIC is set) when it sets up the hermetic build
188 path. (The plan is still to implement everything but the toolchain
189 binaries in toybox, but in the meantime we're symlinking other stuff from
190 the $HOST that isn't ready yet. See
191 <a href=https://github.com/landley/mkroot>mkroot</a> for an example using
192 this.)</p>
193
194 <p>Elliott and Rob continue to poke at building toybox with Android's NDK,
195 but it's a work in progress (<a href=http://lists.landley.net/pipermail/toybox-landley.net/2016-December/008767.html>thread</a>). Various changes
196 removing libcutils dependencies and adding an selinux dependency to getprop
197 are fallout from this.</p>
198
199 <p>Cross-compiling from Macs needs to use "gsed" instead of apple's
200 version, so teach the build to use that name if it exists in the $PATH.
201 If you try to build without running config first, you should get better
202 error reporting now. Added a workaround for Centos' broken "which" command
203 producing output when it _can't_ find a name in the $PATH.</p>
204
205 <p><u>Library</u>:
206 The new dirtree flag DIRTREE_PROC skips non-numeric entries so things
207 like ps and top can scan /proc more efficiently.</p>
208
209 <a name="21-10-2016" /><a href="#21-10-2016"><hr><h2><b>October 21, 2016</b></h2></a>
210 <blockquote><p>Probability factor of one to one. We have normality. I repeat,
211 we have normality. Anything you still can't cope with is therefore your
212 own problem.</p><p> - The Hitchhiker's Guide to the Galaxy</p></blockquote>
213
214 <p><a href=downloads/toybox-0.7.2.tar.gz>Toybox 0.7.2</a>
215 (<a href=https://github.com/landley/toybox/releases/tag/0.7.2>git commit</a>)
216 is out.</p>
217
218 <p>During this development cycle, Elliott Hughes <a href=http://androidbackstage.blogspot.com/2016/07/episode-53-adb-on-adb.html>got interviewed
219 on the ADB podcast</a>
220 and Rob Landley <a href=http://linuxluddites.com/shows/episode-88/>got interviewed on Linux Luddites</a> (<a href=http://linuxluddites.com/shows/episode-11/>again</a>).
221 Both talk about toybox and many other things.
222 The web page also grew a new <a href=faq.html>FAQ page</a>, currently with
223 just the one.</p>
224
225 <p>New comands added to defconfig are <b>tunctl</b>,
226 <b>log</b>, <b>start</b>, <b>stop</b>, and <b>sendevent</b>.
227 The commands <b>file</b> and <b>netstat</b> got promoted out of pending.
228 Pending added <b>chrt</b>, <b>setfattr</b>, and <b>getfattr</b>, and saw
229 a lot of cleanups to diffstat and dd but not enough to promote them to
230 defconfig yet. A new toys/net directory was added, moving ifconfig, netcat,
231 netstat, rfkill, and tunctl there so far.</p>
232
233 <p><b>Upgrades</b>: All commands now parse --version when they understand
234 --help, but "true" and "false" should now ignore their arguments entirely.
235 We taught stat to handle "%12x" and "%.12x" printf-style escapes, which
236 apparently other versions do. The ifconfig output now shows the interface's
237 device driver. Added patch -d and --dry-run, wc can now do -cm together,
238 find has a NOP -noleaf so scripts that use that don't break, add -c to md5sum
239 and sha1sum. Elliott taught ps to treat extra aguments as additional -p
240 pids, implemented xxd -s, did a number of upgrades to file (added -HL,
241 support for ar files, improved ELF support to report android API level
242 and stripped/not stripped and it no longer prints a guessed build ID type).
243 Elliott also added optional build-time support for using openssl's
244 assembly-optimized md5sum/sha1sum implementations (leading to a new
245 <a href=design.html>design</a> policy on shared libraries).</p>
246
247 <p><b>Bugfixes</b>: Too many fixes to "ps" and "touch" to list, from both
248 Elliott and Rob. Rob taught sed to handle s/[[:space:]/]// type sequences
249 properly, switched grep to a better
250 workaround for <a href=https://sourceware.org/bugzilla/show_bug.cgi?id=17829>glibc bug 17829</a>, made sed -i preserve ownership when run as root,
251 made du max out at 2 terabytes instead of 2 gigabytes on 32-bit systems
252 (it was always designed to, but was missing a typecast),
253 fixed the option parsing infrastructure (config options that remove command
254 line options got the placeholders wrong), fix to printf for printing
255 octal digits and handling the (posix-mandated) difference between %b and
256 non-%b octal output, reading from "-" no longer closes stdin when done,
257 netcat -L works with nommu (although it may need more portability work),
258 and you can now "make test_scankey" if you want to. Several commands
259 (stat, makedeves, chgrp, cp, find) handled user name lookup failure badly
260 (stat was segfaulting if you interrogated a file belonging to a nonexistent
261 user, "chown 12345 file" errored out if you didn't have that user
262 in /etc/passwd... now they should all print/accept the number when
263 appropriate). "LC_ALL=C ls -Cs --color" produces the same output
264 as other versions (two spaces padding, -k hardwired on).<p>
265
266 <p>Kyungsik Lee fixed a bug
267 in cp (readlink() doesn't actually null terminate the string it reads in),
268 Elliott Hughes made pgrep/pkill return success/failure, fixed trailing
269 whitespace in netstat, fixed a SMACK symbol conflict due to linux/xattr.h
270 changing, fixed ls -sh, and added a lot of
271 stuff to the <a href=roadmap.html>roadmap page</a>.
272 Izabera pointed out cmp -l and -s can't be selected at the same time,
273 that timeout was never actually checking -v, that ls should default to -q
274 when output is to a tty, and that "file -" would sometimes try to open "-"
275 instead of stdin.
276 Usischev Yury pointed out a use after free error, and that id shouldn't
277 call exit() directly. Matthias Urhahn pointed out that stat(2) returns
278 hardwired 512-byte units, so stat.c was wrong. David Hedges pointed out
279 that route could only handle 10 character interface names when the kernel
280 can do 15 (it's still in pending for a reason, but fixed). Evgenii
281 Stepanov found and helped diagnose one of the more subtle ps bugs fixed
282 this time around.</p>
283
284 <p>Calling "make test_blah" no longer causes make to error out if the last
285 test fails (and thus returns a nonzero error code).
286 Building single commands and the multiplexer used to require a "make clean"
287 between them (because they had different config files both of which were older
288 than generated/config.h so it didn't get rebuilt; now it just always
289 rebuilds it).</p>
290
291 <p>The defconfig build is now slightly less broken on older centos versions
292 (although <a href=http://lists.landley.net/pipermail/toybox-landley.net/2016-September/008664.html>the consensus</a> is that Centos is just generally broken).<p>
293
294 <p>Several commands were over-using xprintf(), which flushes its output
295 to check for error (something you only need to do maybe once per line,
296 and even then maybe only in loops because xexit() flushes and checks
297 ferror() for you and adjusts the exit code if we wrote stuff to stdout
298 that couldn't be printed). Lots of little flushes are inefficient,
299 so most things can use normal printf(). (Retransmission
300 of short writes is presumably libc's problem since it's buffering the
301 output and all.)</p>
302
303 <p><b>Library:</b>
304 New library functions readlink0() and readlinkat0() which properly null
305 terminates the symlink value (which the stock libc function inexplicably
306 doesn't).
307 The new do_lines() function interates reading lines from a filehandle
308 and calling a function on each line.
309 New function pollinate() factoring out netcat's poll() loop so things
310 like telnet can use it.
311 New functions getusername() and getgroupname() return a
312 char * given a uid/gid (and return a string representation of the number
313 if the lookup fails), and xgetpwnamid/xgetgrnamid were renamed to
314 xgetuid/xgetgid and now return an integer instead of a struct (also helping
315 handle lookup failures, you can still return the uid/get for "12345").</p>
316
317 <p>Switched atolx() to use long long internally.
318 Renamed xopen() to xopen_stdio() and made a new xopen() that never returns
319 stdin, stdout, or stderr (duping /dev/null into the filehandles as necessary).
320 New function xopenro() opens a file read only with one less argument, and
321 understands that "-" means stdin. New flag WARN_ONLY tells these functions
322 to just print a warning on failure, and return -1 instead of exiting.
323 Misc new functions like openro() which defaults to the WARN_ONLY behavior
324 and notstdio() which dup()s a filehandle up beyond stdin/out/err backfilling
325 with /dev/null as necessary. The WARN_ONLY flag let us remove the failok
326 argument from loopfiles().</p>
327
328 <p>New TOYFLAG_NOHELP disables --help processing (which "true" and "false"
329 should not do).</b>
330
331 <p>The test suite now has NOSPACE=1 to ignore whitespace (using diff -b to
332 check results), which helps TEST_HOST pass the same tests as toybox.
333 Fixes to chattr and date tests. It also has a new variable $C with the
334 absolute path to the command being tested (bypassing shell builtins),
335 and a function testcmd() which is just like testing() except it prepends
336 the command name ($C) to the test command line as well as the test
337 description.</p>
338
339 <a name="02-06-2016" /><a href="#02-06-2016"><hr><h2><b>June 2, 2016</b></h2></a>
340 <blockquote><p>When the 'Drink' button is pressed it makes an instant but
341 highly detailed examination of the subject's taste buds, a spectroscopic
342 analysis of the subject's metabolism, and then sends tiny experimental
343 signals down the neural pathways to the taste centres of the subject's
344 brain to see what is likely to be well received. However, no-one knows
345 quite why it does this because it then invariably delivers a cupful of
346 liquid that is almost, but not quite, entirely unlike tea.</p>
347 <p> - The Hitchhiker's Guide to the Galaxy</p></blockquote>
348
349 <p><a href=downloads/toybox-0.7.1.tar.gz>Toybox 0.7.1</a>
350 (<a href=https://github.com/landley/toybox/releases/tag/0.7.1>git commit</a>)
351 is out. (Yes, I forgot to update the --version string, but I already
352 uploaded the <a href=downloads/binaries/0.7.1>binaries</a>.)</p>
353
354 <p>The website has https support now, you can "make cat ps ls"
355 to get standalone commands (and "make list list_pending" to see what's
356 available), and a whole lot of bugfixes and new options to existing
357 commands.</p>
358
359 <h2>New Commands</h2>
360 <p>Rob implemented <b>ulimit</b>. In pending, Elliott Hughes implemented
361 file. and Lipi Lee implemented a simple wget. (Pending also had minor
362 cleanups to more and lsof, but no promotions this time around.)</p>
363
364 <h2>New Options</h2>
365 <p>Izabera implemented env -u, suggested adding seq -w, made factor
366 use full unsigned 64 bit math even on 32 bit platforms, pointed out base64
367 -w0 should disable wrapping, and sped up wc -c.
368 Elliott Hughes added mount -o relatime, xxd -p -r, and od -w.
369 Sameer Pradhan (or possibly Bilal Qureshi) suggested adding stat -tL -c %m%t%T.
370 Tom Cherry added getprop -Z. Paul Barker added hostname -b and -F.
371 Rob added ls -b, made ls -q work with utf8,
372 made sed -f - read from stdin, and added top -O (like ps -O).</p>
373
374 <p>Elliott and Rob <b>added Thread support to ps and top</b>,
375 with -o TID, TNAME. We also added -o PCY (android scheduling policy),
376 -o BIT (process is 32 or 64 bit), and -o TNAME now shows the parent
377 command name for threads.</p>
378
379 <h2>Documentation</h2>
380
381 <p>Rob added the sed invocations to convert tabs/spaces and back to
382 design.html. Isaac Dunham updated hexedit's help text.
383 Jakob Flierl pointed out a broken URL in the README.</p>
384
385 <p>Rob also redid the naming scheme of sed's pattern manipulation code to
386 remove the gratuitous references to Roger Zelazny's "Amber" series, since it
387 was confusing people.</p>
388
389 <h2>Bugfixes</h2>
390
391 <p>Grep -H and -n should now work properly with -ABC. Andy Chu pointed out an
392 out of bounds access for zero length lines in rev, fixed a buffer overflow
393 in diff -r, and fixed operator precedence in expr (although Rob is rewriting
394 chunks of expr so toysh can use its plumbing for $(( )) ).
395 Patrick Ohly fixed the too-aggressive suid permission dropping logic.
396 Josh Gao fixed a segfault when find -iname got no argument, and
397 made tail -f work right with just one file argument.
398 Tom Marshall cleaned up tar's long filename support and improved
399 the tar tests, and reported another find bug (with -iname -o -iname not
400 tracking copy lifetimes properly) that got fixed.</p>
401
402 <p>Elliott Hughes fixed wc -c to not trust zero length files to actually be
403 zero length (/proc does that), fixed "mount -o rw,remount /system" on
404 Android, removed trailing spaces on ps -o cmdline, fixed pkill -9 and
405 the corresponding tests, made "insmod -" work, fixed top -b and tail -NUM,
406 pointed out that ps shouldn't trim numeric fields for display size limits,
407 and added some more
408 explicit "sort" calls to make pipelines so build tempfiles are easier to cache.
409 Rob <a href=https://github.com/landley/toybox/commit/32b3587af261>fixed an insane sed thing</a> the perl 5.22 build was doing.
410 Fixed mount -o to properly pass in leftover string data, and
411 <a href=http://lists.landley.net/pipermail/toybox-landley.net/2016-March/004790.html>documented how to use toybox to mount nfs</a> (warning: kernel patch
412 to fix some bitrot in the kernel NFS driver's string parsing attached
413 to that message).</p>
414
415 <p>George Burgess IV corrected some variable types in traceroute.
416 Base64 now wraps == properly. Fixed two bzcat segfaults reported by
417 John Regehr. Andy Chu found a segfault in "sed -e 'c\'" with no trailing
418 line, and implemented mv -n and cp -n. The cyanogenmod guys pointed out that
419 cp -a shouldn't complain if a non-root user can't chown, and we added
420 the output path to cp -r error messages while we were there (before was just
421 the filename).</p>
422
423 <p>Samuel Holland fixed blkid's handling of vfat labels, and
424 fixed a segfault when basename was passed an empty string and an empty
425 suffix. Davis Mosenkovs fixed touch -t seconds parsing.
426 Rob fixed a bunzip bug reported by John Regehr (the bad CRC
427 error message was printing a NUL argument).</p>
428
429 <p>Not all of the commands build standalone, but more of them do now;
430 scripts/single.sh can now build a "mv" that isn't actually "cp".
431 The dependencies are more granualr, so "make top; make ps" no longer
432 produces a broken ps that ignores -A (because ps.o wasn't getting rebuilt
433 even though top had the FLAG macros for -A zeroed).</p>
434
435 <h2>Build</h2>
436 <p>Rob added a <b>warning when building commands out of
437 pending</b>. (The pending directory is full of code that hasn't been
438 properly vetted. Use at your own risk.)</p>
439
440 <p><b>New build targets let you build individual commands by name</b>, ala
441 "make ls cat ps", and you can run the test suite for each standalone
442 command with "make test_ls" and such.
443 "make list" shows all such standalone commands in defconfig, and
444 "make list_pending" shows unfinished commands from toys/pending
445 ("make list list_pending" shows both together). "make clean" now deletes
446 these filenames at the top level, and the corresponding unstripped files
447 live in the directory generated/unstripped.</p>
448
449 <p>Nicholas Boichat suggested switching make.sh to use $! for process
450 enumeration during parallel builds (which is both more efficient and more
451 portable), and suggested shell builtin replacements for wc/awk/sed so the
452 build loop has fewer forks now.</p>
453
454 <p>Lots of work on the test suite, much of it due to Andy Chu. It now
455 consistently prints the name of the command being tested at the start of each
456 test (and the common infrastructure does that, not each individual test), and
457 "make tests" actually runs all the available tests now.
458 Seperated pgrep and pkill tests, split lsattr/chattr, added fstype and base64
459 tests. The "tests/files" directory now collects files for tests to
460 use, with blkid, bzcat, and utf8 subdirectories: the $FILES variable
461 gives a path to it, so "$FILES/blkid/ext2.bz2" and so on.
462 The testsuite now has test files with 3 different types of "not utf8 output"
463 sequences that require escaping, plus some combining character torture
464 tests, direction reversals, and so on.</p>
465
466 <p>Added dependencies on TOYBOX_FORK to various pending commands that need
467 nommu conversion (which should fix the allyesconfig build).</p>
468
469 <p>Static builds with selinux should work again.</p>
470
471 <h2>Library</h2>
472
473 <p>New bufgetgrgid() and bufgetpwuid() functions cache previous lookup info
474 rather than repeatedly traversing /etc/passwd and /etc/group (which is slow).
475 Added xpipe() to lib to catch pipe creation failure.
476 The HELP_ macros generated by config2help.c now use a capital prefix
477 to avoid collicing with help_exit() and such.</p>
478
479 <p>The dirtree infrastructure got a cleanup pass in preparation for adding
480 infinite recursion depth support (needed by rm -r), updated the
481 <a href=code.html#ib_dirtree>documentation</a> to describe the new
482 semantics (removing dirtree_start() and adding dirtree_flagread()).
483 Now dirtree_recurse() takes the new dirfd as an argument.</p>
484
485 <p>Split out _xexit() from xexit() and let sigatexit() set multiple
486 callbacks.</p>
487
488 <p>For years the man pages have said to #include <sys/types.h> to get
489 major/minor/makedev but now that glibc
490 <a href=https://sourceware.org/ml/libc-alpha/2015-11/msg00253.html>has vowed
491 to break existing programs</a> and replace it with another nonstandard header
492 not in posix or lsb, we added our own functions to lib/ to do the transform
493 ourselves (based on what the kernel actually expects).</p>
494
495 <h2>Portability</h2>
496
497 <p>Debian unstable started needing an extra header #include for some reason, and
498 although printf("%.*s", INT_MAX, s) worked fine on Ubuntu 12.04 it
499 didn't on 14.04, so added a workaround for that. Typecast a printf because
500 wchar_t isn't a rigidly defined size. RLIMIT_RTTIME was
501 added to the kernel in 2008 but you can't expect uClibc to have noticed yet,
502 nor did it #define MS_RELATIME (added in 2006), or prlimit (2010)...
503 (Given the improvements in musl and bionic, uClibc support may be dropped
504 in a future release.) Given that the xattr functions were added during
505 linux 2.5, we can #include its header unconditionally.</p>
506
507 <p>Renamed basename_r() to something else to avoid conflicting with freebsd's
508 libc, and both scripts/install.h and scripts/config2help.c no longer include
509 toys.h (to make cross-compiling from systems we don't run on easier).</p>
510
511 <p>Debian bug 635570 did something unspeakably nonportable, depending on
512 "sed -e 'a\'" (with no next line of the pattern, so an unterminated
513 continuation) to add a newline to the last line of input if and only if
514 that last line of the input didn't have a newline, and to take no other
515 action. This is well into "depending on a bug" territory, but we implemented
516 it because otherwise Debian's install broke. (Of course this behavior
517 is undocumented, non-obvious, and doesn't really make logical sense.)</p>
518
519 <p>CONFIG_TOYBOX_NORECURSE now disables the stack measuring logic (which
520 was giving some "security" code fits). Also we typecast pointers to (long)
521 before comparing them to avoid spurious compiler "optimizations" that
522 break the code.</p>
523
524 <a name="02-02-2016" /><a href="#02-02-2016"><hr><h2><b>February 2, 2016</b></h2></a>
525 <blockquote><p>"I checked it very thoroughly," said the computer, "and that
526 quite definitely is the answer. I think the problem, to be quite honest with
527 you, is that you've never actually known what the question is."
528 - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
529
530 <p><a href=downloads/toybox-0.7.0.tar.gz>Toybox 0.7.0</a>
531 (<a href=https://github.com/landley/toybox/releases/tag/0.7.0>git commit</a>)
532 is out.</p>
533
534 <p>The new commands in defconfig are <b>iotop</b>, <b>top</b>, <b>pgrep</b>,
535 and <b>pkill</b>
536 (most replacing corresponding versions from pending). Added grep -ABC,
537 swapon -d (discard), mkswap -L (label) and UUID support, and find -delete.
538 Izabera added free -h and unshare -f. Josh Gao implemented tail -f.
539 Jose Bollo submitted cp --preserve=context,attr. Kylie McClain added
540 mktemp -u.</p>
541
542 <p>In pending there's the start of a vi command, and Sameer Pradhan contributed
543 a new dhcp6. This cycle saw several rounds of route cleanup and a little dhcp
544 cleanup, but neither are complete yet. Lipi Lee did some cleanup to netstat.c
545 and Elliott Hughes removed warnings from traceroute.</p>
546
547 <p>Lots of updates to ps: several new -o options, -k (--sort) -O and -M,
548 improved compatibility with Android's historical behavior, and
549 extensive internal code cleanup (including the removal of all
550 the magic constants).</p>
551
552 <h3><b>Website</b></h3>
553
554 <p>Dreamhost restored the <a href="#12-21-2015">missing 11 months</a>
555 to the mailing list archive, in the process deleting the month after
556 that. Now they've asked if I have mbox files archiving the new
557 gap (between December 20, 2015 to January 21, 2016, and presumably they
558 could also fill in the gap from December 14, 2014 to January 3, 2015 that's
559 been there since the last time they did this),
560 but due to some gmail filtering I've
561 <a href=http://landley.net/notes-2012.html#15-10-2012>never
562 been able to disable</a>, my copy of those files is spread among 3 different
563 mbox files I'd have to sort/filter/collate. (It's on the todo list.)</p>
564
565 <p>Added a code of conduct to the README (we're
566 <a href=https://engineering.twitter.com/opensource/code-of-conduct>borrowing twitter's</a>) because somebody
567 made it necessary.</p>
568
569 <h3><b>Bugfixes</b></h3>
570 <p>Fixed another sed bug where any ] right after [ was skipped (not just the
571 first one in the range, so [[] didn't terminate). Fixed sort -f and added test cases.
572 Assume 80 columns in "ls -m | cat", ls -L is no longer backwards,
573 and ls of files with no paths no longer uses an uninitialized (zero) dirfd.
574 Several bugfixes
575 to find (Gilad Arnold fixed -perm, Daniel K. Levy fixed "find . -exec echo {}",
576 and while we're there I fixed find --prune, made "find . -execdir
577 echo {} + -execdir ls {} +" work, and ripped out the environment size
578 measuring code that checked for a 128k limit removed back in linux 2.6.22).
579 Elliott Hughes fixed the date command's parsing of 4 digit
580 years and documented the %s escape, fixed hwclock -u, and pointed out
581 that runcon needs to exec to do its job (not recursively call another
582 command_main() in the same process). Tom Marshall reported that blkid was
583 handling ext2 wrong. Mike Moreton corrected cpio extraction's uid and gid
584 values, and added a --no-preserve-owner option. Fixed the SUID permission
585 dropping logic (which was a bit over-zealous, preventing some commands from
586 running at all).</p>
587
588 <p>I'm told that debian-testing broke its libc so the nsenter build breaks,
589 but my attempts to install the debian-testing network cd image under
590 qemu keep breaking. Maybe someday they'll fix it enough I can actually
591 reproduce the problem. (Debootstrap under unbuntu builds an ubuntu-flavored
592 chroot in which toybox builds fine.)</p>
593
594 <h3><b>Documentation</b></h3>
595 <p>Rewrite of the about.html page, tweaks to design.html, and a re-triage of
596 sbase in roadmap.html. Update to mkstatus.py to collate multiple span
597 tags with the same id, resulting in a larger status.html page (which
598 was previously ignoring some commands in the roadmap).</p>
599
600 <p>Expanded the defconfig/allyesconfig/allnoconfighelp text in "make help"
601 to explain what they're for.</p>
602
603 <h3><b>infrastructure</b></h3>
604 <ul>
605 <li><p>Expanded toys.optargs to 64 bits so a command can have more than 32 options.</p></li>
606 <li><p>Added NOEXIT() wrapper to turn xwrap() functions into warning versions
607 using the existing longjump(toys.rebound) infrastructure.</p></li>
608 <li><p>Renamed dirtree->data to dirfd and stopped storing symlink length
609 into it (this fixed a bug where following symlinks to directories
610 didn't give a valid directory filehandle, noticeable with ls -Z).</p></li>
611 <li><p>New TAGGED_ARRAY() infrastructure generates index and bitmask macros
612 for arrays of structures starting with a name string.</p></li>
613 <li><p>New lib/linestack.c for utf8 fontmetrics (draw_str() and utf8len()
614 and so on), and for tracking multiple lines of text
615 (vi, less, shell history) that need wordwrapping and scrolling up/down.</p></li>
616 <li><p>Upgrades to lib/interestingtimes.c: scan_key() now has a timeout
617 in miliseconds and recognizes more sequences including ANSI
618 window size probes. New utf8 test files in tests/files/utf8 including
619 sequence reversing, stacked combining chars, and all three types of
620 unprintable sequences (low ascii <32 ala ^X, invalid utf8 sequences ala
621 <AB><CD>, and invalid unicode code points ala U+1234).</p></li>
622 <li><p>More comma handling code in lib.c: comma_args()</p></li>
623 <li><p>Added error_msg_raw() to shut up fortify's endless static checking false
624 positives.</p></li>
625 <li><p>readfileat() can now realloc() in a loop to read long files
626 ("zcat | insmod" needed it).</p></li>
627 </ul>
628
629 <h3><b>Roadmap</b></h3>
630 <p>We're getting close to having a self-hosting development environment
631 using toybox for the command line. The remaining busybox commands in
632 <a href=http://landley.net/aboriginal/about.html>Aboriginal Linux</a> are:</p>
633
634 <blockquote><p><b>
635 awk bunzip2 bzcat bzip2 dd diff expr fdisk ftpd ftpget ftpput gunzip gzip
636 less ping route sh sha512sum tar test tr unxz vi wget xzcat zcat
637 </b></p></blockquote>
638
639 <p>And the remaining non-busybox commands in Aboriginal Linux's build/host
640 directory (from the distcc, genext2fs, e2fsprogs, zlib, and squashfs packagesi)
641 are:</p>
642
643 <blockquote><p><b>
644 mke2fs fsck.ext2 resize2fs distcc genext2fs unsquashfs distccd mksquashfs tune2fs
645 </b></p></blockquote>
646
647 <p>Squashfs and distcc are probably out of scope for toybox, but mke2fs,
648 fsck.ext2, resize2fs, genext2fs, and tune2fs should all be added to the
649 above "busybox" replacement list.</p>
650
651 <p>Remind me to include this countdown in future releases. Once they've all
652 been replaced, the next goal is <a href=http://landley.net/aboriginal/about.html#selfhost>building AOSP under itself</a>.</p>
653
654 <p>See the full <a href=roadmap.html>roadmap</a> and <a href=status.html>status</a>
655 pages for more details.</p>
656
657 <a name="12-21-2015" /><a href="#12-21-2015"><hr><h2><b>December 21, 2015</b></h2></a>
658
659 <p>Yes, 11 months have gone missing from the mailing list web archive.</p>
660
661 <p>Yesterday evening Dreamhost's mailman server went down (timing out trying
662 to connect). I poked them about it, they
663 <a href=https://twitter.com/landley/status/678781271670149121>blamed
664 DNS</a>, I explained that the hang was _after_ the DNS lookup and
665 entered the dig info into the trouble ticket showing the IPs the DNS
666 queries were returning, they reinstalled the server at that IP from what I
667 assume was their most recent backup, and that's how 11 months of messages
668 vanished out of the archive.</p>
669
670 <p>I've <a href=https://twitter.com/landley/status/679114451975467008>continued to poke them about it</a> but I honestly believe that's the best they
671 can do. <a href=http://landley.net/dreamhost.txt>Last time</a>
672 this sort of thing <a href=http://landley.net/dreamhost2.txt>happened</a>
673 we went back and forth for months, so I added a link to a backup web
674 archive (in the nav bar on the left) that isn't controlled by dreamhost,
675 and thus doesn't gratuitously lose data on a regular basis. (I note
676 the earlier hole in Dreamhost's archive was never fixed either. That
677 was data never getting archived, this is a year's worth of data that
678 was in the archive until yesterday vanishing after the fact.)</p>
679
680 <p>If you're wondering why the <a href=http://lists.landley.net>top level</a>
681 list page has been "temporarily disabled" for multiple years now... you'd have
682 to ask Dreamhost. I know I have. More than a dozen times.</p>
683
684 <a name="03-11-2015" /><a href="#03-11-2015"><hr><h2><b>November 3, 2015</b></h2></a>
685 <blockquote><p>"Alright," said Ford. "How would you react if I said that I'm
686 not from Guildford after all, but from a small planet somewhere in the vicinity
687 of Betelgeuse?" Arthur shrugged in a so-so sort of way. "I don't know," he
688 said, taking a pull of beer. "Why - do you think it's the sort of thing you're
689 likely to say?" - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
690
691 <p><a href=downloads/toybox-0.6.1.tar.gz>Toybox 0.6.1</a>
692 (<a href=https://github.com/landley/toybox/releases/tag/0.6.1>git commit</a>)
693 is out.</p>
694
695 <p>We have a new <b>ps</b> command with all the -o fields posix wants (although
696 it doesn't accept BSD non-dash option syntax yet), and <b>bunzip2</b> (not just
697 bzcat but the proper extract-in-place command).
698 Sameer Pradhan added <b>hostid</b> and <b>fsync</b>.
699 Elliott Hughes added <b>flock</b>.
700
701 <p>The people waiting for <b>human readable number support</b> (du -hH, ls -h,
702 and so on) can thank Elliott Hughes for implementing it. (Our output doesn't
703 exactly match others' because we our "binary" mode will say 1.0G instead of
704 1024M, which is a bug in the other one we didn't emulate.)</p>
705
706 <p>The other big news is <b>nommu support</b>, tested on the new
707 <a href=http://nommu.org/jcore>jcore</a> processor but presumaby working
708 on any nommu system. A few commands don't support nommu yet, but those
709 are disabled by dependencies on TOYBOX_FORK in menuconfig when building
710 for nommu. The roadmap now has a large section analyzing the uClinux
711 project (note that <a href=http://nommu.org>nommu.org</a> is slowly replacing
712 <a href=http://uclinux.org>uclinux.org</a> as the standard repository of
713 all knowledge and wisdom about nommu. The old site <a href=#12-02-2012>contains
714 much that is apocryphal</a>, or at least wildly inaccurate, and the new one
715 is trying to improve on that).</p>
716
717 <p>Both "make change" and scripts/single.sh (for building standalone commands
718 without the multiplexer logic) now use the top level .config
719 for toybox global settings such as Linux Security Blanket Module selection,
720 (so make defconfig before change now).</p>
721
722 <p>Documentation updates to the <a href=code.html>code</a> and
723 <a href=roadmap.html>roadmap</a> pages.</p>
724
725 <h3>pending</h3>
726
727 <p>In the pending directory Sameer Pradhan added tftp,
728 and Elliott Hughes sent lsof. Isaac Dunham upgraded mdev,
729 reboot, init, login, and modprobe, and fixed a distro-specific build break in
730 scripts/mkflags.h. Elliott Hughes and Lipi Lee made netstat -p handle
731 command lines longer than 21 characters, and Elliott fixed netstat -e and
732 some build warnings. Yeongdeok Suh fixed a warning in dhcpd.
733 I started cleanup on pgrep/pkill.</p>
734
735 <h3>Command updates, bugfixes, and infrastructure</h3>
736
737 <p>The multiplexer's "command not found" error exit is now 127, so now you can't
738 distinguish between a command not being found in the multiplexer and
739 the multiplexer itself not being found by the shell, because people wanted
740 that for some reason.</p>
741
742 <p>Elliott Hughes made date reject invalid dates rather
743 than set the clock to something weird (setting the clock 100 years into the
744 future makes most Linux desktops surprisingly unhappy, and ntpdate won't fix it
745 either), fixed several ls -l display issues (user/group field ordering,
746 make user/group/lsmcontext left aligned), did the aforementioned
747 extensive work on human readable number output, fixed ionice's default
748 class, fixed a mv overwrite bug, made df's columns auto-size, added
749 --ppid and -Z to ps, and teamed up with Daniel K. Levy to fix
750 a segfault in find's handling of -newer -group or -user.</p>
751
752 <p>Hyejin Kim added stat -c %T support. Colin Cross worked
753 on vmstat fixing
754 a header printing bug and calculating the bi and bo columns in the right
755 units. Isabella Parakiss reported that sed -e "/x/c\" -e "y" added an extra
756 newline and that grep -w '\(x\)\1' didn't work, both now fixed.
757 Alistair Strachan fixed several problems with switch_root. Kylie McClain
758 pointed out env should be able to clear variables via NAME= syntax.
759 Dima Krasner added support for running blkid without a partition (so it shows
760 all partitions). Hyejin Kim sent in a bunch of static analysis bug reports.</p>
761
762 <p>Isabella Parakiss reported that sed -e "/x/c\" -e "y" added an extra
763 newline and that grep -w '\(x\)\1' didn't work, both now fixed.
764 Alistair Strachan fixed several problems with switch_root. Kylie McClain
765 pointed out env should be able to clear variables via NAME= syntax.
766 Dima Krasner added support for running blkid without a partition (so it shows
767 all partitions). Hyejin Kim sent in a bunch of static analysis bug reports.</p>
768
769 <p>Two large thinko fixes in oneit: -3 was always enabled (which would
770 eventually block if the child never read the exiting PID numbers from its file
771 descriptor #3 until the pipe filled up), and the signal handlers weren't
772 set up right (for requesting semi-graceful halt/poweroff/reboot).
773 Calling install without a mode is now 0755, and install -g 0 no longer clashes
774 with cp --preserve. Better error message for ls -r on unreadable
775 directories, and ls -Z now uses O_PATH (with the /proc/self/fd/%d
776 workaround for kernel stupidity as necessary).</p>
777
778 <p>Date now understands @unixtime[.fraction] and uses -D for
779 the set-side format (matching busybox's extension for this). The seq -f
780 string now checks that it's got exactly one %f escape with the correct
781 attributes (and a whole bunch of test cases for it). Fixed a bug
782 in od that screwed up the position indicator on arm and mips.
783 In stat the d/h units moved from %d %D to the default string.
784 And patch can now correctly apply hunks with trailing context to the start of
785 the file.</p>
786
787 <p>The prompt argument moved out of yesno() (the caller can print the prompt
788 themselves). Replaced toys.exithelp with help_exit(). Added new
789 XVFORK() macro, and xpopen_both() calls /proc/self/exe when passed
790 a NULL argv (see cpio -p for example usage). Replaced toys.recurse
791 with toys.stacktop so the recurse or re-exec decision is now based
792 on bytes of stack space used. Marked a bunch of command-local functions
793 static.</p>
794
795 <p>New additions to lib/ include strlower(), xconnect(), and the
796 aforementioned help_exit().
797 The testsuite now has some infrastructure tests based on "example"
798 commands such as toys/examples/test_human_readable.c.
799 The login command finally got a long-overdue cleanup (it's one of the
800 commands that predate the "pending" directory but were part of the reason
801 for it). Hexedit had an
802 uninitialized variable (of course gcc didn't spot it, it was too busy
803 warning about "may be used uninitialized but never actually is" variables).</p>
804
805 <p>Tweaked makefile so
806 "make CROSS_COMPILE=prefix-" (as well as "CROSS_COMPILE=prefix- make",
807 which still works). Toybox is now installed chmod -w so broken installers
808 (like the bunzip2 package's) that try to overwrite existing binaries won't
809 knock out the whole of toybox.
810 GCC 5.2.0 stopped being able to compile Linux 2.6.12's kconfig, but
811 we added a workaround. You can now build uptime without utmpx.h.
812 Alejandro Joya pointed out that enabling smack required smack on the host
813 as well as target when cross compiling, which is now fixed.</p>
814
815 <p>Note: toybox can autodetect nommu support when building with a uClibc
816 toolchain such as <a href=http://landley.net/aboriginal/downloads/binaries/old/1.4.3/cross-compiler-sh2eb.tar.gz>the one from Aboriginal Linux</a>,
817 but <a href=http://github.com/richfelker/musl-cross-make>with musl-libc</a>
818 you'll have to enable CONFIG_TOYBOX_MUSL_NOMMU_IS_BROKEN to work around the
819 fact they provide a non-functional fork() implementation that always returns
820 -ENOSYS, to prevent you from compile-time probing for nommu support when
821 cross-compiling. Unfortunately "preventing you from probing" seems to be
822 an explicit policy with musl, they also don't provide an "#ifdef __MUSL__"
823 because their library is perfect and you're only ever allowed to work around
824 other people's bugs, not theirs. So we have to use menuconfig to manually
825 enable musl-specific bug workarounds.</p>
826
827 <a name="23-07-2015" /><a href="#23-07-2015"><hr><h2><b>July 23, 2015</b></h2></a>
828 <p>I recreated the <a href=downloads/toybox-0.6.0.tar.gz>0.6.0 source tarball</a>
829 (new sha1sum 08fb1c23f520c25a15f262a8a95ea5b676a98d54)
830 because I forgot to add --prefix to the git archive command when I updated
831 my release script from mercurial, so the files weren't in an enclosing
832 directory. (Ooops.)</p>
833
834 <a name="19-07-2015" /><a href="#19-07-2015"><hr><h2><b>July 19, 2015</b></h2></a>
835 <blockquote><p>
836 The reason why it was published in the form of a micro sub meson electronic
837 component is that if it were printed in normal book form, an interstellar
838 hitchhiker would require several inconveniently large buildings to carry it
839 around in." - The Hitchhiker's Guide to the Galaxy </p></blockquote>
840
841 <p><a href=downloads/toybox-0.6.0.tar.gz>Toybox 0.6.0</a>
842 (<a href=https://github.com/landley/toybox/releases/tag/0.6.0>git commit</a>)
843 is out. (Yes, git. See the <a href=#05-04-2015>previous news entry</a>.)</p>
844
845 <p>Sorry for the unusually long gap between releases. Since last release Ye
846 Olde Project Maintainer traveled to japan twice and had two more "once
847 a century" floods at home. (Probably a coincidence.) Still catching up.</p>
848
849 <h3><b>CELF/ELC talk and Wikipedia[citation needed] article</b></h3>
850
851 <p>I gave another State Of The Toybox talk
852 (<a href=https://www.youtube.com/watch?v=04XwAbtPmAg>video</a>
853 <a href=http://landley.net/talks/celf-2015.txt>outline</a>), in which I
854 repeat my <a href=http://landley.net/notes-2013.html#07-11-2013>perennial</a>
855 <a href=https://twitter.com/landley/status/557309224535851009>complaint</a>
856 that Wikipedia[citation needed]
857 <a href=http://en.wikipedia.org/wiki/Toybox>still</a>
858 <a href=https://en.wikipedia.org/wiki/BusyBox#Controversy_over_Toybox>says</a>
859 toybox was relicensed before its hiatus, when relicensing was why
860 the hiatus ended.</p>
861
862 <p>Since Wikipedia[citation needed] seems unable to do the
863 <a href=#15-11-2011>most</a>
864 <a href=http://landley.net/hg/toybox/log/tip/LICENSE>basic</a>
865 <a href=http://landley.net/notes-2011.html#13-11-2011>research</a> on
866 this point, and has stuck to an incorrect sequence of events for years,
867 I've been gradually escalating my attempts to correct them. Toybox
868 came out of mothballs in November 2011 <b>because</b> it could be
869 relicensed. That's what opened up a new niche busybox wasn't already
870 filling with a 10 year headstart.</p>
871
872 <a name="asterisk_back" />
873 <p>The article has plenty of smaller issues<a href=#asterisk>*</a>, but
874 given that I gave an entire talk at Ohio LinuxFest in 2013
875 (<a href=http://landley.net/talks/ohio-2013.txt>outline</a>,
876 <a href=https://archive.org/download/OhioLinuxfest2013/24-Rob_Landley-The_Rise_and_Fall_of_Copyleft.mp3>audio</a>) on why I switched away from GPL for
877 my projects, that one bugs me.</p>
878
879 <h3><b>New stuff this release</b></h3>
880
881 <p>There's a new android menu in menuconfig, and rather a lot of Linux
882 Security Module support (Smack for Tizen from Xavier Roche and José Bollo,
883 and SELinux for Android from Elliott Hughes; see
884 the Security Blanket menu under global settings in menuconfig) has
885 trickled in, although there's still more to come.</p>
886
887 <p><b>New commands:</b> Added reset, nproc, ionice, and iorenice.
888 Elliott Hughes contributed xxd, runcon,
889 restorecon, load_policy, getenforce, setenforce, getprop, and setprop.
890 Promoted shred, nsenter, and hwclock.</p>
891
892 <p>You can once again build catv now the flag infrastructure's been updated to
893 let it coexist with cat -v.
894 And on a long plane flight I wrote
895 hexedit, an interactive hex editor that implements the start of
896 cursor control infrastructure (for eventual use by less and vi and shell
897 command history and so on).</p>
898
899 <p><b>New options:</b> Added sed -E as a BSD-compatible synonym for -r.
900 Upgraded oneit with -r (restart), -3 (send exiting PID values to child),
901 and signal handling. Added -v option to timeout, -m to mknod, -u to shred,
902 -t to dmesg, and -123 to head and tail. Added implicit "." to grep -r without
903 any files to work on. Hyejin Kim requested prefix support for truncate -s.
904 Greg Hackman added -inum to find.
905 Jan Cybulski added the smack side of ls -Z support. Various patches also
906 added -Z to mkdir, mknod, and mkfifo.
907 Basic cp --preserve support went in, but not yet the xattr/LSM parts.</p>
908
909 <p>The toybox command now has a --version option,
910 which uses "git describe" if available.</p>
911
912 <p><b>Build infrastructure:</b>
913 The "make change" target now saves the output of each failed standalone
914 command build in a .bad file, and "make defconfig" is quieter now.</p>
915
916 <p>Paul Barker submitted a large patch changing command install paths so
917 "toybox can be installed alongside busybox without confusing
918 update-alternatives". (There's some argument over
919 what the right paths should be, and I'm waiting for
920 people to tell me what else needs fixing because I have no idea. I've
921 been symlinking /bin to /usr/bin since 2002
922 <a href=http://landley.net/writing/hackermonthly-issue022-pg33.pdf>for
923 historical reasons</a>.)</p>
924
925 <p><b>Docs:</b> The repository link now goes to github, with another link
926 to the commit rss feed.</p>
927
928 <p>Elliott Hughes updated the Android section of the roadmap
929 (and he would know). Redid bits of scripts/mkstatus.py to make updating
930 status.html easier, and the README is larger.</p>
931
932 <p>More description of option parsing in code.html, which now describes the
933 FLAG_x macros, switching flag macro sets with FOR_newcommand, how
934 configuration zeroes flag macros and using FORCE_FLAGS to suppress the
935 zeroing of options shared between commands. Also added description of ";"
936 to make --longopts take an optional =value part, and more about TOYBOX_DEBUG
937 to check NEWTOY() option strings (otherwise a bad option string makes
938 lib/args.c obviously segfault, but doesn't explain why).</p>
939
940 <p>Added a "Why 0BSD?" section to license.html when submitting zero clause bsd
941 to SPDX (according to the pending license spreadsheet, it's been approved for
942 SPDX 2.2).</p>
943
944 <p>The old list of commands needing cleanup but not in pending was
945 removed from toys/pending/README and instead the issues were added
946 as TODO comments in the individual commands.</p>
947
948 <p><b>Bugfixes:</b>
949 Fixed mount -a segfaulting without -O (reported by Janus Troelsen),
950 and made it try a "become rw" ioctl() on the block device before falling
951 back to mounting read only (because Android expects that).
952 Fixed printf -- and printf ---. Lots of tweaks to ls -l spacing with
953 different options. Make touch -d and -t actually set time when you don't
954 specify nanoseconds.
955 Fixed a subtle bug where recursive calls (toybox commands that run other
956 toybox commands) weren't resetting all their state. (This manifested as
957 a "no }" error from "find | xargs sed", but could cause other problems.)
958 And David Halls reported another sed bug trying to compile libiconv (which
959 left extra \ at the start of lines in a generated shell script, breaking
960 the build). Output an error message for "cat /mnt".</p>
961
962 <p>Kylie McClain reported that mktemp broke when $TMPDIR was set to an empty
963 string (which is not the same as unset), that install/find didn't support
964 numeric uid/gids, and that sort -z affects both input and output.
965 Isabella Parakiss fixed a printf.c bug.
966 David Halls fixed bugs in install -D and find -exec. Samuel Holland
967 fixed unshare -r. Hyejin Kim fixed makedevs with a count of 1, fold -w
968 range checking, an error path in scripts/mkflags.c, added -i to dhcpd,
969 and stopped su from prompting the root user for the new user's password.
970 Jan Cybulski spotted wrong indentation when combining ls -s and -i with -C and
971 -x. José Bollo fixed stat %G. Sameer Pradhan fixed a bug in mkfifo -Z.</p>
972
973 <p>Elliott Hughes asked for a default SIGPIPE handler to disable
974 the signal handler bionic's dynamic loader installs (yes really). Still not
975 100% sure what the correct behavior is there. (Posix is
976 (<a href=http://permalink.gmane.org/gmane.comp.standards.posix.austin.general/10915>actively unhelpful</a>, but at least they're taking
977 <a href=http://austingroupbugs.net/view.php?id=789#c1976>years to
978 make up their mind</a>. Elliott also sent patches to fix a typo in
979 useradd.test, add missing arguments to error_exit() calls and clean up
980 printf() format strings, fix an off by one error in human_readable(),
981 fix dmesg -c error reporting, fix a segfault in comma_scan where the option
982 was the last item in optlist (triggered by mount -o ro,remount), fix
983 hwclock -w, made ifconfig print lowercase MAC addresses (it was bothering
984 him), and make terminal_size() read the right environment variable
985 (LINES, not ROWS). And he suggested the test suite notice high command exit
986 values (corresponding to segfault or other signals).</p>
987
988 <p>People are apparently using toys/pending commands, despite the police tape
989 and flashing lights, so added louder warnings to toys/pending/README.
990 Elliott Hughes fixed various problems with tar, dd, more, and top.
991 Hyejin Kim cleaned up syslogd and dumpleases. Isaac Dunham added hotplug
992 support to mdev. Yeongdeok Suh added RFC-3315 ipv6 support to dhcpd.</p>
993
994 <p>I rewrote ps.c from scratch (in pending), but it's not ready for real use
995 yet.</p>
996
997 <p><b>Portability:</b>
998 On the portability front Bernhard Rosenkranzer fixed a problem where the
999 menuconfig code wouldn't compile in C99 mode. (This led to me documenting
1000 the craptacular nature of kconfig in a README, and the plan to replace it
1001 sometime before 1.0.) Some extra flags to shut up overzealous llvm warnings
1002 were added (and have to be probed for because gcc complains about
1003 arguments it doesn't recognize even when they switch stuff _off_ using
1004 a standard syntax). Don't depend on malloc(0) to return non-null in ls.
1005 David Halls fixed some mac/ios portability issues,
1006 implying somebody's built at least part of toybox on a mac.</p>
1007
1008 <p>Added basename_r() to lib/lib.c because the posix semantics for basename()
1009 are stupid but what the gnu guys did to it was appalling.
1010 Turns out bionic already had a basename_r(), but posix still doesn't.
1011 Fixed it up in portability.h, but this
1012 could break more stuff in future. (Correct fix is to lobby posix to add it,
1013 which would probably take about 15 years...)</p>
1014
1015 <p><b>Infrastructure:</b>
1016 The build now checks $LDFLAGS for linker-only flags, and allows the strip
1017 command to fail (binflt toolchains provide a strip that doesn't work).
1018 Since time.c uses floating point, added TOYBOX_FLOAT dependency in config.</p>
1019
1020 <p>There's a lib/lsm.h defining varous inline functions for linux
1021 security modules stuff, if (lsm_enabled()) should turn into a compile-time
1022 constant 0 and let code drop out when TOYBOX_LSM_NONE selected, but
1023 testing against CFG_TOYBOX_LSM_NONE or derived symbols is still useful
1024 becuase when it _is_ enabled the probe turns into a system call you
1025 don't want to repeat too much.</p>
1026
1027 <p>Switched a bunch of commands from signal() to xsignal(). Factored out
1028 xgetgrnamid() and xgetpwnamid() into xwrap.c. Make time.c depend on
1029 TOYBOX_FLOAT (since it always uses float so shouldn't be available on
1030 build targets without even software float). Added readfileat() to lib/lib.c.</p>
1031
1032 <p>The dirtree infrastructure now passes in full flags for the old symlink
1033 field, and the new DIRTREE_SHUTUP flag disables warnings if a file vanishes
1034 out from under you during traverse. New dirtree_start() wrapper to
1035 create dirtree root with only two arguments.</p>
1036
1037 <p>The not-curses infrastructure introduced by hexedit mostly moved to
1038 lib/interestingtimes.c.</p>
1039
1040 <a name="asterisk" />
1041 <a href="#asterisk_back" />Asterisk:</a> such when
1042 Tim contacted me (my blog says a couple days before nov 13, 2011, I.E.
1043 11/11/11 not some specific day 2 months later) to ask if I wanted to work
1044 on a new project he was proposing called
1045 <a href=http://www.elinux.org/Busybox_replacement_project>BentoBox</a>
1046 (because I used to do busybox, he'd forgotten toybox existed
1047 until I brought it up). And don't ask me what "focuses not on compatibility
1048 with its GNU counterparts" means when CP_MORE adds 7 non-posix options
1049 and toys/other has 84 commands in neither posix nor LSB. I think they're
1050 struggling to explain the difference having dismissed "licensing" as being
1051 the reason it started up again after a long hiatus? The reason I don't think
1052 GNU is special is there are a half-dozen other independent
1053 implementations of the same unix command tools out there (AT&amp;T,
1054 BSD, Coherent, Minix, plan 9, busybox, toybox, and several more analyzed in
1055 the <a href=roadmap.html>roadmap</a>, and that's ignoring the implementations
1056 written for DOS or in assembly over the years). But I do care what
1057 Linux From Scratch expects, and if it's
1058 <a href=http://archive.linuxfromscratch.org/lfs-museum/7.6/LFS-BOOK-7.6-NOCHUNKS.html#ch-tools-gcc-pass1>calling mv -v</a>
1059 then I impelement mv -v
1060 even if <a href=http://landley.net/toybox/roadmap.html>posix hasn't got
1061 it</a>. And I don't know why "gnu counterparts" would describe this when
1062 util-linux isn't a gnu package, nor are info-zip, e2fsprogs, kmod, less,
1063 procps, shadow, sysklogd, vim, zlib, sudo, dhcpcd...</p>
1064
1065 <a name="05-04-2015" /><a href="#05-04-2015"><hr><h2><b>April 5, 2015</b></h2></a>
1066 <p>Since <a href=https://android.googlesource.com/platform/external/toybox/>android</a> and
1067 <a href=https://git.tizen.org/cgit/platform/upstream/toybox.git>tizen</a>
1068 and <a href=https://github.com/kraj/meta-musl/tree/master/recipes-core/toybox>openembedded</a>
1069 and <a href=https://packages.gentoo.org/package/sys-apps/toybox>gentoo</a>
1070 and so on have all been using Georgi Chorbadzhiyski's git mirror rather
1071 than the mercurial repository, I bit the bullet and switched the project's repo
1072 <a href=https://github.com/landley/toybox>to git</a>. Georgi's
1073 <a href=https://github.com/gfto/toybox>mirror</a> is now pulling from that.</p>
1074
1075 <a name="25-02-2015" /><a href="#25-02-2015"><hr><h2><b>February 25, 2015</b></h2></a>
1076 <blockquote><p>"A common mistake that people make when trying to design
1077 something completely foolproof is to underestimate the ingenuity of
1078 complete fools."</p><p>- The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1079
1080 <p><a href=downloads/toybox-0.5.2.tar.gz>Toybox 0.5.2</a>
1081 (<a href=/hg/toybox/shortlog/1702>commit 1702</a>) is out.</p>
1082
1083 <p>New promoted commands: sed (finally fixed enough it builds Linux From
1084 Scratch), printf (cleaned up and promoted), shred and
1085 base64 (the Tizen guys wanted them), getenforce, setenforce, and chcon (android),
1086 mix (promoted with fixes from Isaac Dunham), nsenter (from
1087 Andy Lutomirski, merged into unshare).</p>
1088
1089 <p>Elliott Hughes submited a bunch of patches to support Android (to
1090 both toybox and Bionic libc, which he maintains). On toybox's end this
1091 involved a lot of fixups to portability.[ch] and fixes to over a dozen
1092 commands, plus several new ones. Other portability fixes included working
1093 with buildroot's uclibc fork and building for nommu targets.</p>
1094
1095 <p>The new "make change" target builds each toybox command as a standalone
1096 binary. Rather a lot of commands that didn't build by themselves (mv depending
1097 on cp and so on) were hit with a large rock until they built standalone.
1098 This involved rewriting bits of option parsing, more elaborate dependency
1099 generation, making each command have its own config
1100 symbol and main() function (even when it's just a wrapper calling another
1101 command's main()), and so on. Also, some commands can't be built standalone
1102 at a conceptual level: "help" describes other enabled commands and "sh"
1103 has a number of bulitin commands (cd, exit, set) that require the
1104 multiplexer infrastructure, so "make change" filters them out.</p>
1105
1106 <p>The mailing list's web archive is still screwed up. Dreamhost has
1107 been trying to fix it since approximately September. There are
1108 <a href=http://www.mail-archive.com/toybox@lists.landley.net/>two</a>
1109 <a href=http://news.gmane.org/gmane.linux.toybox>other</a> less broken
1110 archives, but neither has quite the same UI as mailman.</p>
1111
1112 <h3>Bugfixes and tweaks</h3>
1113
1114 <p>Cynt Rynt sent in tests for ifconfig,
1115 Robert Thompson taught factor to accept whitespace separated arguments,
1116 Hyejin Kim pointed out that some of mktemp's longopts were attached to
1117 the wrong short options,
1118 Luis Felipe Strano Moraes fixed a wrong free() call in bootchartd in pending.
1119 Patches from Ashwini Sharma to make "df /dev/node" work, prevent du from
1120 looping endlessly following symlinks, and to make expr.c
1121 (in pending) understand == and regex matches. (Speaking of expr, it gets
1122 priority groupings wrong but the bug was actually in the posix spec's
1123 HTML conversion. They fixed the posix spec upstream for us. Still need
1124 to fix the expr code, but it's in pending for a reason...)</p>
1125
1126 <p>Some commands grew new option flags, such as cp --remove-destination
1127 and touch -h.</p>
1128
1129 <p>The parallel build has better error reporting now. When toybox needs to
1130 re-exec itself to regain suid root permissions and hasn't got the suid bit,
1131 it now gives the right error message ("not root" instead of "no such command").
1132
1133 <p>Added a test to "mount" to not mount the same device/directory combination
1134 over itself (the OS catches this for block devices, but not for tmpfs).
1135 Make blkid distinguish ext3 from ext4. Added catv back into cat (because
1136 the Android guys wanted it, and they have historical usage on their side,
1137 so...). Handle nanoseconds in touch.</p>
1138
1139 <p>Fixed a segfault when CP_MORE was disabled (the resulting option flag list
1140 no longer defined -d but still had it in option groups at the end).
1141 Workaround for glibc redefining dirname() and basename() to random non-posix
1142 semantics because gnu. (They could have created dirname_r() but didn't want
1143 to.)</p>
1144
1145 <p>Fix an ifconfig test that was preventing assigning an ipv4 address to
1146 interface aliases. Several cleanup passes on hwclock but not quite
1147 promoted out of pending yet.<p>
1148
1149 <p>Fixed a wrong error message in rm (if you had a chmod 000 directory and
1150 did rm -r on it without -f, after the prompt it would complain it was a
1151 directory, which was not the problem).</p>
1152
1153 <p>The gzip compression code now does "store only" output to stdout, for
1154 what that's worth.</p>
1155
1156 <p>Cleanup mountpoint and expand, and remove them from toys/pending/README
1157 (a list of commands that predate the toys/pending directory but needed
1158 another pass).</p>
1159
1160 <h3>Library and infrastructure:</h3>
1161
1162 <p>Reworked the option parsing infrastructure so more commands build
1163 standalone (via scripts/single.sh or "make change"). The option flag bit
1164 values are no longer packed, it leaves spaces where currently disabled
1165 flags go, and you can #define FORCE_FLAGS so disabled flags aren't zeroed.
1166 This allows multiple commands to more easily share infrastructure, even if
1167 your current flag context is for a disabled command (switched off in config),
1168 you can force them to stay on and as long as the flags read the same right
1169 to left they'll have the same values.</p>
1170
1171 <p>We've started removing use of strncpy() because it's a hugely broken
1172 standard C function: the length is the maximum length to _append_, not
1173 the size of the destination buffer. It memsets the remaining space it didn't
1174 copy ala "memset(dest+strlen(dest), 0, len);" so
1175 if you think len is the size of dest you're guaranteed to stomp memory off the
1176 end). And if it runs out of space it won't null terminate because reasons.
1177 (Meanwhile sprintf("%*s", len, str) is counting wide characters in your current
1178 locale, so if you set a locale other than "C" it will also go past your
1179 allocated buffer size. Whoever is maintining the C library standards is really
1180 bad at strings.)
1181 Instead we have xstrncat() which will error_exit() if src+dest+1 doesn't
1182 fit in the buffer. (Because randomly truncating input data isn't necessarily
1183 an improvement.) And there's always xmprintf().</p>
1184
1185 <p>Similarly, strtol() doesn't return an error indicator on overflow,
1186 you have to clear and then check errno. So new xstrtol() that cares
1187 about overflow.</p>
1188
1189 <p>The bionic and musl guys agree faccessat(AT_SYMLINK_NOFOLLOW) is not
1190 supported, so stop using it.</p>
1191
1192 <p>Fixed toy_exec() to detect when argc is in optargs, so we don't
1193 need a separate xexec_optargs().</p>
1194
1195 <a name="18-02-2015" /><a href="#18-02-2015"><hr><h2><b>February 18, 2015</b></h2></a>
1196 <p>Dreamhost continues to be unable to make mailing list archives work, so
1197 here's <a href=http://www.mail-archive.com/toybox@lists.landley.net/>another
1198 list archive</a> with a less awkward interface than gmane.</p>
1199
1200 <p>(Neither gives you the convenient historical monthly views of mailman,
1201 but I still have hopes dreamhost will someday figure out what they're doing
1202 wrong. They've only been trying since October. Last month they did a
1203 <a href=http://www.dreamhoststatus.com/2015/01/14/discussion-list-hardware-maintenance/>hardware upgrade to fix a software problem</a>, and the stale
1204 data loads much faster now, so that's something.)</p>
1205
1206 <p>Update (Feb 19): the archive started updating again, by discarding
1207 all the pending data. So there are now _two_ giant holes in Dreamhost's
1208 web archive, from Dec 15-Jan 3, and then another hole from Jan 16-Feb 18.
1209 The relevant messages are in both of the other archives. Here's hoping
1210 the chronic archive constipation problem won't happen a sixth time.</p>
1211
1212 <a name="30-12-2014" /><a href="#30-12-2014"><hr><h2><b>December 30, 2014</b></h2></a>
1213 <p>Due to Dreamhost's <a href=http://landley.net/dreamhost.txt>ongoing</a>
1214 <a href=http://landley.net/dreamhost2.txt>inability</a> to make mailman
1215 work reliably, I've added a link to a backup web archive at
1216 <a href=http://news.gmane.org/gmane.linux.toybox>gmane</a> to the nav bar
1217 on the left.</p>
1218
1219 <p>You still subscribe to the list through
1220 <a href=http://lists.landley.net/listinfo.cgi/toybox-landley.net>the first link</a>.</p>
1221
1222 <p>Update (January 27, 2015): they're <a href=https://twitter.com/landley/status/558428839462703104>still working on it</a>.</p>
1223
1224 <a name="19-11-2014" /><a href="#19-11-2014"><hr><h2><b>November 19, 2014</b></h2></a>
1225
1226 <blockquote><p>"This time it was right, it would work, and no one would have to get nailed to anything." - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1227
1228 <p><a href=downloads/toybox-0.5.1.tar.bz2>Toybox 0.5.1</a>
1229 (<a href=/hg/toybox/shortlog/1566>commit 1566</a>) is out.</p>
1230
1231 <p>It's an interim release, mostly bugfixes. There are several new commands,
1232 but they're all in pending.</p>
1233
1234 <h3>Development</h3>
1235
1236 <p>Finally implemented sed, which is still in pending because although
1237 it's feature complete according to posix, and even passes the parts of
1238 Busybox's sed test suite that aren't explicitly testing for gnu bugs we
1239 don't want to copy, it's not yet good enough to build Linux From Scratch.
1240 (The ./configure stages use very long sed scripts. 20 commits worth of
1241 implementation and debugging, just under 1000 lines of code, and there's
1242 still more to do. We're definitely up to some of the "fiddly" commands now.
1243 Did you know "echo hello | sed p - -" segfaults gnu sed in Ubuntu 12.04?
1244 Yeah...)</p>
1245
1246 <p>Talked with the Tizen developers to follow up on their desire to
1247 make toybox a part of the base Tizen system, and got a list of commands
1248 to add to the roadmap. The tizen todo list is:</p>
1249
1250 <blockquote><p>
1251 wget, sha256*, gzip, gunzip, bunzip2, rsync, zdiff*,
1252 less, ar, arch, base64, csplit, dir, fmt, join, 
1253 nproc, shred, shuf, stdbuf, stty, test, tr, unexpand,
1254 users, vdir, diff3, sdiff, dosfsck (fsck.vfat), awk, fdisk
1255 </p></blockquote>
1256
1257 <p>(Most of which was already on the todo list, but it helps prioritize.)</p>
1258
1259 <p>Fixed md5sum and sha1sum on big endian systems (reported by James McMechan).
1260 Andy Lutomirski fixed unshare's help text and option parsing,
1261 and submitted nsenter (a tool to use setns(2)) to pending.
1262 Isaac Dunham implemented acpi -ctV options, and spotted the bug that ls -d
1263 was inappropraitely following command line symlinks without -H or -L (it
1264 should act like ls -l does), and ls -F handles symlinks wrong too.
1265 Lukasz Szpakowski sent in two bugfixes to tail.c. Cynt Rynt spotted an
1266 unnecessary assignment in lib/password.c.</p>
1267
1268 <p>Ashwini Sharma's team was as busy as usual, submitting tr, crontab, and
1269 ipcrm, and hwclock to pending, more features to the pending ip.c, and a
1270 pile of bugfixes (to chgrp, killall, ifconfig, insmod,
1271 losetup, comm, cp, id, xwrap, netcat, modprobe, nohup...) mostly found by
1272 static analysis. (These fixes are mostly to seldom-used codepaths like the
1273 TOYBOX_FREE config option, but test coverage is always appreciated.) Ashwini
1274 also suggested upgrading ln -f to leave the original target alone if link
1275 creation fails, and reported that mv -f and -i weren't implemented (now fixed).</p>
1276
1277 <p>New config option: TOYBOX_NORECURSE prevents xexec() from making internal
1278 function calls (for nommu systems with a finite stack).</p>
1279
1280 <p>The "toybox" multiplexer command no longer adds a trailing space to each
1281 line of command names, so things like "./toybox | tr ' \n' '|'" to create
1282 a grep pattern snippet are easier to do. (Why you'd want to is your business,
1283 but the output is tidier now.)</p>
1284
1285 <h3>Infrastructure</h3>
1286
1287 <p>Isaac Dunham added Android support to portability.h, including compile
1288 probes for functions missing from bionic-libc, and annotated the commands that
1289 use those functions. We haven't really tested building against bionic,
1290 but in theory it's possible now.</p>
1291
1292 <p>Running the test suite now color codes the PASS/SKIP/FAIL notifications
1293 if output is to a tty. (And in case you missed it last time, VERBOSE=fail
1294 to stop at the first failure is really useful.)</p>
1295
1296 <p>In loopfiles_rw() use O_CLOEXEC instead of O_RDONLY to request the loop
1297 function close filehandles for us. (Otherwise the callback function must
1298 close each supplied filehandle itself.)</p>
1299
1300 <p>The printf-style escape parsing ("\n" and friends) got factored out into
1301 a new unescape() function.</p>
1302
1303 <a name="02-10-2014" /><a href="#02-10-2014"><hr><h2><b>October 2, 2014</b></h2></a>
1304 <blockquote><p>"There is an art, it says, or rather, a knack to flying.
1305 The knack lies in learning how to throw yourself at the ground and miss...
1306 Clearly, it is this second part, the missing, which presents the
1307 difficulties." - The Hitchhiker's Guide to the Galaxy.<p></blockquote>
1308
1309 <p><a href=downloads/toybox-0.5.0.tar.bz2>Toybox 0.5.0</a>
1310 (<a href=/hg/toybox/shortlog/1512>commit 1512</a>) is out.</p>
1311
1312 <h3>New commands</h3>
1313
1314 <p>The new commands are find, install, factor, and mount. Promoted commands
1315 (cleaned up and moved out of "pending") are lspci, inotifyd, and blockdev.</p>
1316
1317 <p>cp now implements -HL and -F to force delete of pending files, cpio now
1318 ignores -m and implements -p, ls -C now has utf8 support (using wcwidth
1319 instead of strlen), and umount got a number of upgrades involving
1320 looking things up in /proc/mounts. Other minor cleanups happend to
1321 cut, touch, free, and id.</p>
1322
1323 <p>In pending: Bradley Controy submitted mix (adjusts OSS sound volume). Ashwini
1324 Sharma submitted diff, userdel, blockdev, ipcs, and crond, upgraded
1325 fdisk, fsck, and ftpget, and ran a static analyzer on a lot of other code.
1326 Partial cleanup was done to useradd, userdel, groupadd, and groupdel.</p>
1327
1328 <h3>Build infrastructure</h3>
1329
1330 <p><b>Parallel builds</b></p>
1331
1332 <p>The build now takes advantage of SMP, autodetecting the number of
1333 processors. (Export the environment variable CPUS to pick a specific number.)
1334 Other build changes: split out $LDOPTIMIZE because old compilers complain
1335 about linker options passed with -c, and the entire "generated" directory now
1336 gets deleted by clean (the README that was in there got merged into code.html).</p>
1337
1338 <p><b>Standalone builds</b></p>
1339
1340 <p>The standalone build infrastructure (scripts/single.sh) got upgraded to
1341 build more commands as standalone executables. In make.sh the source file
1342 selection uses a regex to find the source files with the NEWTOY/OLDTOY macro
1343 for the command. It enables each command's
1344 sub-options (so CP has CP_MORE), enables I18N and FLOAT support to build
1345 full-featured commands, and includes --help text (at least when
1346 the command doesn't use another command's help). The OLDTOY() macro
1347 now produces (redundant) function prototypes so you can build an OLDTOY
1348 without the NEWTOY</p>
1349
1350 <p>It doesn't quite have complete coverage yet, the defconfig entries that
1351 aren't building standalone yet are:</p>
1352
1353 <blockquote><p>chown, egrep, fgrep, fstype, halt, mv, nc, poweroff, unix2dos,
1354 whoami</p></blockquote>
1355
1356 <p>The main reason for standalone build failures is NEWTOY() or OLDTOY()
1357 entries that don't have their own config symbol. Another problem is entries
1358 that depend on another entry in kconfig, usually because common infrastructure
1359 is using one command's flags (which the other commands copy): if that command
1360 is disabled, the FLAG macros become 0 so dead code elimination can remove the
1361 code. It's <a href=http://landley.net/hg/toybox/rev/1503>possible
1362 to untangle</a> this, but a bit awkward. (It boils down to conflicting
1363 design goals in the two contexts.)</p>
1364
1365 <p>Standalone builds are used by the test suite when testing individual
1366 commands.
1367
1368 <p><b>Snapshot builds</b></p>
1369
1370 <p>A new addition to the "generated" directory is generated/build.sh
1371 containing a single compiler command line to build toybox in its current
1372 configuration. Combined with the generated/*.{h,sh} files from an
1373 exisiting build, this may let you build on a new system that hasn't quite
1374 got enough OS bits working to run a full configureand make.</p>
1375
1376 <h3>Internals</h3>
1377
1378 <p>Library code: xcreate/xopen now O_CLOEXEC by default to avoid leaking
1379 filehandles to child processes. DIRTREE_COMEAGAIN's second callback is now
1380 done with the directory filehandle still open (new dir->again variable added
1381 to distinguish first from second callback, and requesting DIRTREE_RECURSE now
1382 requires passing in the specific macro value, not just a true/false).
1383 Use daemon() out of libc instead of hand-rolled daemonize() in various
1384 pending commands. string_to_mode() now passes through type bits so you can
1385 use it to more easily modify a file's existing mode.
1386 Split xpopen() into xpopen_both(), xopen(), and xrun() depending on whether
1387 we want to redirect both, one, or neither of stdin/stdout.</p>
1388
1389 <p>Bugfixes: Better error message when TOYBOX_SUID option can't drop priviliges
1390 (which happens when you suid something _other_ than root).
1391 The old pending version of nbd_client.c wasn't deleted when the
1392 command was promoted (and the build would break if both were enabled),
1393 toy_exec() sometimes needs to re-exec from $PATH rather than recurse
1394 internally (to gain dropped root permissions or limit stack depth),
1395 always call setlocale() when I18N is enabled to switch it back _off_ when
1396 we run commands that expect sscanf("%n") to return bytes,
1397 dirtree() had a memory leak in an error path, patch.c had some bugs in
1398 error paths (didn't report problem clearly). Ashwini Sharma spotted an
1399 option parsing bug where [-abc] would forget _all_ command line arguments
1400 saved in the GLOBALS() block (not just the ones for options being switched
1401 off), plus various minor fixes to nbd_client and cpio.
1402 Lukasz Szpakowski fixed rm -f on a broken symlink (failed), and killall
1403 with no arguments (segfaulted).</p>
1404
1405 <p><b>Portability</b></p>
1406
1407 <p>A somewhat fiddly fix to rm -rf (which needs to chmod directories to u+rwx
1408 to descend into them) which hit a musl bug in faccessat() which the musl
1409 maintainer refuses to fix. (He literally wants the man page changed
1410 instead, despite other libcs working.) Added an #ifdef __MUSL__ section
1411 to portability.h with a workaround, you may need CFLAGS=-D__MUSL__ in your
1412 build if your musl build's features.h doesn't #define that. (I may do
1413 a different workaround in future, but sometimes you've just got to make
1414 it work so you can ship. Also, toybox grep with multiple patterns
1415 requires <a href=http://landley.net/hg/aboriginal/rev/1692>a patch
1416 to musl's regex engine</a>, which applies to 1.1.4 but not to the current
1417 musl source control.)</p>
1418
1419 <p>More portability.h fixes for uClibc too. (I don't expect that to ever have
1420 another release, so locally patching around posix-2008 violations is silly).</p>
1421
1422 <p><b>Change to username filtering</b></p>
1423
1424 <p>Posix recommends the username creation logic filter usernames to a small
1425 allowed set of characters (which even Red Hat breaks by explicitly allowing
1426 "$" at the end), but this prevents UTF-8 usernames. Posix' stated logic
1427 is to allow filesystems to create the user's home directory, but Linux
1428 filesystems can accept any character but NUL and "/". The only characters
1429 we actually _need_ to filter out are ":" (field separator in passwd),
1430 newline (line separator in passwd), and "/" (directory separator in
1431 filesystem).</p>
1432
1433 <h3>Documentation</h3>
1434
1435 <p>Web pages updated: cleanup.html documents more cleanup, code.html
1436 documents more code, and about.html now capitalizes "toybox" consistently
1437 (it's just a word, capitalize at start of sentence).</p>
1438
1439 <p>The pending/README file now lists commands that needed review/cleanup
1440 before the pending directory was added.</p>
1441
1442 <h3>Test Suite</h3>
1443
1444 <p>Moved out of scripts/test into top level "tests" directory, and the
1445 testing.sh script is now in scripts rather than mixed into the *.test files.</p>
1446
1447 <p>Johan Bergström requested VERBOSE=fail to make tests (telling it to
1448 stop at the first failure), and spotted a build bug where using gnu
1449 sort on the host broke in non-C locales.</p>
1450
1451 <p>Divya Kothari submitted tests for chmod, link, tar, bzcat, xzcat, zcat,
1452 and hostname. (And more, but that's all that's merged so far.)</p>
1453
1454 <a name="07-07-2014" /><a href="#07-07-2014"><hr><h2><b>July 7, 2014</b></h2></a>
1455 <blockquote><p>"This planet has - or rather had - a problem, which was this:
1456 most of the people living on it were unhappy for pretty much of the time. Many
1457 solutions were suggested for this problem, but most of these were largely
1458 concerned with the movement of small green pieces of paper, which was odd
1459 because on the whole it wasn't the small green pieces of paper that were
1460 unhappy." - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1461
1462 <p><a href=downloads/toybox-0.4.9.tar.bz2>Toybox 0.4.9</a> (<a href=/hg/toybox/shortlog/1385>commit 1385</a>) is out.</p>
1463
1464 <p><b>New commands</b> added to pending include:
1465 lsattr, chattr, inotifyd, rfkill, sulogin, strings, makedevs,
1466 killall5, and tar from Ashwini Sharma, arp from Kyungwan Han,
1467 sysctl by Bilal Qureshi, partprobe from Bertold Van den Bergh,
1468 host from Rich felker, and I did nbd-client and the first 2/3 of mount.</p>
1469
1470 <p>Finished cleanups (commands promoted out of pending):
1471 sysctl, rfkill, strings, mkpasswd, makedevs, partprobe, killall5,
1472 fallocate, and nbd-client.</p>
1473
1474 <p>(Along the way partial cleanups got made to: last, fold, lspci, ps,
1475 bootchartd, init, fsck, telnetd, telnet, vconfig, toysh, iconv, useradd,
1476 login, host, openvt, deallocvt, getty, tftpd, and modprobe. But there's
1477 still more to do on all of those.)</p>
1478
1479 <p>This time around the <a href=bin>static binaries</a> are linked against
1480 musl instead of uClibc. (That's why there's no sparc version, musl doesn't
1481 support that target yet.)</p>
1482
1483 <p><b>Documentation:</b></p>
1484
1485 <p>The help text parser expects lower case "usage:" lines with
1486 a blank line after them, so go through and regularize those. Expand the
1487 "coding style" section in the docs and move it to design.html. (Not a show
1488 stopper for incoming
1489 contributions, just an explanation of some of the things I'll do to them
1490 during cleanup.) The help text for the "toybox" command now includes
1491 the shell script snippet to install symlinks to the toybox binary.</p>
1492
1493 <p>The <a href=cleanup.html>cleanup page</a> now has descriptions for the
1494 full ifconfig cleanup series, among others.</p>
1495
1496 <p>The new toys/examples directory contains hello.c and skeleton.c. The first is
1497 a simple hello world program in toybox style, the second is a much more
1498 elaborate example program using showing how to use the command line option
1499 parsing and how to provide multiple commands in the same C file.</p>
1500
1501 <p><b>Fixes</b>:</p>
1502
1503 <p>Fix od bug reported by Samuel Holland ("od -v -b" was appending the default
1504 output type even though an output type was specified). Ashwini Sharma reported
1505 bugs where readfile() was incorrectly freeing its buffer, and where toy_init()
1506 was zeroing the wrong data because the field it was using to measure (rebound)
1507 had moved (when I moved it back I added a comment why the field needs to be
1508 there), fixed a segfault in the dhcp client, and made a 0 length read at
1509 the start of password entry count as EOF. Make the "we are not root" test
1510 in the init code show the help text. Posix implies that fflush() can return
1511 success even when the stream's error bit is set, so call both fflush() and
1512 ferror() from xprintf().</p>
1513
1514 <p>Isaac Dunham pointed out that bloatcheck couldn't deal with diff
1515 implementations that only implement "unified diff" format, and that some
1516 diff implementations can't handle nonseekable input (I.E. reading from
1517 a pipe). Bugfix so "help -a" works again. Option parsing on nohup now stops
1518 at first nonoption argument. Fix segfault in "which" if PATH wasn't set,
1519 which was actually a bug in lib function find_in_path(). Made rm -rf of
1520 chmod 000 directories actually remove them.</p>
1521
1522 <p>The build now passes the same $CFLAGS to the library probe as the final
1523 build, because arch linux is so broken it provides different sets of
1524 libraries for static and dynamic linking.</p>
1525
1526 <p>It turns out sprintf("%.123s", str) is counting characters, not bytes,
1527 so globally enabling locale support opens stack smashing vulnerabilities.
1528 So there's a new TOYFLAGS_LOCALE you set in toyflags when you want the
1529 setup code to setlocale().</p>
1530
1531 <p><b>Upgrades:</b></p>
1532
1533 <p>Isaac Dunham extended cpio to archive unreadable empty files, and I taught it
1534 to set uid/gid and timestamp when extracting archives. Isaac also
1535 added tests for cpio, link, and du, added lspci -i, made the pci database
1536 parsing skip # comment lines, merged logname and whoami into id.</p>
1537
1538 <p>Daniel Verkamp sped up md5sum about 30% with some loop unrolling, making
1539 it actually smaller in the process. I added -b flags to md5sum and sha1sum
1540 for "brief" output that's just the hash with no filename. (I'm aware other
1541 implementations use that for MSDOS "binary" mode, and don't care.)</p>
1542
1543 <p>When building standalone commands (scripts/singleconfig.sh commandname),
1544 the build now switches on all the sub-options of the command so we get
1545 a standalone version with all the bells and whistles enabled.</p>
1546
1547 <p>Add -ds flags to date and document +FORMAT escapes. Add the shell NOP
1548 command ":" as an alias for true (for toysh).</p>
1549
1550 <p>Add uClibc probe for iconv() and fallocate. (The fact it didn't always
1551 build against uClibc is why fallocate wasn't enabled in defconfig before.)</p>
1552
1553 <p>The umount command now does an losetup -d on the device by default, so
1554 we don't leak loopback devices. Bugfix to losetup so "losetup /dev/loop0
1555 filename" actually works again.</p>
1556
1557 <p>Divya Kothari sent in test suite entries for ls, ln, rm, mv, printf, dd,
1558 and renice. Then a second round for lsattr/chattr, mount, chmod, pgrep/pkill,
1559 groupadd, groupdel, and useradd. Several of these uncovered bugs, still
1560 working to fix them.</p>
1561
1562 <p>There are now free() functions for the predefined llist types and a
1563 dlist_terminate() function to break doubly linked lists. The new
1564 generic_signal() handler either sets "toys.signal" or writes a byte
1565 to toys.signalfd with the signal number if signalfd isn't -1 (which it's
1566 initialized to in toy_init).</p>
1567
1568 <p>The option parsing logic can now detect when a double fits in a long and
1569 use the more precise type for floating point arguments (the FLOAT macro
1570 contains the type used). The human_readable() function now just outputs
1571 decimal kilo/mega/gigabytes (so when du -u says 5.0G it means 5.0 billion
1572 bytes). The build infrastructure now notices duplicate commands (so if you
1573 cp toys/pending/command.c toys/other/command.c and forget to delete the
1574 first one, the build break is now more informative).</p>
1575
1576 <a name="20-04-2014" /><a href="#20-04-2014"><hr><h2><b>April 20, 2014</b></h2></a>
1577 <blockquote><p>And to this end they built themselves a stupendous supercomputer
1578 which was so amazingly intelligent that even before the data banks
1579 had been connected up it had started from "I think therefore I am" and got as
1580 far as the existence of rice pudding and income tax before anyone managed to
1581 turn it off. - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1582
1583 <p><a href=downloads/toybox-0.4.8.tar.bz2>Toybox 0.4.8</a> is based on
1584 <a href=http://landley.net/hg/toybox/shortlog/1262>commit 1262</a>. And
1585 about time too.</p>
1586
1587 <p>The big news is that the build no longer needs python to generate help.h,
1588 that's now done in C. The help text generation is also collating help text
1589 from multiple options, merging command line option blocks and usage: lines.
1590 There's even a new <a href=help.html>help web page</a>.</p>
1591
1592 <p><b>New commands:</b> Ifconfig, cpio, and su were cleaned up the rest of the
1593 way and promoted out of pending. That saga is mostly explained on the
1594 <a href=cleanup.html>cleanup page</a>. Vivek Bhagat's freeramdisk,
1595 Isaac Dunham's fsfreeze, and Felix Janda's iconv are also new.</p>
1596
1597 <p><b>In pending:</b>
1598 Ashwini Sharma's team submitted tcpsvd, udpsvd, telnet, telnetd, last, more,
1599 groupdel/delgroup, arping, brctl, ftpget, ftpput, printf, reset, and added
1600 ipv6 support to traceroute. Kyungwan Han's team submitted modprobe and getty.
1601 Vivek Bhagat submitted openvt and deacllocvt. Samuel Holland submitted fold.
1602 I wrote a new inflate (zip/zlib/gzip decompression) implementation in
1603 compress.c, and still  need to do a corresponding deflate (compression-side)
1604 and plug them into gzip and zip and so on. (Right now it does zcat.)</p>
1605
1606 <p>Several commands (vmstat, login, du, vconfig, mountpoint, free, chroot,
1607 cut, touch, modinfo, expand) predate the "pending" directory, and are thus
1608 in other directories but still need cleanup. Of these, vmstat got some
1609 work this time (which would be much easier other vmstat implementations
1610 documented what their output actually meant).</p>
1611
1612 <p><b>Upgrades:</b> Ifconfig grew /prefix netmask support (ala 1.2.3.4/24). Grep now has -zZ to
1613 handle null terminated data, cksum grew -H for hex output. Upgraded od so the
1614 fields align better when producing multiple output types. Help has -a and -h
1615 options (all commands, html output).
1616 Bugfix to blkid building for a 32 bit target. The date command can actually
1617 set dates now. The O_NOFOLLOW compile time probe didn't work with cross
1618 compiling, so it's back to an #ifdef test in portability.h. Nathan McSween
1619 sent in a bugfix to od and a portability fix in the common library code.
1620 Ashwini Sharma spotted a bug in pidof -o, and added verbose (-v) options
1621 to mkdir and ln, and suggested killall should have an -s option and
1622 allow -l to take zero arguments. Ashwini Sharma and Felix Janda upgraded
1623 tftpd.  Fixed dumpleases still using toynet.h after
1624 that was removed. Corrected killall return code and error reporting.
1625 Isacc Dunham fixed bugs all over the tree, did cleanup on a bunch of
1626 pending commands (getty, ftpget, init, openvt, modprobe...), and clarified
1627 find's help text. Tom Sparrow ran three different static analyzers on
1628 the code, which resulted in a few cleanups. The peek()/poke() functions
1629 now use "volatile" to prevent broken compiler "optimizations" to do with
1630 aliasing.</p>
1631
1632 <p><b>Build stuff:</b> Each FOR_xxxx macro now has a complementary CLEANUP_xxxx macro, so you
1633 can put multiple commands with different command line options in the same
1634 .c file, so they can share infrastructure outside of lib. (This let the
1635 bunzip logic move out of lib into bzcat.c.) See XXX for example.
1636 i
1637 <p>The headers #included in toys.h are now grouped by standard, and headers
1638 not listed in Posix or LSB were moved to portability.h. The old xregcomp.h
1639 was folded into lib.h because it's posix (and supporting oddball uClibc
1640 configurations isn't as important as it once was).</p>
1641
1642 <p>Regression tested against Ubuntu 8.04 to fix up bit-rot in defconfig
1643 build on older systems. (We depend on Posix-2008, but not necessarily
1644 the absolute latest build environment.)</p>
1645
1646 <p><b>In lib</b>: lib/xwrap.c added xgetpwnam(), xchroot(), and lib/lib.c now has names_to_pid().
1647 xsetuid() was replaced with xsetuser() which takes a struct passwd
1648 and sets both gid and uid, mkpathat() got factored out into a library command,
1649 get_int_value() became atolx_range(), and
1650 xmsprintf() is now just xmprintf(). The bunzip2 logic moved from lib into
1651 bzcat.c.</p>
1652
1653 <p><b>Documentation</b>: new <a href=help.html>help page</a> with the
1654 help text for all the defconfig commands, using the new help -ah output.
1655 The <a href=code.html>source code walkthrough</a> now says more about
1656 #including header files, and how the generated/* directory works. The
1657 <a href=design.html>design page</a> has some new paragraphs about trading
1658 of different kinds of simplicity, and why comments aren't a substitute for
1659 good code. The README no longer trails off into obvious unfinished confusion
1660 at the end. Each page on the website should now have its own title.</p>
1661
1662 <a name="18-11-2013" /><a href="#18-11-2013"><hr><h2><b>November 18, 2013</b></h2></a>
1663 <blockquote><p>"Space," it says, "is big. Really big. You just won't believe how vastly, hugely, mindbogglingly big it is. I mean, you may think it's a long way down the street to the chemist's, but that's just peanuts to space." -
1664 The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1665
1666 <p><a href=downloads/toybox-0.4.7.tar.bz2>Toybox 0.4.7</a> is based on
1667 <a href=http://landley.net/hg/toybox/shortlog/1122>commit 1122</a>.</p>
1668
1669 <p>New commands: Brad Conroy submitted blkid. Elie De Brauwer submitted
1670 reboot, halt, and poweroff. Strake's nl got cleaned up and promoted from
1671 pending to posix. In addition, the existing chvt and vconfig got some
1672 cleanup.</p>
1673
1674 <p>That said, I haven't nearly kept up with the flood of new commands going
1675 into pending: Ashwini Sharma's team submitted
1676 dd, dumpleases, traceroute, top, useradd, groupadd, mkpasswd, tftpd, and
1677 an fsck wrapper (with no filesystem drivers yet). Isaac Dunham sent in cpio.</p>
1678
1679 <p>Bugfixes: Jeroen van Rijn added a user count to uptime. Elie De Brauwer
1680 added -e to watch, removed a memory leak, and fixed a terminal size problem.
1681 William Haddon made xargs call its command line once even with blank input
1682 (the standard is vague, but builds expect it), and fixed an off by one bug
1683 where grep didn't malloc enough space with -E (leading to a segfault).
1684 I fixed a glitch in bunzip2 (same one as went into busybox since they're using
1685 the code I wrote), in od to fix -t co, -J, and -c options. Add uname -o as a
1686 synonym for -s. Build fix to never use $CC without prefixing it with
1687 $CROSS_COMPILE (since $HOSTCC could be different). Anca Emanuel spotted
1688 a typo in the web page.</p>
1689
1690 <p>The compile-time command line option parsing got rewritten (ported from
1691 bash to C), which should speed up builds a bit and allow code controlled by
1692 --longopts to drop out properly when disabled in the configuration. Terminal
1693 querying got refactored. Patch's -x option is now more informative (a
1694 debug thing if you're trying to figure out why a patch didn't apply).
1695 The "toynet.h" file got folded into toys.h since musl supports it and
1696 micromanging uClibc options isn't very interesting anymore. The test suite
1697 now uses scripts/single.sh when testing a single command.</p>
1698
1699 <a name="17-09-2013" /><a href="#17-09-2013"><hr><h2><b>September 17, 2013</b></h2></a>
1700 <blockquote><p>"Think of a number," said the computer, "any number."
1701 Arthur told the computer the telephone number of King's Cross railway
1702 station passenger inquiries, on the grounds that it must have some function,
1703 and this might turn out to be it. - The Hitchhiker's Guide to the Galaxy</p>
1704 </blockquote>
1705
1706 <p><a href=downloads/toybox-0.4.6.tar.bz2>Toybox 0.4.6</a> is based on
1707 <a href=http://landley.net/hg/toybox/shortlog/1068>commit 1068</a>.</p>
1708
1709 <p>This release adds
1710 several new commands: Felix Janda wrote paste and fallocate, Kyungwan Han
1711 submitted eject, Strake contributed grep, Ashwini Sharma added pmap (and
1712 a testsuite entry for grep), Lukasz Skalski sent pwdx, Isaac Dunham posted
1713 acpi, and I did timeout and umount.</p>
1714
1715 <p>The ls command now has a --color=auto option (suggested by Rich Felker).
1716 The multiplexer now has a --help option so you can say "./toybox --help blah"
1717 instead of using the built-in "help" command. (Which is a shell built-in.
1718 Try it on your command line, it's like man for shell builtins. But a certain
1719 other project has conditioned people to expect --help, so...) I forget who
1720 heehooman at gmail is but they pointed out unshare needed PID and UID
1721 namespace support.</p>
1722
1723 <h3>Pending</h3>
1724
1725 <p>A lot of new commands in toys/pending, to the point the next release should
1726 probably just focus on cleanup and review of this backlog. We've got klogd,
1727 dhcp, dhcpd, watch, route, and ps from
1728 Ashwini Sharma (and an fsck wrapper but no fsck.fstype engines yet),
1729 syslogd, pgrep, and pkill from Madhur Verma, netstat by Ranjan Kumar,
1730 test by Felix Janda, lspci by Isaac Dunham, nl, su, and renice by strake (I.E.
1731 M. Farkas-Dyck), and sysvinit by Kyungwan Han.</p>
1732
1733 <p>Some cleanup work on existing pending commands that aren't
1734 ready to promote yet: I did a few more rounds on ifconfig
1735 and Isaac Dunham's did several cleanups to xzcat, Felix Janda cleaned up
1736 logger and syslogd...</p>
1737
1738 <p>Also some cleanup work on commands that predate the pending directory,
1739 but weren't quite polished when they went in, most prominently du,
1740 expand, and touch.</p> 
1741
1742 <h3>Infrastructure</h3>
1743
1744 <p>The new scripts/single.sh builds a standalone command without the
1745 multiplexer, although not all commands can be built that way yet (NEWTOY yes,
1746 OLDTOY no) and the space savings aren't anything to write home about. (If a
1747 command needs the option parsing logic at all, it needs all of it.) If
1748 you're curious, you can do:</p>
1749
1750 <blockquote><pre>
1751 make defconfig
1752 make
1753 mkdir singles
1754 for i in $(./toybox)
1755 do
1756   echo $i
1757   PREFIX=singles/ scripts/single.sh $i || break
1758 done
1759 </pre>
1760 <p>(And then wait a long time and watch almost half the builds fail.)</p>
1761 </blockquote>
1762
1763 <p>There is now libbuf analogous to toybuf, another global 4k buffer this
1764 time for use by lib/ code instead of command code.</p>
1765
1766 <p>The lib directory got split up a bit, lib/pending.c contains functions
1767 not yet used by anything outside of toys/pending/*, and lib/xwrap.c contains
1768 functions that wrap other functions and handle failures (via error_exit).
1769 This leaves lib/lib.c containing actual new functions.</p>
1770
1771 <p>General improvements and bug fixes to argument parsing. The [-abc] exclude
1772 logic should now clear arguments slots when disabling options. Bare --longopts
1773 should work now and be able to report errors using their name, the new ;
1774 option allows optional arguments to longopts only suppliable with = (I.E.
1775 --color and --color=auto but not --color auto).</p>
1776
1777 <p>I'm gradually weaning the code off of itoa()/utoa() because sprintf
1778 does this already. In this case "simple" probably means "let libc do it
1779 for us".</p>
1780
1781 <p>Rewrote for_each_pid_with_name_in() and renamed it to just names_to_pid().
1782 It shouldn't get confused trying to compare absolute and relative paths quite
1783 so much anymore.</p>
1784
1785 <p>lib/llist.c grew a new dlist_pop() function for removing a doubly
1786 linked list entry while maintaining a circular list; tail and patch are
1787 using it now.</p>
1788
1789 <p>The musl guys suggested a new optimization flag
1790 (-fno-asynchronous-unwind-tables)
1791 that shaves about 10% off the binary size by removing a C++ism that crept
1792 into gcc's idea of C. While I don't normally try to micromanage the compiler,
1793 "-fstop-being-stupid" is a thing you have to hit gcc with from time to time.</p>
1794
1795 <h3>Bugfixes</h3>
1796
1797 <p>Felix Janda and I did a largeish rewrite of tail to
1798 finally make it work right (we think). Still need to implement tail -f
1799 someday (the tricky bit is making -f follow multiple files at once).
1800 Felix also reported a bug in xpidfile.</p>
1801
1802 <p>Juhani Haverinen pointed out that
1803 python 3 doesn't work with config2help.py, so the detection logic looks
1804 for python2 (until I get around to rewriting that in C). Elie De Brauwer
1805 then fixed our first attempt at this, and also fixed uname's help string.</p>
1806
1807 <p>Ashwini Sharma
1808 pointed out the build was making a FLAG_ macro for " " which broke some
1809 configurations. (That's a control character, not a command line option.)</p>
1810
1811 <p>Jacek Bukarewicz pointed out a bug in chdir permission handling, and
1812 a way to make env segfault. Both should be fixed now.</p> 
1813
1814 <p>The new function xexec_optargs()
1815 replaces calls to xexec(toys.optargs) to avoid freeing and reusing optargs
1816 during option parsing screwing stuff up (such as netcat's exec mode).</p>
1817
1818 <p>The stat command's %a output was padded with leading zeroes, which
1819 didn't match anybody else's behavior and thus made the test suite hiccup
1820 between TEST_HOST and testing toybox. (If you go "TEST_HOST=1 scripts/test.sh
1821 command" it sanity checks the tests against the host implementation.)</p>
1822
1823 <p>Last release, "mkdir sub/sub && chmod 007 sub/sub && rm -rf sub" didn't
1824 delete sub and didn't exit with an error either. Neither was correct, rm
1825 should now be fixed.</p>
1826
1827 <p>
1828 <a name="26-07-2013" /><a href="#26-07-2013"><hr><h2><b>July 26, 2013</b></h2></a>
1829 <p>Georgi Chorbadzhiyski maintains a <a href=https://github.com/gfto/toybox>git
1830 mirror</a> of the repository on github, automatically updated from the
1831 mercurial every 6 hours. The mirror is read only, but you can generate patches
1832 against it and post them to the list.</p>
1833
1834 <a name="02-07-2013" /><a href="#02-07-2013"><hr><h2><b>July 2, 2013</b></h2></a>
1835 <blockquote><p>"Time is an illusion. Lunchtime doubly so." "Very deep. You
1836 should send that in to the Reader's Digest. They've got a page for people
1837 like you." -
1838 The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1839
1840 <p><a href=downloads/toybox-0.4.5.tar.bz2>Toybox 0.4.5</a> is based on
1841 <a href=http://landley.net/hg/toybox/shortlog/941>commit 941</a>. It adds
1842 uuencode and uudecode from Erich Plondke, and enables Luis Morales' "who" by
1843 default. Felix Janda and I cleaned up last year's "stat" submission and
1844 enabled it. Ivo van Poorten added "groups".
1845 Andre Renaud added "lsusb". I implemented "split", "pivot_root", and "mv".
1846 </p>
1847
1848 <p>The "help" command is implemented differently now (lib/help.c) and
1849 each command can now understand --help (including both "toybox --help"
1850 and "toybox --help command" in the multiplexer).</p>
1851
1852 <p>The "pending" directory has several commands (find, xzcat, nbd-client,
1853 logger, expr) which work but are not enabled by default pending further cleanup.
1854 Ifconfig is enabled, but still in pending because it's only 2/3 cleaned up.
1855 (It's an awkward halfway state but I'm not holding up the release for it.)</p>
1856
1857 <p>I'm <a href=cleanup.html>documenting the cleanups</a> to teach
1858 more people to do it, but the writeups aren't caught up yet. The
1859 <a href=roadmap.html>roadmap</a> also got updated a bit with further analysis
1860 of other projects, and the README and about pages got updated.</p>
1861
1862 <p>Fixed _another_ "ls -C" segfault when terminal size can't be detected,
1863 condensed the ls help text to fit on one page, implented --color, and taught
1864 -l to print the major, minor numbers when showing block/char devices.
1865 Argument parsing now handles "--" properly (to end option checking),
1866 and the infrastructure can now handle bare --longopts that have no
1867 corresponding short option (both were implemented before but didn't work).
1868 Fixed an old bug in "patch", chmod grew -f, who grew -a. Isaac Dunham
1869 fixed "-" vs "_" handling in modinfo, added a "firmware" output
1870 field, added -b and -k support, and taught it that the ".ko" extension means
1871 to look for the file at the specified path instead of under /lib. Felix Janda
1872 moved file permission display code to lib so ls and
1873 stat could share it. Ashwini Sharma spotted a bug in xabspath when the
1874 last path component exists but we haven't got permissions to open it
1875 (ala readlink -f /dev/sda as a normal user).
1876 </p>
1877
1878 <p>In the build infrastructure, scripts/findglobals.sh finds leaked global
1879 variables. (Leaked means they aren't part of the global union: Other than glibc
1880 debris, toybox should define "this", "toy_list", "toybuf", and "toys", and
1881 that's it; the rest add memory footprint to every command for the benefit of
1882 just one command; use GLOBALS() to stick 'em in the union.) Static linking
1883 against libraries other than the host's libc now applies to feature probes
1884 for unshare and such. Neuter stupid internationalization support that makes
1885 various host "sort" commands put things in an order other than alphabetical
1886 (breaking the multiplexer's binary search on command names).
1887
1888 <p>You should now be able to build from a source control snapshot on a build
1889 system that hasn't got python: if you disable CONFIG_TOYBOX_HELP. (The
1890 release tarballs ship generated/help.h, but it's not in source control.
1891 Eventually I should rewrite that python script in C.)</p>
1892 </p>
1893
1894 <p><b>LICENSE TWEAK</b>: After <a href=http://lists.landley.net/pipermail/toybox-landley.net/2013-March/000794.html>discussion</a> on the mailing list the "2 clause
1895 BSD" <a href=license.html>license</a> got slightly simplified so the first
1896 paragraph now says:</p>
1897
1898 <blockquote><p>Permission to use, copy, modify, and/or distribute this
1899 software for any purpose with or without fee is hereby granted.</p></blockquote>
1900
1901 <p>It used to continue "provided that the above copyright notice and this
1902 permission notice appear in all copies", but A) what's the point? B) does "all
1903 copies" mean binaries, or just source code, or what? C) lots of projects
1904 that consider BSD and GPL compatible have <a href=https://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/tree/crypto/aes_generic.c>files with
1905 both license notices</a> on them (sometimes at <a href=http://git.busybox.net/busybox/tree/shell/ash.c>opposite ends of the file</a> to make the conflict
1906 less obvious) because "all copies must include this function" would violate
1907 the GPL but "all copies must include this magic text blob" somehow don't?</p>
1908
1909 <p>I don't want to have to care about this anymore. The tweaked version is more
1910 or less public domain with a liability disclaimer, but we're still calling it
1911 BSD (sometimes "0 clause BSD") to avoid explaining.</p>
1912
1913 <a name="21-03-2013" /><a href="#21-03-2013"><hr><h2><b>March 21, 2013</b></h2></a>
1914 <p>Video of my ELC talk
1915 "<a href=http://youtu.be/SGmtP5Lg_t0>Why is Toybox?</a>"
1916 is up on youtube. Related materials include the
1917 <a href=http://landley.net/talks/celf-2013.txt>talk outline</a> and an
1918 <a href=/aboriginal/about.html#selfhost>android self-hosting writeup</a>.</p>
1919
1920 <p>[Updated June 4] The following links jump to specific topics in the video. (Sorry about
1921 the ads, it's The Linux Foundation.)</p>
1922
1923 <ul>
1924 <li>0m29s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=0m29s>The smartphone is replacing the PC</a></li>
1925   <ul>
1926   <li>4m22s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=4m22s>Software needed to become self-hosting</a></li>
1927   <li>6m20s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=6m20s>Do we care if android or iphone wins?</a></li>
1928   </ul>
1929 <li>9m45s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=9m45s>Android not vanilla: oppose or accept?</a></li>
1930   <ul>
1931   <li>11m30s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=11m30s>Open source can't do User Interfaces</a></li>
1932   </ul>
1933 <li>15m09s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=15m09s>Android is not copyleft: oppose or accept?</a></li>
1934 <li>18m23s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=18m23s>Security issues</a></li>
1935 <li>21m15s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=21m15s>Solutions to the software problems</a></li>
1936   <ul>
1937   <li>22m55s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=22m55s>What toybox needs to be/do</a></li>
1938   <li>28m17s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=28m17s>What is toybox?</a></li>
1939     <ul>
1940     <li>28m58s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=28m58s>Why toybox started...</a></li>
1941     <li>37m50s <a href=http://www.youtube.com/watch?v=SGmtP5Lg_t0#t=37m50s>What does toybox actually implement?</a></li>
1942     </ul>
1943   </ul>
1944 </ul>
1945 </span>
1946
1947
1948 <a name="14-03-2013" /><a href="#14-03-2013"><hr><h2><b>March 14, 2013</b></h2></a>
1949 <blockquote><p>"Ford, you're turning into a penguin. Stop it." -
1950 The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1951
1952 <p><a href=downloads/toybox-0.4.4.tar.bz2>Toybox 0.4.4</a> is based on
1953 <a href=http://landley.net/hg/toybox/shortlog/813>commit 813</a>, adding
1954 the "time" and "readahead" commands, plus some bugfixes.</p>
1955
1956 <p>The "cp" command now implements the -s symlink option, plus bugfixes
1957 getting various corner cases right as used in actual package builds.
1958 "id -Gn root" should now print root's groups
1959 instead of the current user's. Several build fixes so toybox builds under
1960 Ubuntu 8.04 again (which is about as old a build environment as you
1961 can expect to find posix-2008 features in).</p>
1962
1963 <p>Unfinished commands have generally been moved to "toys/pending".
1964 Everything else should "default y" to participate in make defconfig.
1965 Several of those pending commands got some basic cleanup so allyesconfig
1966 should at least compile (although defconfig is still what's useful).</p>
1967
1968 <p>Significant roadmap updates, checking several other multicall binaries
1969 (klibc, sash, sbase, s6...) to see what commands they include.</p>
1970
1971 <a name="18-01-2013" /><a href="#18-01-2013"><hr><h2><b>January 18, 2013</b></h2></a>
1972 <blockquote><p>This must be Thursday. I never could get the hang of Thursdays. - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
1973
1974 <p><a href=downloads/toybox-0.4.3.tar.bz2>Toybox 0.4.3</a> is based on
1975 <a href=http://landley.net/hg/toybox/shortlog/793>commit 793</a>. There
1976 are now exactly 100 commands in defconfig (of a little over 220 on the
1977 <a href=roadmap.html>todo list</a>).</p>
1978
1979 <p>Elie De Brauwer added the rev command, cleaned up tac, implemented the -s
1980 and -f flags for seq, added -v and -i to killall (and fixed killall not to
1981 kill itself before finishing its pid list), and added to the test suite.
1982 Felix Janda added -m to mkdir, pwd -L and -P, and more test suite entries.</p>
1983
1984 <p>Rob Landley added the losetup command, and fixed the existing ls, cp, and
1985 readlink commands. The segfault in ls
1986 happened when it couldn't determine the screen size (last release changed the
1987 default to -C and a screen size of 0 made column view unhappy), and cp got an
1988 extensive rewrite bringing it up to date with the dirtree changes and fixing
1989 a number of things it never did right in the first place. The xabspath()
1990 code in the library now handles a symlink after ".." properly (and the test
1991 suite checks for it).</p>
1992
1993 <p>Infrastructure-wise the code is better about automatically setting the
1994 error return code properly. Now error_msg() sets the exit code to 1 if it's
1995 still defaulting to 0, and the global exit path does a fflush(NULL) with error
1996 bit check rather than trying to be quite so granular about flushing. (That
1997 means if we use printf() instead of xprintf() it still exits with the right
1998 error code, it just doesn't end the program early on an output error.)
1999 Minor bugfix so TOYBOX_DEBUG
2000 doesn't always warn about the lack of suid bit when toybox is built with
2001 at least one STAYROOT command. Bugfix for the option [grouping] logic
2002 (and then further fixes to the error reporting pointed out by Ashwini Sharma).
2003 dirtree_handle_callback() now has a prefix like the rest of the dirtree
2004 functions. A lot of stuff doing manual path handling was switched to using
2005 libc basename() (including, embarassingly, the basename command), which means
2006 it now correctly detects "/trailing/slash/" which the previous code didn't.</p>
2007
2008 <p>Also, last release included some accidentally checked in debug code that
2009 disabled compiler optimization, so the binary size bloated a bit. It's back
2010 to -Os by default now.</p>
2011
2012 <a name="15-12-2012" /><a href="#15-12-2012"><hr><h2><b>December 15, 2012</b></h2></a>
2013 <blockquote><p>"The major difference between a thing that might go wrong and a
2014 thing that cannot possibly go wrong is that when a thing that cannot possibly
2015 go wrong goes wrong it usually turns out to be impossible to get at or repair."
2016 </p><p>- The Hitchhiker's Guide to the Galaxy.</p></blockquote>
2017
2018 <p><a href=downloads/toybox-0.4.2.tar.bz2>Toybox 0.4.2</a> is based on
2019 <a href=http://landley.net/hg/toybox/shortlog/749>commit 749</a> and is
2020 just a resync. Linux 3.7 came out, meaning it's time to do an Aboriginal
2021 Linux release, and that should use a stable version of toybox. So here's
2022 a new stable version.</p>
2023
2024 <p>The new commands are cut (from Jason Kyungwan Han), touch
2025 (from Choubey Ji), expand (from Jonathan Clairembault, and he fixed a
2026 bug in login), and rm (from Rob Landley). Felix Janda added UTF-8
2027 support infrastructure (for non-ascii character sets) with a config option.
2028 Elie De Brauwer added tests for cat and sha1sum, and -so options to pidof.
2029 The "ls" command defaults to -C (column view) now, and "readlink" now supports
2030 -fenq.</p>
2031
2032 <p>Portability work: toybox should now build against the musl C library,
2033 and against older glibc versions (circa 2008, much before that and kernel
2034 features we depend on start to drop out).</p>
2035
2036 <p>The whole codebase got reindented from "one tab" to "two spaces" per
2037 level. The option parsing logic now understands [groups] of commands (when more
2038 than one in a group is selected it can switch the others off, or error out,
2039 or other things). The error_exit() infrastructure can now longjmp back to an
2040 earlier point instead of exiting. Each toys/* directory now has a README,
2041 the first line of which is the fancy name menuconfig uses for the directory
2042 (so no more hardwired directory list in scripts/genconfig.sh).</p>
2043
2044 <p>Fixed a filehandle leak in getmountlist().
2045 Pass parent pointer to dirtree_add_node() so it can give error messages with
2046 full path. The yesno() function now always reads from stdin and writes to
2047 stderr (we can retry tty checking complexity once we've got commands needing
2048 it).</p>
2049
2050 <p>The open group broke their website so the
2051 <a href=http://opengroup.org/onlinepubs/9699919799>old links</a> to POSIX 2008
2052 now <a href=http://pubs.opengroup.org/onlinepubs/9699919799>need to start with
2053 pubs</a>. Some of the links in the tree have been updated, others haven't while
2054 I wait to see if their webmaster notices and fixes it.</p>
2055
2056 <p>(I note that the current rm implementation is not technically posix compliant
2057 because the standard requires infinite recursion depth and the current
2058 implementation uses one filehandle per level. I can add a config option
2059 to do it Posix's way, which is more brittle and needs extra security checks,
2060 but am waiting for somebody to complain first. The default "ulimit -n" is 1024
2061 filehandles, so drilling down over 1000 nested subdirectories).</p>
2062
2063 <a name="13-11-2012" /><a href="#13-11-2012"><hr><h2><b>November 13, 2012</b></h2></a>
2064 <blockquote><p>"Rule Six: The winning team shall be the first team that wins."
2065 - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
2066
2067 <p><a href=downloads/toybox-0.4.1.tar.bz2>Toybox 0.4.1</a> is based on
2068 <a href=http://landley.net/hg/toybox/shortlog/691>commit 691</a>.</p>
2069
2070 <p>Elie De Brauwer contributed usleep, Ashwini Kumar contributed du, and
2071 Kyungwan Han contributed vconfig. Other new commands include switch_root and
2072 md5sum, and the remaining shell wrappers are now proper commands (dos2unix,
2073 unix2dos).</p>
2074
2075 <p>The patch command now supports -l, and gethostname is now enabled by
2076 default. The df command follows symlinks to get the actual device name.
2077 Felix Janda added -m support to wc (for utf8).</p>
2078
2079 <p>On the infrastructure side, the commands have now been grouped into
2080 "posix", "lsb", and "other" subdirectories (for things required by Posix-2008,
2081 the Linux Standard Base 4.1, and commands in neither). This affects menuconfig
2082 and the actual source layout (toys/cp.c is now toys/posix/cp.c, and so on).
2083 An android directory is planned (see the updated
2084 <a href=roadmap.html#android>android roadmap analysis</a>).</p>
2085
2086 <p>The FLAG_ macros for command option parsing and TT alias for the command's
2087 global block are now automatically generated, commands should
2088 #define FOR_commandname before #including <toys.h> to get the macros for that
2089 command.</p>
2090
2091 <p>An upgrade to the build infrastructure now allows commands with _ and -
2092 in them, such as switch_root.</p>
2093
2094 <p>Bugfixes: Avery Pennarun spotted a case where ls showed uid twice instead of
2095 uid and gid, and that nice was using the wrong range of numbers.
2096 The ls command also recursed inappropriately last time (not quite
2097 properly converted for the dirtree changes last release), and now it's
2098 fixed. Roy Tam pointed out a glitch in sh, and fixed df's percentage
2099 calculation to match the POSIX spec. The kernel build didn't like our mktemp
2100 and it does now. The wc command wasn't quite posix compliant (trailing spaces
2101 break stuff). The ls command recursed inappropriately last time (not quite
2102 properly converted for the dirtree changes last release), and now it's
2103 fixed. The catv command wasn't displaying byte 255 correctly. Some lib
2104 fixes (thinko in xpidfile). Fixed uname -m when running a 32 bit x86 binary
2105 on an x86-64 host (it lies and says the system is i686, i586, or i486 depending
2106 on what the toolchain that built the binary supported. This makes builds in
2107 a 32 bit chroot on a 64 bit kernel break less.) The df command was checking
2108 partitions in the wrong order (displaying undermounts instead of overmounts:
2109 this used to work but some library code changed out from under it and it
2110 wasn't updated to match until now). Felix Janda filled out the test suite
2111 some more. The patch file creation logic got tweaked several times to
2112 successfully apply more patches. Support for older (pre 2.10) glibc
2113 versions was added to portability.h.</p>
2114
2115 <p>Miscelaneous cleanups all around (mknod, sha1sum, logname), including a
2116 rewrite of taskset to be less dependent on libc getting the headers right. All
2117 the command headers should now point to the current relevant standards
2118 document, where applicable.</p>
2119
2120 <p>This news page had old news entries from before the relaunch moved into
2121 a separate <a href=oldnews.html>oldnews</a> page.</p>
2122
2123 <p>I forgot to create <a href=bin>static binaries</a> last time, but they're
2124 back now.</p>
2125 </span>
2126
2127 <a name="23-07-2012" /><a href="#23-07-2012"><hr><h2><b>July 23, 2012</b></h2></a>
2128 <blockquote><p>"Ford", Arthur said. "There's an infinite number of monkeys
2129 out here who want to talk to us about this script for Hamlet they've worked
2130 out." - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
2131
2132 <p><a href=downloads/toybox-0.4.0.tar.bz2>Toybox 0.4.0</a> is based on
2133 <a href=http://landley.net/hg/toybox/shortlog/640>commit 640</a>.</p>
2134
2135 <p>The new <a href=status.html>status page</a> is calculated from
2136 the roadmap info, and should be easier to keep up to date in future.</p>
2137
2138 <p>Andre Renaud contributed od and modinfo. Elie De Brauwer contributed
2139 taskset, bugfixes to cmp and tail, and tests for sort and tail. Kyungwan Han
2140 contributed passwd. Gaurang Shastri contributed w. Ashwini Sharma spotted a
2141 case where dirtree was adding extra slashes to a path.</p>
2142
2143 <p>I rewrote od, cleaned up comm, documented the
2144 <a href=code.html#lib_llist>llist</a> and
2145 <a href=code.html#lib_dirtree>dirtree</a> infrastructure, added an -r option
2146 to date (and fixed a bug where -u wouldn't override /etc/localtime),
2147 fixed bugs in chmod +stw, fixed ls to show suid bits properly when the
2148 corresponding executable bit wasn't set, and worked around a longstanding
2149 glibc bug where static linking prevents stdout from automatically flushing
2150 pending output on exit.</p>
2151
2152 <a name="25-06-2012" /><a href="#25-06-2012"><hr><h2><b>June 25, 2012</b></h2></a>
2153 <blockquote><p>"For a moment, nothing happened. Then, after a second or so, nothing continued to happen." - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
2154
2155 <p><a href=downloads/toybox-0.3.1.tar.bz2>Toybox 0.3.1</a> is based on commit
2156 <a href=http://landley.net/hg/toybox/shortlog/607>commit 607</a>. It's
2157 mostly a bugfix release for ls -l (which was unhappy on targets other than
2158 x86-64), plus a new "date" from Andre Renaud and rewritten chgrp/chown which
2159 now support the full set of posix flags, plus a little work on the test
2160 suite and some more header tweaks towards eventual compatability with the
2161 musl libc.</p>
2162
2163 <p>The todo list runneth over, but "release early, release often", so here
2164 it is. The roadmap and documentation are a bit behind, and I've got ~40
2165 pending submissions to review. I need to catch up...</p>
2166 </span>
2167
2168 <a name="12-06-2012" /><a href="#12-06-2012"><hr><h2><b>June 12, 2012</b></h2></a>
2169 <blockquote><p>"For instance, on the planet Earth, man had always assumed that
2170 he was more intelligent than dolphins because he had achieved so much - the
2171 wheel, New York, wars and so on - whilst all the dolphins had ever done was
2172 muck about in the water having a good time. But conversely, the dolphins had
2173 always believed that they were far more intelligent than man - for precisely
2174 the same reasons." - The Hitchhiker's Guide to the Galaxy.</p></blockquote>
2175
2176 <p>It's well past time for <a href=downloads/toybox-0.3.0.tar.bz2>toybox 0.3.0</a>,
2177 so here it is, based
2178 on <a href=http://landley.net/hg/toybox/shortlog/595>commit 595</a>, and the
2179 statically linked <a href=downloads/binaries>prebuilt binaries</a> should
2180 actually be statically linked this time (thanks Ashwini Sharma for spotting
2181 that).</p>
2182
2183 <p>It's hard to figure out where to cut a release, because development
2184 doesn't stop. "Long before now" is the obviuos answer, of course.
2185 The project's maintainer also moved house during this development cycle, which
2186 threw things off for a bit (so many boxes). Releases should hopefully be a bit
2187 more frequent from here on.</p>
2188
2189 <p>The big things Rob worked on this time were the new dirtree (directory
2190 tree traversal) infrastructure, and a complete rewrite of ls using that
2191 which should now implement all 26 posix options.</p>
2192
2193 <p>Georgi Chorbadzhiyski added printenv, whoami, mkdir, mkfifo, chmod, chown,
2194 chgrp, and uniq. He also added fraction and extension support to sleep (so if
2195 you need a quarter-second sleep, it can do that now), and fixed a build bug
2196 on slackware.</p>
2197
2198 <p>Daniel Walter contributed a string to mode_t parser (in use by chmod and
2199 mkdir -m).  Ilya Kuzmich contributed comm. Elie De Brauwer added mountpoint,
2200 vmstat, logname, login, and mktemp. Kevin Chase did some portability cleanups.
2201 Pere Orga fixed some documentation.</p>
2202
2203 <p>The "tac" and "clear" commands are now normal commands instead of shell
2204 wrappers, and the header #includes have been cleaned up a bit to remove
2205 deprecated functions and attempt to increase compatability with the bionic and
2206 musl C libraries, "tail" should now use lseek() for large files, and "id" got
2207 some cleanups and bugfixes.</p>
2208
2209 <p>The new TOYBOX_FLOAT configuration option selects whether or not
2210 to include floating point support (for embedded targets where that's
2211 problematic).</p>
2212
2213 <p>Several random bugfixes: unshare() might actually build portably now,
2214 yes 'n' | cp -i should no longer bypass stdin and prompt via the tty, the
2215 SUID support no longer drops permissions going through the toybox
2216 multiplexer command, and a bugfix to xargs -0 means it should no longer
2217 segfault. (I have a pending bug report about xargs not doing the full
2218 posix whitespace handling that -0 obsoleted, but I'll deal with that next
2219 release.)</p>
2220
2221 <p>The build infrastructure is now automatically generating FLAG_ macros
2222 for the options, but currently with the wrong names. Some more macro glue
2223 is necessary, which I haven't quite figured out how to do yet.</p>
2224
2225 <p>A defconfig toybox at the start of the $PATH has successfully built
2226 Linux From Scratch (in my Aboriginal Linux project). The commands that
2227 'default n' in the config are often still broken, cleanup is ongoing.
2228 (The new dirtree stuff broke several of them that haven't been converted
2229 yet, but if I wait until everything works we won't have a release before
2230 1.0, so here's a checkpoint.)</p>
2231
2232
2233 <a name="03-03-2012" /><a href="#03-03-2012"><hr><h2><b>March 3, 2012</b></h2></a>
2234
2235 <blockquote><p>"They went unnoticed at Goonhilly, passed over Cape Canaveral
2236 without a blip, and Woomera and Jodrell Bank looked straight through them.
2237 Which was a pity, because it was exactly the sort of thing they'd been looking
2238 for all these years."</p></p>- The Hitchhiker's Guide to the Galaxy.</p>
2239 </p></blockquote>
2240
2241 <p>Here's <a href=downloads/toybox-0.2.1.tar.bz2>toybox 0.2.1</a> based
2242 on <a href=http://landley.net/hg/toybox/shortlog/512>commit 512</a>.  This
2243 time around, there are statically linked <a href=downloads/binaries>prebuilt
2244 binaries</a> for various embedded targets.</p>
2245
2246 <p>It's been a busy few weeks, almost entirely due to new contributors. (I
2247 have not quite been keeping up.)</p>
2248
2249 <p>Elie De Brauwer contributed free, uptime, swapon, swapoff, lsmod, mknod,
2250 insmod, rmmod, and fixed a bug in basename.  Andre Renaud contributed ls, ln,
2251 realpath, and hostname. Andres Heck contributed pidof and killall.  Daniel
2252 Walter wrote kill and extended id. Timothy Elliott contributed tail and tests
2253 for cmp. Frank Bergmann sent a warning fix. Bryce Fricke added -i to cp.
2254 Nathan McSween pointed out an optimization. Georgi Chorbadzhiyski fixed
2255 cross compiling to work more reliably.</p>
2256
2257 <p>(My own contribution this time around was just tightening up other people's
2258 code, a build fix to unshare, some random bugfixes, and so on. My only new
2259 code this time around was writing a bash replacement for the existing python
2260 bloat-o-meter.)</p>
2261
2262 <p>Last time (the 0.2.0 release) included the first pass at an id command from
2263 Tim Bird, env and basename from Tryn Mirell, cmp and head from Timothy Elliott,
2264 more bugfixes from Nathan McSween and Elie De Brauwer, and Luis Felipe Strano
2265 Moraes did a first pass at the who command plus other bugfixes and
2266 optimizations.</p>
2267
2268 <p>(For that release I did xargs, cal, truncate, unlink, nohup, tty, wc, link,
2269 dirname, unshare, and various infrastructure tweaks, but it took me 3 months
2270 and those guys did their stuff in a week or so.)</p>
2271
2272
2273 <a name="12-02-2012" /><a href="#12-02-2012"><hr><h2><b>February 12, 2012</b></h2></a>
2274 <blockquote><p>
2275 "for though it has many omissions and contains much that is apocryphal, or at
2276 least wildly inaccurate, it scores over the older, more pedestrian work in two
2277 important respects..."</p>
2278 <p> - The Hitchhiker's Guide to the Galaxy</p></blockquote>
2279
2280 <p>Here's the first BSD licensed release,
2281 <a href=downloads/toybox-0.2.0.tar.bz2>toybox-0.2.0</a>, more a synchronization
2282 point than anything particularly useful.  47 commands in a reasonably
2283 ready-to-use state (what "make defconfig" builds), another ten or so partially
2284 finished stubs ("make allyesconfig"), and several
2285 patches pending on the mailing list I need to review and merge.</p>
2286
2287 <p>More to come...</p>
2288
2289 <hr>
2290 <a name="15-11-2011" /><a href="#15-11-2011"><hr><h2><b>November 15, 2011</b></h2></a>
2291 - Back from the dead, Toybox is now under a 2
2292 clause BSD license, and aiming to become the default command line
2293 implementation of Android systems everywhere.</p>
2294
2295 <p>More to come...</p>
2296
2297 <hr>
2298
2299 <p><a href=oldnews.html>Old news</a> from before the relaunch.</p>
2300
2301 <!--#include file="footer.html" -->