Merge remote-tracking branch 'toybox/master' into HEAD

ps thread supportand 32/64 bit detection.

Add ps -o BIT,TID,TCNT, and make -T display "PID,TID" for default output types
(adding TCNT to -f)

Fix find bug reported by Tom Marshall, add test for it, and while we're at it
fix two tests looking for a too-specific error message (so TEST_HOST failed).

Add "infrastructure in search of a user" to cleanup.html.

Merge remote-tracking branch 'toybox/master' into HEAD

Add the non-tty more(1) test.

(This was supposed to be in the earlier patch, but I was fooled by
"git commit -a" yet again...)

Fix more to not append an extra newline.

More's sigatexit handler needs to distinguish between normal exit and exit
due to receipt of a signal.

Change tty_sigreset to look at the signal number too, so that pressing 'q'
to exit top doesn't cause its exit status to be 128.

Fix more to a non-tty.

And add a test.

Remove inappropriate bzip tests (we're not comparing with random "host version")
replace with testing 2 known files out of blkid tests, and add badcrc test.

Fiz bzcat segfault reported by John Regehr (bad crc didn't set error message).

Allow EVAL= to run test under a different shell (for sh.test)

Regenerate generated files.

Change-Id: I2557e28527c58f25c814a961c003371b1a3214fc

Have dirtree_recurse() take the new dirfd as an argument.

Fix touch -t seconds parsing

Merge remote-tracking branch 'toybox/master' into HEAD

Start of shell tests: $(()) and $'' expansion.

Replace list_working with just list, "make list list_pending" shows combined list.

ps and top are implemented from the android todo. Record enh's wishlist items.

Dust off toysh, remove ancient config debris, add start of prompt logic.

Fix tail -NUM again.

This time with a test.

Fix "ssh top".

The ps.c change allows us to start. The interestingtimes.c change allows
us to clean up properly afterwards if you ^C out (which you usually do).

Tested with both ssh and "adb shell" (the latter being where I noticed
the problem).

Fix top -b.

Batch mode should never output terminal escape sequences, should ignore
the keyboard, and should include a gap between datasets.

Rename gratuitous references to Roger Zelazny's amber series, add comments.

Stop creating a symlink for route.

We should remove the "route" command because its output is irrelevant and
misleading. This is because it only looks at the "main" routing table,
which is a last resort routing table that is a) trumped by all other
networks, b) empty except for directly-connected routes c) cannot even be
used by non-root users.

The proper way to understand device routing is to look at the output of
"ip rule" and "ip route", both of which are already available.

Example of how this is confusing:

  $ adb shell route
  Kernel IP routing table
  Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
  160.249.218.72  *               255.255.255.248 U     0      0        0 rmnet_data0
  192.168.144.0   *               255.255.240.0   U     0      0        0 wlan0

These aren't guaranteed to be used. For example, according to the output
above 160.249.218.73 should go through rmnet_data0, but it doesn't:

  $ adb shell ip route get 160.249.218.73
  160.249.218.73 via 192.168.159.254 dev wlan0  src 192.168.159.164  uid 0
      cache

Also, there is no default route. But the device has networking just fine:

  $ adb shell ip route get 8.8.8.8
  8.8.8.8 via 192.168.159.254 dev wlan0  src 192.168.159.164  uid 0
      cache

This is a first step. If no device breaks, I'll stop building it too. In the
meantime, it's still available as "toybox route".

Bug: http://b/27603033
Change-Id: Ie444bfa9083e1f11b332d5d050a07cec48436e11

Fix a buffer overflow in diff -r.

We were doing two 32-byte memset()s instead of two 16-byte memset()s.
'dir' referred to the instance (array of 2) and not the struct type.

Add some test coverage for diff, including a case that hit this bug.

The bug was found by running cp.test under AddressSanitizer, since it
happens to use diff.

Andy Chu pointed out an out of bounds access for zero length lines.

While we're at it, use unsigned for the line length.

sed -f - should read from stdin.

Didn't check in all my local basename_r->getbasename changes. (Oops.)

Jakob Flierl pointed out a broken URL in the README.

Redefining basename_r to mean something random seems popular (bionic and freebsd
both did it) so use getbasename instead.

Merge remote-tracking branch 'toybox/master' into HEAD

Regenerate generated files.

Change-Id: I5323d381d9dd2e10c90fc10d16ef21dbffdd716b

Whitespace and comment.

Implement mv -n / cp -n (no clobber).

This fixes a failing test case in mv.test.

Test changes:
- Add coverage for -i (interactive).
- Better descriptions, better formatting, and removed some redundant
  cases.

Fix build when wchar_t is unsigned.

  external/toybox/lib/linestack.c:84:5: error: conflicting types for 'crunch_str'
  int crunch_str(char **str, int width, FILE *out, char *escmore,
      ^
  external/toybox/lib/lib.h:228:5: note: previous declaration is here
  int crunch_str(char **str, int width, FILE *out, char *escmore,
      ^

I'm not sure whether the interface was intended to be wchar_t or int, but
switching to int is the smaller change...

Fix exit code of things like sed -i that use tempfile_handler().

(The sigatexit() handler list code now calls the handlers on the normal
exit path, so _exit(1) from the handler is wrong; exit_signal() modifies
toys.exitval if necessary.)

basename: fix segfault on null input; add tests

When passed an empty string, glibc's basename() returns a pointer to the
string "." in read-only memory. If an empty suffix is given, it fits
the condition of being shorter than the path, so we try to overwrite the
null byte and crash. Fix this by just ignoring empty suffixes; they
don't do anything anyway.

Add od -w.

I'm not an od user myself, but I copy & pasted an 'od' invocation from a bug
and it didn't work. Which was embarrassing because I'd just claimed that the
od user didn't need to run od on their desktop (as they had done) and could
have run it on the device instead...

toolbox prlimit is no more.

Replaced by toybox ulimit -p.

Debian bug 635570 did something horribly nonstandard (depending on a side
effect of "sed -e 'a\'" with no trailing line). But there's an actual user,
and it's not hard to implement, and it's not hard to implement, and there
isn't an obvious _other_ way to do it, so add the behavior and a test for it.

Fix some bad/missing comments while I was there, and add a couple TODOs.

Fix bzcat.test (as noted by Andy Chu), wean tests off $TOPDIR and supply $FILES
instead, move tests/blkid into tests/files/blkid.

The test infrastructure prints the command name now, so file.test shouldn't.

Minor blkid cleanup. (There was a while(ptr[-1]==' ') ptr--; that could fall
off the start of the string. I pulled on the thread...)

Redo build stuff in response to Andy Chu's suggestions.

Toybox single binaries are now made directly with the new name instead of
stomping toybox and getting renamed.

Unstripped files now live in generated/unstripped.

Target to run all tests is now "make tests" to avoid conflict with "make test".

.singleconfig now has .PHONY: entries for all test_$NAME targets.

Default install location changed to /usr/toybox, code.html now says how
to change it (set $PREFIX).

scripts/install.sh --uninstall works now. (And you get to keep the pieces!)

blkid: Handle short/empty vfat labels; update tests

vfat labels have a fixed space allocated for them. In the case of a
shorter label, the remaining bytes are padded with spaces. A vfat
filesystem with no label (i.e. that will show up in Windows as "Local
Disk (X:)" or "Removable Disk (X:)") is stored as "NO NAME    ".

Both of these changes match behavior from util-linux.

Posix requires "" to be false, and 00 should be false, and -0 should be false.
Fix memory leaks in regex. Simplify regex check (if we matched, subexpression
had to match). Don't exit() from a command, set exitval and return.

Make lsof 10x faster by caching /proc/net socket info.

I deliberately didn't do this first time round because for me our lsof
is already 10x faster than traditional lsof, and caching means we potentially
give less information about a socket that's created while we're running.
It turns out that traditional lsof caches anyway, so I guess nobody cares.

This also fixes a mistake where lsof used CFG_FREE instead of CFG_TOYBOX_FREE.

Fix last commit (had newline before first ==> name <==) and add -f tests.

Fix "tail -f single_file".

TT.file_no was being incorrectly calculated as 0 when tail -f was passed
a single argument.

expr cleanup: simplify get_str() and free returned allocations.

Remove 'exit' from xargs test too.

Fix bug where all tests aren't being run with 'make test'.

The tests/*.test files shouldn't explicitly exit, because they are
sourced in scripts/test.sh.  No tests after sed were being run.

expr cleanup: traverse optargs with tok instead of incrementing optargs and
copying itinto a second variable. Also add error message for empty ( )

Move whitespace and curly brackets around, move reference URLs to top of file,
eliminate syntax_error() function (just call error_exit() directly),
eliminate advance() wrapper, pipe expected error messages in test to /dev/null

Fix type coercion bugs in expr.

All tests pass now; this fixes the 2 remaining failures, including a
segfault.

The structure of the code has changed a lot -- instead of having a tiny
function per operator, we have eval_op() which does common type coercion
and then evaluates the operator.  I tried writing it a couple different
ways, and this was the cleanest.

The OPS table now contains the operator string, precedence level,
signature for type coercion, and operator ID.

Fix the operator precedence in expr.

expr now uses the precedence table specified by POSIX, implemented using
the "precedence climbing" algorithm.  See the references at the top of
eval_expr().

This fixes 3 of 4 failing tests.

I also added more tests for correct behavior and for syntax errors.
This includes a new test exposing a segfault, related to type coercion.

Add base64.test, and Izabera pointed out that -w0 should disable wrapping.

Add ls -b and make ls -q work with utf8.

Split out _xexit() from xexit() and give sigatexit() multiple callbacks.

factor: use long long math (64 bit on 32 bit platforms) and handle negative
numbers even though we use unsigned math now.

Update scripts/single.sh and cp.c so "make mv" isn't actually building cp.

The xattr functions were added during the 2.5 kernel, lsm.h can #include the
header unconditionally. (This fixes the warning when CP_PRESERVE disabled.)

Fix segfault in sed -e 'c\'.

Found by afl-fuzz.

Remove switch_root.

...since it's never going to run as pid 1.

Change-Id: Idd21951c2966ce37049aa397c8c973b0e7202901

Add depends on TOYBOX_FORK for various commands that need nommu conversion.
(This should fix allyesconfig.)

Cleanup pass on the dirtree infrastructure, in preparation for making rm -r
handle infinite depth. Fix docs, tweak dirtree_handle_callback() semantics,
remove dirtree_start() and don't export dirtree_handle_callback(), instead
offer dirtree_flagread(). (dirtree_read() is a wrapper around dirtree_flagread
passing 0 for flags.)

Regenerate generated files.

Change-Id: Ib5698debdbee6b392d23e6114182e5030967a28d

Merge remote-tracking branch 'toybox/master' into HEAD

Fix warning (toys.optflags is a long long now).

wget: clean up

 - shorten error messages
 - replace mk_rq with sprintf
 - remove struct and defines
 - change unsigned int to unsigned

Another pass at file.c: move posix-required "executable" to front of output,
next few fields in the order the other implementation outputs, fewer commas,
fix a big where big endian executable type wasn't detected right,
and fix the filehandle leak.

Elliott pointed out that we output "unlimited" instead of "infinity", so
accept that as input. (And that I screwed up the test.)

Fix bzcat integer overflow reported by John Regehr.

Fix file for Java class files, improve script detection, and add tests.

More minor cleanup (inline a function, simplify name of another).

Minor cleanup.

Fix base64 so == wraps properly.

Factor out command name at the start of test name, have runtest.sh print it.

Print command name at start of each test.

Split lsattr/chattr tests.

Command name at start of each test.

Add fstype test.

Try to consistently print command name at the start of each test.

split pgrep/pkill tests.

For years the man pages have said to #include <sys/types.h> to get
major/minor/makedev, but glibc has vowed to break existing programs
(https://sourceware.org/ml/libc-alpha/2015-11/msg00253.html)
and replace it with _another_ non-standard header (not in posix or lsb),
so let's just add functions to lib/ that do the transform ourselves.

The last-ever release of uClibc hasn't got prlimit, so probe.

SYS_finit_module isn't there on Ubuntu 12.04 because it was only added to the
3.8 kernel in 2012. That's way too new to assume the build environment has
it, so #ifdef and simulate a failure if it's not there.

Use shell builtins instead of calling wc/awk/sed. (Fewer forks in build loop.)
Based on suggestions from Nicholas Boichat.

The last-ever release of uClibc didn't #define MS_RELATIME.

Use the correct types for recvfrom.

The clang FORITFY implementation doesn't like pointer signedness mismatch.
"What mismatch?", you say. "The historical bug in LP32 Android that left
it with a signed socklen_t".

Fix "make help" again.

Same missing quote at end of line as last time. The new additions to
the help are very useful though.

config2help: add missing ctype.h include

This file uses isspace which is defined in the ctype.h header.

do_regular_file() prints output line, don't fall through to print default.

Regenerate generated files.

Change-Id: I8a889ae35d7846555c3807c4179579e4c7286ac2

Merge remote-tracking branch 'toybox/master' into HEAD

Fix trailing spaces on ps -o cmdline.

Fix inverted test.

pending/file: add cpio, tar, zip formats.

Fix a typo from last time, and Isaac Dunham's todo list:

  - per POSIX, 'cannot open' must be in the 'type' string if open() fails
  (both EPERM and ENOENT); we only do that if open() succeeds and fstat(fd)
  fails.
  - symlink detection (as per POSIX) won't work: opening them O_RDONLY
  results in following the link, then we fstat() the fd.
  - file 'FIFO' causes a hang; open() won't return till there's a writer.

Second pass at the ELF type table.