Merge remote-tracking branch 'toybox/master' into HEAD

Add -o TNAME for android, fix display of last field (retain left justifification
when trimmed for screen width), make ARGS path trimming logic work with
spaces in path.

Stabilize another sort.

Unstable sorting means confusing diffs if you're checking in the generated
files. (Which I shouldn't be doing, but getting this bundle of random scripts
into Android's build system isn't going to be easy...)

Stop building toybox route.

From the commit that stopped creating the symlink:

    We should remove the "route" command because its output is irrelevant and
    misleading. This is because it only looks at the "main" routing table,
    which is a last resort routing table that is a) trumped by all other
    networks, b) empty except for directly-connected routes c) cannot even be
    used by non-root users.

    The proper way to understand device routing is to look at the output of
    "ip rule" and "ip route", both of which are already available.

    Example of how this is confusing:

      $ adb shell route
      Kernel IP routing table
      Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
      160.249.218.72  *               255.255.255.248 U     0      0        0 rmnet_data0
      192.168.144.0   *               255.255.240.0   U     0      0        0 wlan0

    These aren't guaranteed to be used. For example, according to the output
    above 160.249.218.73 should go through rmnet_data0, but it doesn't:

      $ adb shell ip route get 160.249.218.73
      160.249.218.73 via 192.168.159.254 dev wlan0  src 192.168.159.164  uid 0
          cache

    Also, there is no default route. But the device has networking just fine:

      $ adb shell ip route get 8.8.8.8
      8.8.8.8 via 192.168.159.254 dev wlan0  src 192.168.159.164  uid 0
          cache

Bug: http://b/27603033
Change-Id: I40be0a7e2841144797a67f9aeb82b9097cec5400

Stand alone builds of OLDTOY should show help text for corresponding NEWTOY.

Merge remote-tracking branch 'toybox/master' into HEAD

The "show parent command path" commit changed the criteria for active nodes,
and the collate logic wasn't updated. (Oops.)

Merge remote-tracking branch 'toybox/master' into HEAD

Regenerate generated files.

Change-Id: I2014135856d6316a53c22cace2cc935cf65434f6

Fix remaining pkill tests.

I don't know that anyone cares, but these failures made me think I'd
broken something while testing the -SIGNAL patch.

The -s parsing wasn't taking into account that -s 0 is a special case,
and the -o test was assuming that pkill can tell the difference between
two processes started at roughly the same time. Hopefully there's
higher-resolution data available that can avoid the need for yet another
sleep in the tests.

Fix pkill -9.

This fixes the existing test. Internal Android bug 28877702.

I've left -l as-is, even though the desktop doesn't support that.

Don't truncate number fields for anything but right edge of screen, instead
let them overflow and try to reclaim extra space from later short fields.

Make -o COMMAND show parent command path for threads, and use saved length
calculations instead of doing strlen() on strings again to store lengths.

Comment and help text tweaks.

Add bufgetgrgid()

Make build dependencies more granular. This should fix the problem where
"make top; make ps" produces a ps that can't do -A because generated/obj/ps.o
didn't get rebuilt.

Add bufgetpwuid. (Repeated calls to getpwuid() are really expensive.)

Add top -O

Add stat -tL and -c %m%t%T.

Suggested by Sameer Pradhan, or possibly Bilal Qureshi.

Merge remote-tracking branch 'toybox/master' into HEAD

Use CFG_TOYBOX_NORECURSE to avoid
<strike>all that tedious mucking about with hyperspace</strike>
stack measuring in ways that confuse security stuff.

Turn on CONFIG_TOYBOX_NORECURSE for SafeStack.

Bug: http://b/27729263
Change-Id: Ibe1f530198045e4133960af61800b40d4348c59a

Work around increasingly insane compiler developers wanting to make everything
undefined behavior so the optimizer can silently eliminate your entire program.

Regenerate generated files.

Change-Id: I781e947ca3cf323262b0acb4269727357d7f9347

Merge remote-tracking branch 'toybox/master' into HEAD

Fix static linkage of toybox binary.

If toybox was compiled statically e.g. for use in a recovery ramdisk,
it would not build after b66a29a. This is because libselinux already
exports a selinux_log_callback() function which getprop.c is trying
to override.

This change simply makes the second symbol static, since it is only
used in a function table so we do not actually need to export it
from toybox.

Change-Id: I603258877ae2286660df35738bbf4f4285df5b54
Signed-off-by: Alistair Strachan <alistair.strachan@imgtec.com>

Add top -H.

Also enable the same behavior we have with ps, where adding a thread-related
field implies that you're interested in threads.

Also clean up the help text slightly --- we're still not including the
TOP_COMMON help, but at least when we do, we'll have each option covered with
no duplicates.

Android roadmap update.

I removed iftop a while back but didn't remove it everywhere in the
documentation. I switched over to toybox ps yesterday.

Merge remote-tracking branch 'toybox/master' into HEAD

"top -b -n1" should end with a newline.

The use of TT.time to determine whether to use \r or \n is a little odd,
but let's stick with that for now. Correct the spelling of millitime and
add a test.

Elliott says -T should fetch threads even when not displaying thread fields.

Simplify ps android scheduling policy fetch slightly.

Switch to toybox ps.

Change-Id: I1f0307a8c9511d02a173555b92ebd0f83df229c9

Regenerate generated files.

Change-Id: I8d1590a61a7339f65cd1bdf28601f85768563b57

Merge remote-tracking branch 'toybox/master' into HEAD

Hostname cleanup, as described on the list.

Add -b and -F arguments to hostname

These arguments are required to correctly set the hostname at boot time. They
are used by the '/etc/init.d/hostname.sh' init script in an OpenEmbedded system.

Fluff up README.

Add a ps "PCY" field for Android scheduling policy.

Regenerate generated files.

Change-Id: Id500eb735af13344c65dfce96f37199e65d4fe53

Merge remote-tracking branch 'toybox/master' into HEAD

First guess at showing thread names properly.

Show "-" rather 0 if we don't know whether a process is 32- or 64-bit.

Fix ps -O help output alignment.

Regenerate generated files.

Change-Id: Ifbb9056f6fa700c3426012d4ec6c43b70a4947c4

Merge remote-tracking branch 'toybox/master' into HEAD

ps thread supportand 32/64 bit detection.

Add ps -o BIT,TID,TCNT, and make -T display "PID,TID" for default output types
(adding TCNT to -f)

Fix find bug reported by Tom Marshall, add test for it, and while we're at it
fix two tests looking for a too-specific error message (so TEST_HOST failed).

Add "infrastructure in search of a user" to cleanup.html.

Merge remote-tracking branch 'toybox/master' into HEAD

Add the non-tty more(1) test.

(This was supposed to be in the earlier patch, but I was fooled by
"git commit -a" yet again...)

Fix more to not append an extra newline.

More's sigatexit handler needs to distinguish between normal exit and exit
due to receipt of a signal.

Change tty_sigreset to look at the signal number too, so that pressing 'q'
to exit top doesn't cause its exit status to be 128.

Fix more to a non-tty.

And add a test.

Remove inappropriate bzip tests (we're not comparing with random "host version")
replace with testing 2 known files out of blkid tests, and add badcrc test.

Fiz bzcat segfault reported by John Regehr (bad crc didn't set error message).

Allow EVAL= to run test under a different shell (for sh.test)

Regenerate generated files.

Change-Id: I2557e28527c58f25c814a961c003371b1a3214fc

Have dirtree_recurse() take the new dirfd as an argument.

Fix touch -t seconds parsing

Merge remote-tracking branch 'toybox/master' into HEAD

Start of shell tests: $(()) and $'' expansion.

Replace list_working with just list, "make list list_pending" shows combined list.

ps and top are implemented from the android todo. Record enh's wishlist items.

Dust off toysh, remove ancient config debris, add start of prompt logic.

Fix tail -NUM again.

This time with a test.

Fix "ssh top".

The ps.c change allows us to start. The interestingtimes.c change allows
us to clean up properly afterwards if you ^C out (which you usually do).

Tested with both ssh and "adb shell" (the latter being where I noticed
the problem).

Fix top -b.

Batch mode should never output terminal escape sequences, should ignore
the keyboard, and should include a gap between datasets.

Rename gratuitous references to Roger Zelazny's amber series, add comments.

Stop creating a symlink for route.

We should remove the "route" command because its output is irrelevant and
misleading. This is because it only looks at the "main" routing table,
which is a last resort routing table that is a) trumped by all other
networks, b) empty except for directly-connected routes c) cannot even be
used by non-root users.

The proper way to understand device routing is to look at the output of
"ip rule" and "ip route", both of which are already available.

Example of how this is confusing:

  $ adb shell route
  Kernel IP routing table
  Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
  160.249.218.72  *               255.255.255.248 U     0      0        0 rmnet_data0
  192.168.144.0   *               255.255.240.0   U     0      0        0 wlan0

These aren't guaranteed to be used. For example, according to the output
above 160.249.218.73 should go through rmnet_data0, but it doesn't:

  $ adb shell ip route get 160.249.218.73
  160.249.218.73 via 192.168.159.254 dev wlan0  src 192.168.159.164  uid 0
      cache

Also, there is no default route. But the device has networking just fine:

  $ adb shell ip route get 8.8.8.8
  8.8.8.8 via 192.168.159.254 dev wlan0  src 192.168.159.164  uid 0
      cache

This is a first step. If no device breaks, I'll stop building it too. In the
meantime, it's still available as "toybox route".

Bug: http://b/27603033
Change-Id: Ie444bfa9083e1f11b332d5d050a07cec48436e11

Fix a buffer overflow in diff -r.

We were doing two 32-byte memset()s instead of two 16-byte memset()s.
'dir' referred to the instance (array of 2) and not the struct type.

Add some test coverage for diff, including a case that hit this bug.

The bug was found by running cp.test under AddressSanitizer, since it
happens to use diff.

Andy Chu pointed out an out of bounds access for zero length lines.

While we're at it, use unsigned for the line length.

sed -f - should read from stdin.

Didn't check in all my local basename_r->getbasename changes. (Oops.)

Jakob Flierl pointed out a broken URL in the README.

Redefining basename_r to mean something random seems popular (bionic and freebsd
both did it) so use getbasename instead.

Merge remote-tracking branch 'toybox/master' into HEAD

Regenerate generated files.

Change-Id: I5323d381d9dd2e10c90fc10d16ef21dbffdd716b

Whitespace and comment.

Implement mv -n / cp -n (no clobber).

This fixes a failing test case in mv.test.

Test changes:
- Add coverage for -i (interactive).
- Better descriptions, better formatting, and removed some redundant
  cases.

Fix build when wchar_t is unsigned.

  external/toybox/lib/linestack.c:84:5: error: conflicting types for 'crunch_str'
  int crunch_str(char **str, int width, FILE *out, char *escmore,
      ^
  external/toybox/lib/lib.h:228:5: note: previous declaration is here
  int crunch_str(char **str, int width, FILE *out, char *escmore,
      ^

I'm not sure whether the interface was intended to be wchar_t or int, but
switching to int is the smaller change...

Fix exit code of things like sed -i that use tempfile_handler().

(The sigatexit() handler list code now calls the handlers on the normal
exit path, so _exit(1) from the handler is wrong; exit_signal() modifies
toys.exitval if necessary.)

basename: fix segfault on null input; add tests

When passed an empty string, glibc's basename() returns a pointer to the
string "." in read-only memory. If an empty suffix is given, it fits
the condition of being shorter than the path, so we try to overwrite the
null byte and crash. Fix this by just ignoring empty suffixes; they
don't do anything anyway.

Add od -w.

I'm not an od user myself, but I copy & pasted an 'od' invocation from a bug
and it didn't work. Which was embarrassing because I'd just claimed that the
od user didn't need to run od on their desktop (as they had done) and could
have run it on the device instead...

toolbox prlimit is no more.

Replaced by toybox ulimit -p.

Debian bug 635570 did something horribly nonstandard (depending on a side
effect of "sed -e 'a\'" with no trailing line). But there's an actual user,
and it's not hard to implement, and it's not hard to implement, and there
isn't an obvious _other_ way to do it, so add the behavior and a test for it.

Fix some bad/missing comments while I was there, and add a couple TODOs.

Fix bzcat.test (as noted by Andy Chu), wean tests off $TOPDIR and supply $FILES
instead, move tests/blkid into tests/files/blkid.

The test infrastructure prints the command name now, so file.test shouldn't.

Minor blkid cleanup. (There was a while(ptr[-1]==' ') ptr--; that could fall
off the start of the string. I pulled on the thread...)

Redo build stuff in response to Andy Chu's suggestions.

Toybox single binaries are now made directly with the new name instead of
stomping toybox and getting renamed.

Unstripped files now live in generated/unstripped.

Target to run all tests is now "make tests" to avoid conflict with "make test".

.singleconfig now has .PHONY: entries for all test_$NAME targets.

Default install location changed to /usr/toybox, code.html now says how
to change it (set $PREFIX).

scripts/install.sh --uninstall works now. (And you get to keep the pieces!)

blkid: Handle short/empty vfat labels; update tests

vfat labels have a fixed space allocated for them. In the case of a
shorter label, the remaining bytes are padded with spaces. A vfat
filesystem with no label (i.e. that will show up in Windows as "Local
Disk (X:)" or "Removable Disk (X:)") is stored as "NO NAME    ".

Both of these changes match behavior from util-linux.

Posix requires "" to be false, and 00 should be false, and -0 should be false.
Fix memory leaks in regex. Simplify regex check (if we matched, subexpression
had to match). Don't exit() from a command, set exitval and return.

Make lsof 10x faster by caching /proc/net socket info.

I deliberately didn't do this first time round because for me our lsof
is already 10x faster than traditional lsof, and caching means we potentially
give less information about a socket that's created while we're running.
It turns out that traditional lsof caches anyway, so I guess nobody cares.

This also fixes a mistake where lsof used CFG_FREE instead of CFG_TOYBOX_FREE.

Fix last commit (had newline before first ==> name <==) and add -f tests.

Fix "tail -f single_file".

TT.file_no was being incorrectly calculated as 0 when tail -f was passed
a single argument.

expr cleanup: simplify get_str() and free returned allocations.

Remove 'exit' from xargs test too.

Fix bug where all tests aren't being run with 'make test'.

The tests/*.test files shouldn't explicitly exit, because they are
sourced in scripts/test.sh.  No tests after sed were being run.

expr cleanup: traverse optargs with tok instead of incrementing optargs and
copying itinto a second variable. Also add error message for empty ( )

Move whitespace and curly brackets around, move reference URLs to top of file,
eliminate syntax_error() function (just call error_exit() directly),
eliminate advance() wrapper, pipe expected error messages in test to /dev/null

Fix type coercion bugs in expr.

All tests pass now; this fixes the 2 remaining failures, including a
segfault.

The structure of the code has changed a lot -- instead of having a tiny
function per operator, we have eval_op() which does common type coercion
and then evaluates the operator.  I tried writing it a couple different
ways, and this was the cleanest.

The OPS table now contains the operator string, precedence level,
signature for type coercion, and operator ID.