Merge remote-tracking branch 'toybox/master' into HEAD

Change-Id: I6222914d43f03b8cf07b13bee7735db71a663212

Declaring todo bankruptcy, dmesg goes back into pending until I get a chance
to unify the two codepaths in Elliott's rewrite.

Fix dmesg -c and -C.

I never use these, so I didn't notice I'd broken them until someone who
does bringup complained.

The "one weird trick" with SEEK_DATA is documented at the URL we already
point to. SEEK_DATA was added in Linux 3.1 (2011) and isn't available in
glibc 2.19 (2014), so I've added that to "portability.h" for the benefit
of Ubuntu 14.04.

Also make -c and -C mutually exclusive.

Also fix some of the formatting I introduced earlier. (A clang-format file
would help prevent these mistakes...)

Ascii only showed 15 rows instead of 16 and spacing was wrong for 96-100.

Fix the comment about the Android SIGPIPE behavior.

Teach file(1) about bzip2 files.

If we can read and write bzip2 files, we should be able to identify them
too...

Sort .config.

Since I'm just maintaining this by hand anyway, the groupings aren't helpful.

Bug: N/A
Test: builds
Change-Id: I735bfc4be30c0f8fe8a1a4618db0fd379becf5b7

Merge "Add back bionic SIGPIPE handler workaround accidentally removed in 3b51a07e478d"

Merge changes I76c426ae,I204f2f6c,I7f4cfc18

* changes:
  Document df -a
  Add ascii: display ascii table.
  ps -l has 4 chars left for "cmd", switch "ADDR" to "BIT" to save space.

Add back bionic SIGPIPE handler workaround accidentally removed in 3b51a07e478d

Document df -a

Add ascii: display ascii table.

ps -l has 4 chars left for "cmd", switch "ADDR" to "BIT" to save space.

Merge remote-tracking branch 'toybox/master' into HEAD

Change-Id: Ie9451588f4f8301e51db730255713b00a12ac6b0

Make tty size failure to enable -w (Elliott prefers that), and fix last field
to be left justified again.

Don't set SIGWINCH when reading ANSI size probe data, it causes a loop.

Bugfix: last field was padding to width with trailing spaces (oops), and
when we can't query terminal size pad to 80 but add -w.

Patch from Elliott to silence a "const" warning in android/getprop.c.
(Broken out of a larger patch, fixed the other part a different way.)

Silence a warning.

Once upon a time you could call fchown() and let it fail. Then gcc decided
not using its return code was inconcievable, but you could typecast it to (void)
to shut it up. Then gcc noticed people doing that and clutched its pearls and
took it away, so I added an if() statement that does nothing with the result
because we _expect_ this to fail when we're not root. Then clang started
complaining about an if (); statement with the semicolon on the same line,
but decided it's ok if the ; is on the next line (I.E. significant whitespace
in C), so I'm adding an "assignemnt to self" that gets optimized away so
it does a more _explicit_ nothing (the same way you suppress gcc's broken
"this isn't used uninitialized" warnings).

If the compilers weren't going to so much trouble to force the issue I might
add code to only call fchown when we're UID 0, but I refuse to be coerced
into it. (And if getpid() is still a system call instead of a vdso member
then it doesn't actually _save_ us anything, the dentry should be hot and
the permission check was just "if (!uid)" before selinux entered into it and
we're operating on an fd so the security's the same.)

Default to width 80 when tty size probe fails (ala serial console).

(It was defaulting to 99999 but not FLAG_w, so it tried to _pad_ to 99999.)

Posix says stdio.h should define 'stdout' as a macro, and bionic turns it into
an array index, which doesn't work as a local variable name. So rename it.

Switch oneit to use xopen_stdio() for -c (oops) and switch XVFORK() to use
__attribute__((returns_twice)) instead of noinline.

Yes LLVM supports it: https://llvm.org/bugs/show_bug.cgi?id=6287

Fix typo in pgrep help.

Fix operator precedence error in df.

Build dependency tweak.

Extend default USER length to 12 and output "+" as last character of truncated
(left-justified) fields.

Merge remote-tracking branch 'toybox/master' into HEAD

ps bugfix: len of TTY field doesn't include null terminator, so memmove should
subtract one _less_ than /dev prefix length or string isn't terminated.

Cleanup leftover debris.

Improve file's ELF parsing.

An ELF file with no program headers is valid, and binutils leaves e_phentsize
zero in that case. Fix the corruption check to cope.

Also, since notes are in both the program and section headers (and I'm not
aware of the possibility of having no sections but still having notes ---
where would they be?), look for them in the section headers instead.

Also extend the parsing of the .android.note.ident ELF note to include the
NDK version information if present. (This won't be present for platform
binaries, but will be present for NDK-built binaries such as app libraries.)

Merge remote-tracking branch 'toybox/master' into HEAD

Change-Id: I848c074d07970800eb264858087b159e1680fd56

Izabera suggested seq should multiply to avoid accumulating rounding errors
from incrementing by a double.

Tweak -w help text to clarify that it prevents truncating _any_ fields, not
just for terminal width.

Fix padto in draw_trim_esc() so it behaves like printf %*.*s and matches the
comment (I.E. negative first value _left_ justifies). This makes ps display
the same truncated values with and without a tty.

Also add a few comments to the rest of the file.

Add missing `static`s and remove an unused function.

Whitespace.

modprobe: Small cleanup pass, described on the list.

modprobe: use finit_module when possible

The finit_module() system call, introduced in Linux 3.8, reads the
module from a supplied file descriptor. This allows the kernel to do
security checks based on the file's location.

modprobe: add -d option to specify module directory path(s)

While most systems have their kernel modules, modules.dep etc located at
/lib/modules/`uname -r` this is not always the case.

The -d option may be used to specify a nonstandard path for these files.
It may be used more than once to specify multiple directories where
these files may be found.

top -H is more useful if it shows thread names.

I knew that just showing the process name was a divergence from
traditional Android behavior, but I was curious to see whether anyone
cared. Bug reports show that they do. I've not made this conditional on
CFG_TOYBOX_ON_ANDROID on the assumption that this is more useful for
everyone else too. (Why are you asking for per-thread information if
you don't actually want to be able to identify individual threads?)

Why not _just_ show the thread name? Because on Android at least, every
process has lots of identically-named threads; everyone has GC threads,
everyone has JIT threads, and so knowing _just_ the thread name is
rarely useful.

Why show thread name first? Because the kernel limits thread names to 15
bytes plus a NUL, so any left-over space should go to the process name,
so that should come last.

Why call the thread name THREAD? Because "CMD" isn't obviously "thread
name" to folks who don't know how this is implemented behind the scenes.

This change also removes an incorrect "usage:" comment. None of the
other commands in this file duplicated their "usage:" lines, and this
copy wasn't even close to being correct.

Bug: http://b/34610082

Minor Android roadmap update.

Remove s6 from roadmap. (It wasn't in status.html anyway, haven't updated
our comparison in years, and email with the maintainer convinced me it's
not a good yardstick for "what a traditional linux system expects to have".)

Answer another question.

Add modprobe

Bug: http://b/33304485

Change-Id: Ic37aad18b4c05f3808de51ccab2676009afb4404
Signed-off-by: Sandeep Patil <sspatil@google.com>

Merge remote-tracking branch 'toybox/master' into HEAD

Change-Id: Ic08d492bfa09d39ca1a968e1fa9fc873f1161630

Remove name length limit for system properties

Android O removes name length limit for system properties.

Use __system_property_read_callback instead of deprecated
__system_property_read in getprop and remove check for
property name length in setprop.

Test: adb shell setprop debug.test.very.very.long.property.name valueforpropertywithlongname
Test: adb shell getprop | grep debug.test.very.very.long.property.name
Bug: http://b/33926793
Change-Id: I57ca99ea33283d069cd1b7b9f110ec9fb27f3d19

Promote microcom to net.

Switch escape charcter to ^] (ascii 29, doesn't conflict with emacs or joe).
Recognize full range of linux serial speeds (only error cfsetspeed returns
is invalid speed value).

Fix microcom command-line help and -X.

Merge remote-tracking branch 'toybox/master' into HEAD

Change-Id: Ifcffe984c4e2cdca85d800300d80cf6dfea5af0b

Add "microcom" to pending.

Our device bringup folks wanted a simple serial console, both on the
host and on the device. This is certainly enough to replace what I've
been using personally on the host.

I'd never heard of "microcom" until I asked the internets what busybox
users use, so I don't care what we call this or what the options are
called. (But would like to decide before it gets ossified in a million
factory test scripts and the like!)

The tool that this replaces for me defaulted to /dev/ttyUSB0, but since
I don't know whether that default would be useful for most other people
too, I left that out. Command-line history will solve my transition
problem.

Quick and dirty fix for CVE-2016-6321 but seriously this is in pending
for a reason and I need to completely rewrite it.

More pending shell tests.

Implicit function declarations are an error, not a warning.

(The switch to 64 bits screwed up varargs: everything used to be promoted to 32
bits, but now it's 32 bits or 64 bits depending on type declarations, so you
need the type declarations. Because promoting "char" arguments to 32 bits back
when a megabyte was a lot of memory was ok, but promoting everything to 64 bits
now that you can get 2 gigabytes of ram in a phone is unacceptable.)

Tweak install_airlock help text.

ftpget: implement -mMdDlL, put ftp transactions into their own function so -v
can show both output and reply lines.

First stab at ftpget/ftpput. (Documents a lot of options other than basic
upload/download that aren't implemented yet.)

Some lib fixes: mark xvfork() noinline, make xsendfile() return bytes copied,
make xsocket()'s returned fd CLOEXEC.

An option can't exclude itself, so "abc[-ab][!abc]" with "command -a -b"
shouldn't segfault falling off the end of the list trying to report a
nonexistent error condition.

Alas, the backup list archive went down because https://lwn.net/Articles/695695/
and although it was partially restored by https://lwn.net/Articles/699704/
that didn't include this list.

Remove unnecessary casts in stat.c, fix a claimed buffer length.

POSIX does have a name for the struct timespec in struct stat.

Merge remote-tracking branch 'toybox/master' into HEAD

Change-Id: I7e266954f5079fb2bb2cb623e3bc997465916598

Stop lying to the compiler in modprobe's read_line.

sizeof(int) != sizeof(size_t) for LP64, leading to hilarity^Wcrashes.

Admit that getprop requires selinux.

The "lsm" portability stuff could abstract this away, but Android doesn't
need it, and getprop is meaningless on non-Android. (And if you're just
building with the NDK, on recent enough versions of Android you won't be
able to read most of the system properties anyway because access to them is
increasingly restricted by selinux.)

Switch to bionic <sys/system_properties.h>.

Removes the dependency on libcutils for everything except ps.

Move hostid to toys/example and have it "default n".

A "globally unique 32 bit number" is a concept the Linux world has outgrown.

log: use error_msg instead of perror_msg when errno is meaningless.

Add test for last sort commit.

Fix a bug for sort. When the key_separator is not space, the sort commandline tool fails to sort by the 3rd,4th,etc column. For example: when you exec

  $ sort -t',' -k 3n

on a file which cotains:

1,2,3,4
2,3,4,1
4,1,2,3
3,4,1,2

you got:

4,1,2,3
1,2,3,4
2,3,4,1
3,4,1,2

but the expected output should be:

3,4,1,2
4,1,2,3
1,2,3,4
2,3,4,1

The bug is due to the dependency of "isspace(str[end])" at line 113.
When searching for the non-space key_separator, the search stopped just at the position of first key_separator it met.
The bug can be easily fixed by adding "end++" when the search have found one separator and exit the for loop.

Cleanup: Have get_hostname() handle its own lookup failures. Inline is_prefix().
Kernel can handle 64k maximum segment size.

Add units for -atime and friends. (Also legacy -amin alias, but not in help text
because there's no -asec or -ahour.)

Merge remote-tracking branch 'toybox/master' into HEAD

Change-Id: Idcdb6b7ae9100bb6240fc7f6610d0233f728c916

First cleanup pass on new dmesg.

Pass DIRTREE_PROC through the ps callbacks.

Have make airlock just warn about missing commands unless $PEDANTIC is sent.

Workaround for Centos' "which" complaining if it can't find the command
(instead of just producing no output on stdout like everybody else).

Add DIRTREE_PROC to skip non-numeric entries and make ps/top etc use it.

Documentation tweak.

Thinko in recent longopt commit.

Change error test to actually exit if first attempt to use .config fails.

People keep wanting to cross-compile from macs, where the stock sed is broken.
So use $SED to indicate the sed to use, and set it to 'gsed' if available.

Bugfix: configuring out a longopt confused the option parsing.
(This made ls -l not work when LS_COLOR was off.)

Merge remote-tracking branch 'toybox/master' into HEAD
am: d2ed825752

Change-Id: I8a6c0740b1be8d389004ab1f132ae255b021b7ad

Merge remote-tracking branch 'toybox/master' into HEAD

Have dirtree_notdotdot() pass through !node->parent so . and .. on the command
line aren't filtered out. Audited all the callers and removed redundant
calls, adjusted call sequence, etc. (And let rm _not_ do this, because posix.)

Bug report from Justin Cormack, tar was producing a warning to stdout that
screwed up "tar c" to stdout.

Merge remote-tracking branch 'toybox/master' into HEAD
am: ccb4be08fa

Change-Id: Ic1c7d46e93761700114946d2c9066c46221053e1

Merge remote-tracking branch 'toybox/master' into HEAD

"printf %x 64" wasn't working right on 32 bit because a variable type was wrong.

Merge remote-tracking branch 'toybox/master' into HEAD
am: 4be718d62e

Change-Id: Id8298b77e4d0c3402499dbfc079c7f228cab4034

Merge remote-tracking branch 'toybox/master' into HEAD

Change-Id: I3a54258f757180bc8a40231ed6a72fc0149943c8

Josh Gao pointed out that chmod -R . (and ..) didn't work.

Fix control flow integrity check failure in ps.

This fixes an indirect function call through a pointer of an
incompatible type.

See http://clang.llvm.org/docs/ControlFlowIntegrity.html for more
details.

Implement "dmesg -w".

Annoyingly, this means writing a new dmesg implementation that uses /dev/kmsg
rather than the klogctl system call. Worse, pre-3.5 kernels don't support
that, so we need to keep the old implementation around as long as we still
care about those kernels.

Since I'm here, add the fancy colors from modern dmesg and the -C flag.

Tested on Nexus 9's 3.10 kernel, an Ubuntu 3.13 kernel, and the
Nexus One's 2.6.35 kernel.

Izabera pointed out that split -b -l are exclusive.

Merge remote-tracking branch 'toybox/master' into HEAD
am: 991623dec1

Change-Id: I49da41b2808102bc9c0e4fb8250457968e3332e1

Merge remote-tracking branch 'toybox/master' into HEAD

Change-Id: I941b7746e631fd0c69888fa2b8b582dc85b2cb8f

Add fallocate -o.

Also improve error reporting.

Android O allows '@' in property names.

Bug: http://b/32371104

Typos.