Restore support for DEX on FAT.

The recent change to mmap(read-write)+mprotect(read-only) doesn't seem
to work on FAT filesystems like /sdcard.  This caused problems for the
code that opens Zip files and the code that opens DEX files.

This change splits the "map file" function into "read only" and
"writable read only" versions, using the former for Zip and the latter
for DEX.  Further, failure to mprotect(read-only) is now considered a
soft failure and only causes a warning.

The only apps that will be affected by this are those using /sdcard to
hold optimized DEX data for "plugin" APKs.

Also: moved the non-HAVE_POSIX_FILEMAP implementation of file mapping
into a shared function.  (Could probably go away entirely.)

Also: fixed the expected output for test 071.

Specifying the /tmp directory and other properties for test runs.

This fixes 2 broken tests in RandomAccessFile, and possibly others.

Change the way breakpoints work.

This replaces the breakpoint mechanism with a more efficient approach.
We now insert breakpoint instructions into the bytecode stream instead of
maintaining a table.  This requires mapping DEX files as private instead
of shared, which allows copy-on-write to work.  mprotect() is used to
guard the pages against inadvertent writes.

Unused opcode EC is now OP_BREAKPOINT.  It's not recognized by dexdump or
any interpreter except portdbg, but it can be encountered by the bytecode
verifier (the debugger can request breakpoints in unverified code).
Breakpoint changes are blocked while the verifier runs to avoid races.

This eliminates method->debugBreakpointCount, which is no longer needed.
(Also, it clashed with LinearAlloc's read-only mode.)

The deferred verification error mechanism was using a code-copying
approach to modify the bytecode stream.  That has been changed to use
the same copy-on-write modification mechanism.

Also, normalized all PAGE_SIZE/PAGESIZE references to a single
SYSTEM_PAGE_SIZE define.

Simple Fibonacci computation test times (opal-eng):
  JIT, no debugger: 10.6ms
  Fast interp, no debugger: 36ms
  Portable interp, no debugger: 43.8ms

  ORIG debug interp, no breakpoints set: 458ms
  ORIG debug interp, breakpoint set nearby: 697ms

  NEW debug interp, no breakpoints set: 341ms
  NEW debug interp, breakpoints set nearby: 341ms

Where "nearby" means there's a breakpoint in the method doing the
computation that isn't actually hit -- the VM had an optimization where
it flagged methods with breakpoints and skipped some of the processing
when possible.

The bottom line is that code should run noticeably faster while a
debugger is attached.

Merge change I690f0051

* changes:
  Fixing a simple concurrency issue in the jtreg runner.

Fixing a simple concurrency issue in the jtreg runner.

Merge change If8e2929a

* changes:
  Don't allocate arbitrary-length buffers on the stack.

Merge change Id979947d

* changes:
  Remove org.kxml2.wap.

am d829c399: merge from open-source master

Merge commit 'd829c39941df81efe05eb3e974cfc048ce2d47f2'

* commit 'd829c39941df81efe05eb3e974cfc048ce2d47f2':
  eclair snapshot

merge from open-source master

merge from open-source master

Merge commit 'goog/stage-korg-master' into HEAD

Jit: fix for compareTo handler.

Note to self: Units tests are much more effective when the test main actually
calls them.

merge from eclair

Merge change I07accb25

* changes:
  Fix CHECK_CAST problem in the Jit.

Fix CHECK_CAST problem in the Jit.

The Jit has previously (and wrongly) assumed that because any CHECK_CAST
operation had previously succeeded in the interpreter, that the class
that check cast's object was being check against would already be resolved.
However, if the object being checked is NULL, no attempt is made to resolve
the class.  First bug flushed out by the Jit's stress mode (woohoo).

Remove org.kxml2.wap.

(Not to be submitted before d2944c35 in packages/apps/Email.)

Bug: 2249953

Don't allocate arbitrary-length buffers on the stack.

A new LocalArray C++ class lets us specify a "reasonable" amount of stack to
use, but transparently fall back to using the heap if we need more space.

The three places I've chosen to use LocalArray in this patch are fairly
random; all they have in common is that they're the places where we call
GetStringUTFRegion. There are more places LocalArray will be useful: the
java.io.File JNI in particular.

Bug: 2257819

Merge change I716b2844

* changes:
  Suppressing BufferedReader jtreg tests we're better off not passing.

Suppressing BufferedReader jtreg tests we're better off not passing.

If we have a Class object in the "monitors held:" output, show which class.

Bug: 2187020

Merge change Iaf8fd5ec

* changes:
  Fix HttpURLConnection's chunked encoding behavior.

Fix HttpURLConnection's chunked encoding behavior.

A third-party developer who wasn't reading to the end of the stream found that
their next connection would return junk, which turned out to be the tail of
the first response (thanks to connection recycling). Make sure we clean up
a chunked-encoding stream before allowing the connection to be reused.

Enhance our test web server to implement chunked encoding properly, with
configurable chunk sizes, rather than just responding with a single chunk.

Bug: http://code.google.com/p/android/issues/detail?id=2939

eclair snapshot

Merge change I200886b4

* changes:
  Make cacerts.bks available to the simulator too.

Make cacerts.bks available to the simulator too.

This lets you successfully run more tests on a sim-eng build than otherwise,
by bringing us in line with the normal on-device configuration.

Remove OSNetworkSystem.oneTimeInitialization.

Do this work at JNI registration time, as we do for almost everything else.
(I did this to rule out a warning from the dalvikvm deadlock prediction
code, which doesn't like the unusual lock ordering at initialization time,
and although it didn't make any difference to that, I prefer to have a
defined static order of initialization.)

Merge change Ica2d0b8c

* changes:
  Fix a buffer overrun in OSNetworkSystem.

Fix a buffer overrun in OSNetworkSystem.

Given an IPv6 address in a non-standard (Java-specific) form, we used to
overrun an on-stack buffer that was assuming the standard (shorter) form.
Make the buffer large enough for both forms, and reject anything that's
still too large.

Found by Inet6AddressTest.

Merge change Id726991b

* changes:
  Jit stress mode: translate everything we can and self verify.

Fix typos in the XmlPullParser documentation.

Jit stress mode: translate everything we can and self verify.

This represents a general clean-up of some existing command-line
options: -Xjitthreshold:num and -Xjitblocking.  The jit threshold
controls how quickly we treat a Dalvik address as a potential trace
head.  Normally this is set around 200 (and the range is 0..255, where
0 is in effect 256 and 1 means begin trace selection on first visit).

-Xjitblocking forces the system to pause execution whenever a translation
request is made and resume when that translation is complete.  Normally
the system make a request but continues execution (to avoid jitter).

Additionally, if WITH_SELF_VERIFICATION is defined, we force blocking
to be true, and set the threshold to 1.  And finally, we treat
threshold==1 as a special case and disable the 2nd-level trace-building
filter - which causes the system to immediately start trace selection.

Fix DOM parsing of character references/entities.

Our DOM parser didn't support { or š character references,
and didn't merge adjacent text nodes into one (so "a&b" would be
three text nodes rather than one; SAX allows the former, but DOM
guarantees the latter).

This patch fixes both bugs, and adds tests.

Bug: 2607 (and duplicates)

Bring our kxml2 up to date with upstream.

Much of this is spurious whitespace changes, but there's some increased
"relaxation". I deliberately lost the Android-specific change that was
avoiding Runtime, since we do now have Runtime. I've added an Android-specific
change to comment out some System.out logging that's been added upstream.

I'd tell you the upstream revision number, but they're still using CVS, so
there isn't one.

am 216438fc: (-s ours) am 83859891: am 3dc6a811: (-s ours) DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

Merge commit '216438fc405d78069b1042cc21fc43dc85f860a9'

* commit '216438fc405d78069b1042cc21fc43dc85f860a9':
  DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

Merge change Ie65d9758

* changes:
  Introduce "just interpret" chainable pseudo-translation.

Introduce "just interpret" chainable pseudo-translation.

This is the first step towards enabling translation & self-cosim stress modes.
When trace selection begins, the trace head address is pinned and
remains in a limbo state until the translation is complete.  Previously,
if the trace selected aborted for any reason, the trace head would remain
forever in limbo.  This was not a correctness problem, but caused some
small performance anomolies and made life more difficult for self-cosimulation
mode.

This CL introduces a pseudo-translation that simply routes control to
the interpreter.  When we detect that a trace selection attempt has
failed, the trace head is associated with this fully-chainable
pseudo-translation.  This also has the benefit for self-cosimulation that
we are guaranteed forward progress.

am 83859891: am 3dc6a811: (-s ours) DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

Merge commit '838598912874c49de45aba3baac644d177920115' into eclair-mr2-plus-aosp

* commit '838598912874c49de45aba3baac644d177920115':
  DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

am 3dc6a811: (-s ours) DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

Merge commit '3dc6a81182178a8ac9570a7679cf24b6a2665a0b' into eclair-mr2

* commit '3dc6a81182178a8ac9570a7679cf24b6a2665a0b':
  DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

am 3dc6a811: DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

Merge commit '3dc6a81182178a8ac9570a7679cf24b6a2665a0b' into eclair-plus-aosp

* commit '3dc6a81182178a8ac9570a7679cf24b6a2665a0b':
  DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

List -lcrypto when building for host darwin-x86, as that's part of
OpenSSL (in addition to -lssl, which was already listed).

Change-Id: Iddc53ee474dae030755395266a35f472f9b568b5

DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

Merge change I16a7c847

* changes:
  Our XML serializer permits \0, resulting in malformed documents.

Merge change I52b6299c

* changes:
  Sanitize text before emitting to XML.

Sanitize text before emitting to XML.

This is the absolute least amount of sanitization that will work.
I'll consider adding more as necessary; currently I'm not too
interested in spending the time to make this perfect.

Our XML serializer permits \0, resulting in malformed documents.

This failing test demonstrates the problem. It also adds AllTests
plumbing for this test and some missing ones.

Merge change I2d4116b7

* changes:
  Clean up sieb.[ch], including changing a reference to <malloc.h> to instead be the more standard <stdlib.h>.

Merge change I364c9428

* changes:
  Remove 'GTE CyberTrust Root', which expired on 2/23/06.

Remove 'GTE CyberTrust Root', which expired on 2/23/06.

Clean up sieb.[ch], including changing a reference to <malloc.h> to instead
be the more standard <stdlib.h>.

I have no idea what "sieb" means (stands for?), and it looks like these
files may want to be placed in the nearest recycling receptacle, but I'm
not ready to go there today.

Change-Id: I2d4116b742e61018fdbea127070154545ff82dbd

More OSNetworkSystem cleanup.

Handle select(2) errors by throwing exceptions from native code (which is
simpler and provides more useful detail messages).

Factor out exception throwing commonality. This is probably ready for JNIHelp.h
now.

Remove sockSelect. Simplify selectWait by observing that it's only ever called
with a "read" fdset.

Remove a little more SOCKERR_* cruft.

Remove a few unused #defines.

Merge change I5cae54d2

* changes:
  More OSNetworkSystem cleanup.

Merge change Iefbd3c5e

* changes:
  Fix DEADLOCK_DETECTION mode for the Jit.

Merge change I7b302183

* changes:
  Remove cruft in the default libdvm.so and add 3 more special targets.

More OSNetworkSystem cleanup.

Fix danfuzz's BSD woes by removing uses of non-standard s6_addr32,
replace isMappedAddress with IN6_IS_ADDR_V4MAPPED, and change
convertMappedToIpv4 to reduce duplication in its callers.

Remove the TODO suggesting we consider inet_ntop instead of
getnameinfo; Ulrich Drepper says there's never any reason to
do that: http://people.redhat.com/drepper/userapi-ipv6.html

Remove our last use of sockaddr_in in favor of sockaddr_storage,
so we never have to wonder "is that big enough?" again.

Explain why we convert IPv4-mapped addresses to IPv4 addresses
when there's no obvious reason to do so.

Fix another user of the SOCKERR_* cruft.

Address the FD_ISSET and what-exception-to-throw-on-BSD comments
from danfuzz's last patch.

Fix DEADLOCK_DETECTION mode for the Jit.

Merge change Ic5176ecb

* changes:
  Remove deadlock-prone thread pool.

Remove deadlock-prone thread pool.

This is only test code, so let's not make it any more complicated than it
needs to be.

(The code sometimes locked the Vector before the individual Worker, and
sometimes the other way round.)

Only compile in multicast support on Linux, for the time being.

The calls and structs provided by the underlying platform for
multicast aren't yet exactly well-established POSIX standards, and the
current Linux code is still not considered to be super-robust, and as
such it isn't a good idea to try to duplicate its functionality for
other platforms. We will revisit the issue once the Linux side has
matured a bit.

Change-Id: I630086e22f6980726fd4523cb60dfc8c9fb9b011

Merge change Id9fcfa6d

* changes:
  Fix for inline string indexof; added regression tests

Fix for inline string indexof; added regression tests

Remove cruft in the default libdvm.so and add 3 more special targets.

The idea is similar to having libc.so as the default/optimal build and
libc_debug.so at a handy place.

libdvm.so       : default build to be installed with JIT on and assertion off.
libdvm_interp.so: JIT statically compiled out and assertion off.
libdvm_assert.so: assert/JIT-tuning enabled.
libdvm_sv.so    : assert/JIT-self-verification enabled.

Compile time of "mmm dalvik" from clean build with -j1:

real    2m36.144s
user    2m23.029s
sys     0m12.253s

Compile time of "mmm dalvik" from touching Interp.c with -j1:

real    0m8.493s
user    0m7.416s
sys     0m1.280s

Code size:

638152 Nov  3 16:17 libdvm.so
785604 Nov  3 16:17 libdvm_assert.so
556888 Nov  3 16:17 libdvm_interp.so
793804 Nov  3 16:17 libdvm_sv.so

Merge change Ib62b9223

* changes:
  Emitting JUnit+Ant style XML from the jtreg test runner.

Merge change I6b080ffc

* changes:
  Another couple of tweaks to deal with the ragged end of standardization.

Merge change I7e695ea9

* changes:
  Remove duplication in OpenSSLSocket/OpenSSLServerSocket.

Another couple of tweaks to deal with the ragged end of standardization.

Change-Id: I6b080ffcc1832a902e21f5137f42e4d860c407f0

Emitting JUnit+Ant style XML from the jtreg test runner.

This change adds some unfortunate code duplication between
the jtreg runner and the CoreTestSuite runner. I'd like to
eventually loop back and create a unified test runner for
either type of test.

Merge change I71684d91

* changes:
  CharsetDecoderICU/CharsetEncoderICU should take arrayOffset into account.

Merge change Ic80147bd

* changes:
  Adding timeouts to jtreg runner.

Adding timeouts to jtreg runner.

Also fixing some problems with the Android.mk which was
pointing at an old version of the Run class.

Remove duplication in OpenSSLSocket/OpenSSLServerSocket.

CharsetDecoderICU/CharsetEncoderICU should take arrayOffset into account.

CharsetDecoderICU and CharsetEncoderICU special-case array-backed ByteBuffers
and CharBuffers for performance reasons, but they shouldn't assume that the
backing array always has offset 0.

An external user hit this while using the jAudioTagger library.

Test cases from user submission:
http://code.google.com/p/android/issues/detail?id=4237

See also: 2234697

Remove more @KnownFailures now I've run tests.AllTests.

A lunchtime run of the full suite turned up more.

Hide JIT-specific constants when JIT is not configured.

Merge change Ia61d31e2

* changes:
  Remove @KnownFailure from a bunch of tests that now pass.

Remove @KnownFailure from a bunch of tests that now pass.

Looks like we got some of our Locales back.

Implement chaining up to the first 64 cases in a switch statement.

Back out inline string optimizations until cause of instability tracked down.

Ensure dalvikvm sets "user.name" to "root" for our tests.

dalvikvm sets "user.name" to $USER, but that environment variable isn't set
when we run the tests. I was looking at our DatagramSocketTest failure, and
it turns out it's another instance of "root can do stuff other users can't".
The typical way harmony tests check whether they're running as root is to
compare "user.name" against "root", but from run-core-tests they see "".

Merge change I22212019

* changes:
  Kill OSNetworkSystem.inheritedChannelImpl.

Merge change I57dd1032

* changes:
  Supporting expected results for the jtreg test runner.

Merge change Ie098e2fa

* changes:
  Fixing PipedWriters/PipedOutputStreams silent failures during close().

Kill OSNetworkSystem.inheritedChannelImpl.

This code is broken (and more broken than upstream), and not obviously relevant
to our platform. Let's make it clear that all this currently does is return
null.

The changes in the Java side bring us back in sync with upstream.

Fixing PipedWriters/PipedOutputStreams silent failures during close().

See bug 2224903 and jtreg test java.io.BufferedWriter.Cleanup.

Merge change I04f3b02b

* changes:
  Jit - optimized inline string compareto, indexof; fill_array_data bug fix

Some more adjustments to deal with building for a BSD(-like) target.

Change-Id: I5e33c3db160ae3af6e324492e0b6a7a0dfb9719b

Merge change I318b1449

* changes:
  More OSNetworkSystem cleanup.

More OSNetworkSystem cleanup.

valgrind didn't like what we were doing here, specifically the way we
were setting ss_family to AF_INET if getsockopt IP_MULTICAST_IF didn't
return an AF_INET address, and ignoring the fact that the rest of
the sockaddr_storage doesn't necessarily correspond to an AF_INET address.
Linux seems to return an AF_UNSPEC address (rather than INADDR_ANY) if we
haven't set a multicast interface, so we have to do the conversion ourselves.

More disturbingly (and unfixed by this patch) we sometimes see ss_family
come back as 127 (when AF_MAX is 32 on our system). My guess is that the
kernel is just handing back bad data we gave it earlier, but I'll come back
to see about fixing multicast properly later.

I've inlined socketAddressToString into osNetworkSystem_byteArrayToIpString,
its only caller, because it's clearer that way now we've simplified the
division of error handling between the two.

I've brought getSocketLocalAddressImpl and getSocketLocalPortImpl in line
with each other and changed them to at least log errors. I've also added
a new test that fails, to demonstrate that this implementation is broken
as designed.

I've changed the name of JAVASOCKOPT_IP_MULTICAST_IF to match the Java
constant.

I've fixed the exception we throw if we're asked to convert a bad address
family's address from code that can't throw IOException --- AssertionError
doesn't have a String constructor. Really, we need to kill this code, so
I've added a TODO.

I've also made a real push to get rid of most of the SOCKERR_*-based error
reporting. (I had a transient failure with a meaningless error message
that sent me to the source to work out which errno it was actually
trying to report.)

I've changed setTTL to call setTimeToLive, and change the implementation
of the latter to pass Integer rather than Byte to the native implementation,
since that's what the native code needs anyway and native Byte support was
only for TTL.

Bug: 2225748

Jit - optimized inline string compareto, indexof; fill_array_data bug fix

Added flushAllRegs() prior to C handlers in preparation for upcoming support
for holding live/dirty values in physical registers.

Supporting expected results for the jtreg test runner.

This is necessary to suppress false positives when dalvik
intentionally differs from the RI. This came up in the fix
for issue 2224903.

Also adding additional features to the jtreg runner to make
it useful as an iterative development tool:
 - debugger support, to debug through running tests
 - verbose output, to aid in diagnosing hangs

Also adding a few ".expected" files for known test failures.
Hopefully this is scalable.

Renaming Run to TestRun and extracting Result as a top-level enum.

Merge change I88e8376e

* changes:
  Update logging to r820767

Merge change Id46d9a48

* changes:
  Fixing 1 of the 4 BufferedReader test failures in bug 2224903.

Fixing 1 of the 4 BufferedReader test failures in bug 2224903.

This CL includes the following functional changes:
 - changing read to not clear the mark upon reading EOF
 - changing read(char[], int, int) to use the 'read
   directly from the source stream' shortcut when the
   mark has exceeded its limit. Previously we took the
   shortcut only when the mark was unset.

And these nonfunctional changes
 - rewrote read(char[], int, int) dramatically. The new
   revision contains only one call to 'System.arrayCopy'
   and the related bookkeeping. Previously there was one call
   before the loop, and another call in the loop.
 - renamed markpos to mark
 - renamed marklimit to markLimit
 - renamed count to end (it isn't a count, it's a position)
 - simplifying conditions that used >= when > was impossible
 - reducing the number of field reads where convenient

Merge change I474dc860

* changes:
  Rewrite NativeBN_twosCompFitsIntoBytes.

Fixed typo introduced during comment reformatting.

Merge change Ib000d44f

* changes:
  Major registor allocation rework - stage 1.

Major registor allocation rework - stage 1.

Direct usage of registers abstracted out.
Live values tracked locally.  Redundant loads and stores suppressed.
Address of registers and register pairs unified w/ single "location" mechanism
Register types inferred using existing dataflow analysis pass.
Interim (i.e. Hack) mechanism for storing register liveness info. Rewrite TBD.
Stubbed-out code for linear scan allocation (for loop and long traces)
Moved optimistic lock check for monitor-enter/exit inline for Thumb2
Minor restructuring, renaming and general cleanup of codegen
Renaming of enums to follow coding convention
Formatting fixes introduced by the enum renaming

Rewrite of RallocUtil.c and addition of linear scan to come in stage 2.

Rewrite NativeBN_twosCompFitsIntoBytes.

valgrind complains about invalid 4-byte reads, caused by "case 8" in the
BNInterface.c function I'm removing here, which assumed that if we're checking
whether a BIGNUM fits in 8 bytes, it must require more than 4 bytes (and so
accessing d[1] is acceptable).

We can implement this in Java using the existing BigInteger.bitLength
method (which may call down to native code, but that native code looks okay).

Also remove a related commented-out method.

Bugs: 2223213, 2225642

Merge change I006c279b

* changes:
  Remove broken .so and fix bogus test.

Remove broken .so and fix bogus test.

valgrind doesn't like this because the .so *only* exists for x86 (contrary to
the claim in the @AndroidOnly annotation) but it's broken there, returning
a char* instead of a jstring.

I'm not really sure what they were trying to test here, but let's assume it
was that Runtime.getRuntime().load behaves like System.load, and fix the
tests that way.

Bug: 2223234

Merge change I4a356627

* changes:
  Change the jtreg tool to perform both building and running steps.

Merge change I8fa1a78a

* changes:
  Make run-core-tests with no arguments equivalent to tests.AllTests.