am 50f82ad4: am 08e0023c: Merge change I42d17725 into eclair-mr2

Merge commit '50f82ad4f2c4047382029560fd09d1907518adc8'

* commit '50f82ad4f2c4047382029560fd09d1907518adc8':
  Cache NumberFormat and DecimalFormatSymbols objects in a ThreadLocal,

am 239e94f6: am 28ac5b8c: Merge change I77af8135 into eclair-mr2

Merge commit '239e94f6a7d54bf13c78171d841582557b5fdd38'

* commit '239e94f6a7d54bf13c78171d841582557b5fdd38':
  Fix Formatter.format's handling of Formattable.

am 08e0023c: Merge change I42d17725 into eclair-mr2

Merge commit '08e0023c59828a443d993c7e6cb43bf9d197506a' into eclair-mr2-plus-aosp

* commit '08e0023c59828a443d993c7e6cb43bf9d197506a':
  Cache NumberFormat and DecimalFormatSymbols objects in a ThreadLocal,

am 28ac5b8c: Merge change I77af8135 into eclair-mr2

Merge commit '28ac5b8cfd52d1902a132a5faf8f102a8b33d6c2' into eclair-mr2-plus-aosp

* commit '28ac5b8cfd52d1902a132a5faf8f102a8b33d6c2':
  Fix Formatter.format's handling of Formattable.

Merge change I42d17725 into eclair-mr2

* changes:
  Cache NumberFormat and DecimalFormatSymbols objects in a ThreadLocal, so they can be reused between multiple instances of Formatter on the same thread.  This speeds up my unscientific benchmark (a number of printouts involved in a debugging diagnostics output) by 3x, and should have a similar impact on anyone who uses String.format(), PrintWriter.format(), and the like.

Merge change I77af8135 into eclair-mr2

* changes:
  Fix Formatter.format's handling of Formattable.

am 52d2e5f4: am 08c24984: Merge change I0ee370b9 into eclair-mr2

Merge commit '52d2e5f4e7f75e3a2b38b0373158b7dff13e72cf'

* commit '52d2e5f4e7f75e3a2b38b0373158b7dff13e72cf':
  Consistently use Formatter's cached NumberFormat.

am 08c24984: Merge change I0ee370b9 into eclair-mr2

Merge commit '08c24984fd3cb3e927c9a97b8413843b4b215dc5' into eclair-mr2-plus-aosp

* commit '08c24984fd3cb3e927c9a97b8413843b4b215dc5':
  Consistently use Formatter's cached NumberFormat.

Merge change I0ee370b9 into eclair-mr2

* changes:
  Consistently use Formatter's cached NumberFormat.

Cache NumberFormat and DecimalFormatSymbols objects in a ThreadLocal,
so they can be reused between multiple instances of Formatter on the
same thread.  This speeds up my unscientific benchmark (a number of
printouts involved in a debugging diagnostics output) by 3x, and
should have a similar impact on anyone who uses String.format(),
PrintWriter.format(), and the like.

am d3864b20: am dced7947: Reduce logging.

Merge commit 'd3864b207e6f6b090accd41a977ad23e18bdcf01'

* commit 'd3864b207e6f6b090accd41a977ad23e18bdcf01':
  Reduce logging.

Fix Formatter.format's handling of Formattable.

This doesn't make much difference to performance, but it is
slightly faster and I think it reads better too. Proof of the
latter is the fact that the rewritten form accidentally fixed
bug 1767: the old code was storing up literal text until after
handling the next format specifier, which is wrong if the
format specifier has side effects caused by the use of
Formattable.

(I don't plan on doing any more on the performance bug for now,
though I note that %g allocates and manipulates BigDecimal
instances, which would be worth looking at when we get round to
the bug that causes it to fail a harmony test.)

Bug: 1476, 1767

Consistently use Formatter's cached NumberFormat.

%f is a lot more expensive than it should be because we're not using the cached
NumberFormat (as we are for %d). Running the microbenchmark I added to the
bug (times in ms, on a Cortex A8):

                                old       new
      new Formatter %f         1732       811
      String.format %d          635       651
      String.format %f         1752       900
      reuse Formatter %f       1521       188
      Double.toString +         149       148
      Double.toString append     33        33
      StringBuilder.append      143       139

Bug: 1476

am dced7947: Reduce logging.

Merge commit 'dced79474902ffa57fbd48121eb794aad7d24ddc' into eclair-mr2-plus-aosp

* commit 'dced79474902ffa57fbd48121eb794aad7d24ddc':
  Reduce logging.

Merge change I49b05da2

* changes:
  Various XML fixes.

Reduce logging.

This cuts out some unnecessarily verbose dalvikvm chatter, notably:

  Trying to load lib /system/lib/librs_jni.so 0x0
  Added shared lib /system/lib/librs_jni.so 0x0

These messages can be useful for people trying to get their apps to
work with the NDK, so I'm only suppressing them when the path starts
with "/system".  The result is that you can boot the system and run all
standard apps without seeing them, but we'll still see app-private libs
being loaded.

Also LOGI->LOGV for "Debugger thread not active, ignoring DDM send",
which seemed to be firing on startup for APp NaMe events.  Ditto for
"Splitting out new zygote heap", which only happens once, but doesn't
strike me as a particularly useful thing to log.

Various XML fixes.

Add tests for bug 2487, exploring the situations where "]]>" is and isn't
allowed. Fix the bug by changing KXmlParser so it pays attention to
whether it's dealing with normal text or text in an attribute value and
reports errors appropriately.

In order to pass the new tests, we also need to fix DocumentBuilder to
pay attention to its DocumentBuilderFactory's "coalescing" setting: whether
or not adjacent text/CDATA nodes should be coalesced.

This in turn fixes a @KnownFailure in DocumentBuilderFactoryTest: previously
we didn't allow the caller to turn "coalescing" off (though until my
previous patch, we didn't actually coalesce anyway). Now we support both,
and I've made coalescing the default, because bug reports tell us that's
what users want. It's how the RI behaves, too.

Bug: 2487

Merge change I117408b2

* changes:
  Restore support for DEX on FAT.

Merge change Id8a539c6

* changes:
  Suppressing an invalid test that's checking implementation details.

Suppressing an invalid test that's checking implementation details.

Restore support for DEX on FAT.

The recent change to mmap(read-write)+mprotect(read-only) doesn't seem
to work on FAT filesystems like /sdcard.  This caused problems for the
code that opens Zip files and the code that opens DEX files.

This change splits the "map file" function into "read only" and
"writable read only" versions, using the former for Zip and the latter
for DEX.  Further, failure to mprotect(read-only) is now considered a
soft failure and only causes a warning.

The only apps that will be affected by this are those using /sdcard to
hold optimized DEX data for "plugin" APKs.

Also: moved the non-HAVE_POSIX_FILEMAP implementation of file mapping
into a shared function.  (Could probably go away entirely.)

Also: fixed the expected output for test 071.

Merge change I4c0dedfd

* changes:
  Jit: string's compareTo performance improvement.

Specifying the /tmp directory and other properties for test runs.

This fixes 2 broken tests in RandomAccessFile, and possibly others.

Jit: string's compareTo performance improvement.

Changed compareTo handler to call __memcmp16() for strings >= 32 chars.
However, even for those strings, the first two chars are done in the
handler (to catch early-out cases).

Comparisons were done with micro-benchmarks comparing 10 and 200-char
strings.

The strings were:
    equal -> Q
    not equal at start -> S
    not equal at end -> E

The test configurations were handler (H) [the previous handler], subroutine (S)
[memcmp16()} and blended (B) [this commit]

       H         S          B
10E   60        138        65
10S   32         70        30
10Q    9          9         9
100E 745        708       716

In short, the small string cases were twice as fast with the existing
handler compared to memcmp16, but memcmp16 was ~5% faster for long
strings.

Change the way breakpoints work.

This replaces the breakpoint mechanism with a more efficient approach.
We now insert breakpoint instructions into the bytecode stream instead of
maintaining a table.  This requires mapping DEX files as private instead
of shared, which allows copy-on-write to work.  mprotect() is used to
guard the pages against inadvertent writes.

Unused opcode EC is now OP_BREAKPOINT.  It's not recognized by dexdump or
any interpreter except portdbg, but it can be encountered by the bytecode
verifier (the debugger can request breakpoints in unverified code).
Breakpoint changes are blocked while the verifier runs to avoid races.

This eliminates method->debugBreakpointCount, which is no longer needed.
(Also, it clashed with LinearAlloc's read-only mode.)

The deferred verification error mechanism was using a code-copying
approach to modify the bytecode stream.  That has been changed to use
the same copy-on-write modification mechanism.

Also, normalized all PAGE_SIZE/PAGESIZE references to a single
SYSTEM_PAGE_SIZE define.

Simple Fibonacci computation test times (opal-eng):
  JIT, no debugger: 10.6ms
  Fast interp, no debugger: 36ms
  Portable interp, no debugger: 43.8ms

  ORIG debug interp, no breakpoints set: 458ms
  ORIG debug interp, breakpoint set nearby: 697ms

  NEW debug interp, no breakpoints set: 341ms
  NEW debug interp, breakpoints set nearby: 341ms

Where "nearby" means there's a breakpoint in the method doing the
computation that isn't actually hit -- the VM had an optimization where
it flagged methods with breakpoints and skipped some of the processing
when possible.

The bottom line is that code should run noticeably faster while a
debugger is attached.

Merge change I690f0051

* changes:
  Fixing a simple concurrency issue in the jtreg runner.

Fixing a simple concurrency issue in the jtreg runner.

Merge change If8e2929a

* changes:
  Don't allocate arbitrary-length buffers on the stack.

Merge change Id979947d

* changes:
  Remove org.kxml2.wap.

am d829c399: merge from open-source master

Merge commit 'd829c39941df81efe05eb3e974cfc048ce2d47f2'

* commit 'd829c39941df81efe05eb3e974cfc048ce2d47f2':
  eclair snapshot

merge from open-source master

merge from open-source master

Merge commit 'goog/stage-korg-master' into HEAD

Jit: fix for compareTo handler.

Note to self: Units tests are much more effective when the test main actually
calls them.

merge from eclair

Merge change I07accb25

* changes:
  Fix CHECK_CAST problem in the Jit.

Fix CHECK_CAST problem in the Jit.

The Jit has previously (and wrongly) assumed that because any CHECK_CAST
operation had previously succeeded in the interpreter, that the class
that check cast's object was being check against would already be resolved.
However, if the object being checked is NULL, no attempt is made to resolve
the class.  First bug flushed out by the Jit's stress mode (woohoo).

Remove org.kxml2.wap.

(Not to be submitted before d2944c35 in packages/apps/Email.)

Bug: 2249953

Don't allocate arbitrary-length buffers on the stack.

A new LocalArray C++ class lets us specify a "reasonable" amount of stack to
use, but transparently fall back to using the heap if we need more space.

The three places I've chosen to use LocalArray in this patch are fairly
random; all they have in common is that they're the places where we call
GetStringUTFRegion. There are more places LocalArray will be useful: the
java.io.File JNI in particular.

Bug: 2257819

Merge change I716b2844

* changes:
  Suppressing BufferedReader jtreg tests we're better off not passing.

Suppressing BufferedReader jtreg tests we're better off not passing.

If we have a Class object in the "monitors held:" output, show which class.

Bug: 2187020

Merge change Iaf8fd5ec

* changes:
  Fix HttpURLConnection's chunked encoding behavior.

Fix HttpURLConnection's chunked encoding behavior.

A third-party developer who wasn't reading to the end of the stream found that
their next connection would return junk, which turned out to be the tail of
the first response (thanks to connection recycling). Make sure we clean up
a chunked-encoding stream before allowing the connection to be reused.

Enhance our test web server to implement chunked encoding properly, with
configurable chunk sizes, rather than just responding with a single chunk.

Bug: http://code.google.com/p/android/issues/detail?id=2939

eclair snapshot

Merge change I200886b4

* changes:
  Make cacerts.bks available to the simulator too.

Make cacerts.bks available to the simulator too.

This lets you successfully run more tests on a sim-eng build than otherwise,
by bringing us in line with the normal on-device configuration.

Remove OSNetworkSystem.oneTimeInitialization.

Do this work at JNI registration time, as we do for almost everything else.
(I did this to rule out a warning from the dalvikvm deadlock prediction
code, which doesn't like the unusual lock ordering at initialization time,
and although it didn't make any difference to that, I prefer to have a
defined static order of initialization.)

Merge change Ica2d0b8c

* changes:
  Fix a buffer overrun in OSNetworkSystem.

Fix a buffer overrun in OSNetworkSystem.

Given an IPv6 address in a non-standard (Java-specific) form, we used to
overrun an on-stack buffer that was assuming the standard (shorter) form.
Make the buffer large enough for both forms, and reject anything that's
still too large.

Found by Inet6AddressTest.

Merge change Id726991b

* changes:
  Jit stress mode: translate everything we can and self verify.

Fix typos in the XmlPullParser documentation.

Jit stress mode: translate everything we can and self verify.

This represents a general clean-up of some existing command-line
options: -Xjitthreshold:num and -Xjitblocking.  The jit threshold
controls how quickly we treat a Dalvik address as a potential trace
head.  Normally this is set around 200 (and the range is 0..255, where
0 is in effect 256 and 1 means begin trace selection on first visit).

-Xjitblocking forces the system to pause execution whenever a translation
request is made and resume when that translation is complete.  Normally
the system make a request but continues execution (to avoid jitter).

Additionally, if WITH_SELF_VERIFICATION is defined, we force blocking
to be true, and set the threshold to 1.  And finally, we treat
threshold==1 as a special case and disable the 2nd-level trace-building
filter - which causes the system to immediately start trace selection.

Fix DOM parsing of character references/entities.

Our DOM parser didn't support { or š character references,
and didn't merge adjacent text nodes into one (so "a&b" would be
three text nodes rather than one; SAX allows the former, but DOM
guarantees the latter).

This patch fixes both bugs, and adds tests.

Bug: 2607 (and duplicates)

Bring our kxml2 up to date with upstream.

Much of this is spurious whitespace changes, but there's some increased
"relaxation". I deliberately lost the Android-specific change that was
avoiding Runtime, since we do now have Runtime. I've added an Android-specific
change to comment out some System.out logging that's been added upstream.

I'd tell you the upstream revision number, but they're still using CVS, so
there isn't one.

am 216438fc: (-s ours) am 83859891: am 3dc6a811: (-s ours) DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

Merge commit '216438fc405d78069b1042cc21fc43dc85f860a9'

* commit '216438fc405d78069b1042cc21fc43dc85f860a9':
  DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

Merge change Ie65d9758

* changes:
  Introduce "just interpret" chainable pseudo-translation.

Introduce "just interpret" chainable pseudo-translation.

This is the first step towards enabling translation & self-cosim stress modes.
When trace selection begins, the trace head address is pinned and
remains in a limbo state until the translation is complete.  Previously,
if the trace selected aborted for any reason, the trace head would remain
forever in limbo.  This was not a correctness problem, but caused some
small performance anomolies and made life more difficult for self-cosimulation
mode.

This CL introduces a pseudo-translation that simply routes control to
the interpreter.  When we detect that a trace selection attempt has
failed, the trace head is associated with this fully-chainable
pseudo-translation.  This also has the benefit for self-cosimulation that
we are guaranteed forward progress.

am 83859891: am 3dc6a811: (-s ours) DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

Merge commit '838598912874c49de45aba3baac644d177920115' into eclair-mr2-plus-aosp

* commit '838598912874c49de45aba3baac644d177920115':
  DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

am 3dc6a811: (-s ours) DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

Merge commit '3dc6a81182178a8ac9570a7679cf24b6a2665a0b' into eclair-mr2

* commit '3dc6a81182178a8ac9570a7679cf24b6a2665a0b':
  DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

am 3dc6a811: DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

Merge commit '3dc6a81182178a8ac9570a7679cf24b6a2665a0b' into eclair-plus-aosp

* commit '3dc6a81182178a8ac9570a7679cf24b6a2665a0b':
  DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

List -lcrypto when building for host darwin-x86, as that's part of
OpenSSL (in addition to -lssl, which was already listed).

Change-Id: Iddc53ee474dae030755395266a35f472f9b568b5

DO NOT MERGE. CTS test cleanup. Mark tests as KnownFailures and BrokenTests.

Merge change I16a7c847

* changes:
  Our XML serializer permits \0, resulting in malformed documents.

Merge change I52b6299c

* changes:
  Sanitize text before emitting to XML.

Sanitize text before emitting to XML.

This is the absolute least amount of sanitization that will work.
I'll consider adding more as necessary; currently I'm not too
interested in spending the time to make this perfect.

Our XML serializer permits \0, resulting in malformed documents.

This failing test demonstrates the problem. It also adds AllTests
plumbing for this test and some missing ones.

Merge change I2d4116b7

* changes:
  Clean up sieb.[ch], including changing a reference to <malloc.h> to instead be the more standard <stdlib.h>.

Merge change I364c9428

* changes:
  Remove 'GTE CyberTrust Root', which expired on 2/23/06.

Remove 'GTE CyberTrust Root', which expired on 2/23/06.

Clean up sieb.[ch], including changing a reference to <malloc.h> to instead
be the more standard <stdlib.h>.

I have no idea what "sieb" means (stands for?), and it looks like these
files may want to be placed in the nearest recycling receptacle, but I'm
not ready to go there today.

Change-Id: I2d4116b742e61018fdbea127070154545ff82dbd

More OSNetworkSystem cleanup.

Handle select(2) errors by throwing exceptions from native code (which is
simpler and provides more useful detail messages).

Factor out exception throwing commonality. This is probably ready for JNIHelp.h
now.

Remove sockSelect. Simplify selectWait by observing that it's only ever called
with a "read" fdset.

Remove a little more SOCKERR_* cruft.

Remove a few unused #defines.

Merge change I5cae54d2

* changes:
  More OSNetworkSystem cleanup.

Merge change Iefbd3c5e

* changes:
  Fix DEADLOCK_DETECTION mode for the Jit.

Merge change I7b302183

* changes:
  Remove cruft in the default libdvm.so and add 3 more special targets.

More OSNetworkSystem cleanup.

Fix danfuzz's BSD woes by removing uses of non-standard s6_addr32,
replace isMappedAddress with IN6_IS_ADDR_V4MAPPED, and change
convertMappedToIpv4 to reduce duplication in its callers.

Remove the TODO suggesting we consider inet_ntop instead of
getnameinfo; Ulrich Drepper says there's never any reason to
do that: http://people.redhat.com/drepper/userapi-ipv6.html

Remove our last use of sockaddr_in in favor of sockaddr_storage,
so we never have to wonder "is that big enough?" again.

Explain why we convert IPv4-mapped addresses to IPv4 addresses
when there's no obvious reason to do so.

Fix another user of the SOCKERR_* cruft.

Address the FD_ISSET and what-exception-to-throw-on-BSD comments
from danfuzz's last patch.

Fix DEADLOCK_DETECTION mode for the Jit.

Merge change Ic5176ecb

* changes:
  Remove deadlock-prone thread pool.

Remove deadlock-prone thread pool.

This is only test code, so let's not make it any more complicated than it
needs to be.

(The code sometimes locked the Vector before the individual Worker, and
sometimes the other way round.)

Only compile in multicast support on Linux, for the time being.

The calls and structs provided by the underlying platform for
multicast aren't yet exactly well-established POSIX standards, and the
current Linux code is still not considered to be super-robust, and as
such it isn't a good idea to try to duplicate its functionality for
other platforms. We will revisit the issue once the Linux side has
matured a bit.

Change-Id: I630086e22f6980726fd4523cb60dfc8c9fb9b011

Merge change Id9fcfa6d

* changes:
  Fix for inline string indexof; added regression tests

Fix for inline string indexof; added regression tests

Remove cruft in the default libdvm.so and add 3 more special targets.

The idea is similar to having libc.so as the default/optimal build and
libc_debug.so at a handy place.

libdvm.so       : default build to be installed with JIT on and assertion off.
libdvm_interp.so: JIT statically compiled out and assertion off.
libdvm_assert.so: assert/JIT-tuning enabled.
libdvm_sv.so    : assert/JIT-self-verification enabled.

Compile time of "mmm dalvik" from clean build with -j1:

real    2m36.144s
user    2m23.029s
sys     0m12.253s

Compile time of "mmm dalvik" from touching Interp.c with -j1:

real    0m8.493s
user    0m7.416s
sys     0m1.280s

Code size:

638152 Nov  3 16:17 libdvm.so
785604 Nov  3 16:17 libdvm_assert.so
556888 Nov  3 16:17 libdvm_interp.so
793804 Nov  3 16:17 libdvm_sv.so

Merge change Ib62b9223

* changes:
  Emitting JUnit+Ant style XML from the jtreg test runner.

Merge change I6b080ffc

* changes:
  Another couple of tweaks to deal with the ragged end of standardization.

Merge change I7e695ea9

* changes:
  Remove duplication in OpenSSLSocket/OpenSSLServerSocket.

Another couple of tweaks to deal with the ragged end of standardization.

Change-Id: I6b080ffcc1832a902e21f5137f42e4d860c407f0

Emitting JUnit+Ant style XML from the jtreg test runner.

This change adds some unfortunate code duplication between
the jtreg runner and the CoreTestSuite runner. I'd like to
eventually loop back and create a unified test runner for
either type of test.

Merge change I71684d91

* changes:
  CharsetDecoderICU/CharsetEncoderICU should take arrayOffset into account.

Merge change Ic80147bd

* changes:
  Adding timeouts to jtreg runner.

Adding timeouts to jtreg runner.

Also fixing some problems with the Android.mk which was
pointing at an old version of the Run class.

Remove duplication in OpenSSLSocket/OpenSSLServerSocket.

CharsetDecoderICU/CharsetEncoderICU should take arrayOffset into account.

CharsetDecoderICU and CharsetEncoderICU special-case array-backed ByteBuffers
and CharBuffers for performance reasons, but they shouldn't assume that the
backing array always has offset 0.

An external user hit this while using the jAudioTagger library.

Test cases from user submission:
http://code.google.com/p/android/issues/detail?id=4237

See also: 2234697

Remove more @KnownFailures now I've run tests.AllTests.

A lunchtime run of the full suite turned up more.

Hide JIT-specific constants when JIT is not configured.

Merge change Ia61d31e2

* changes:
  Remove @KnownFailure from a bunch of tests that now pass.

Remove @KnownFailure from a bunch of tests that now pass.

Looks like we got some of our Locales back.

Implement chaining up to the first 64 cases in a switch statement.

Back out inline string optimizations until cause of instability tracked down.

Ensure dalvikvm sets "user.name" to "root" for our tests.

dalvikvm sets "user.name" to $USER, but that environment variable isn't set
when we run the tests. I was looking at our DatagramSocketTest failure, and
it turns out it's another instance of "root can do stuff other users can't".
The typical way harmony tests check whether they're running as root is to
compare "user.name" against "root", but from run-core-tests they see "".

Merge change I22212019

* changes:
  Kill OSNetworkSystem.inheritedChannelImpl.