Change strategy for freeing objects in the sweep.

dlfree() in dlmalloc.c is fairly expensive. It checks the previous and
next block to see if the curent block can be merged into one of the
free blocks, and if it does merge, that involves manipulating the
internal free lists.

The sweep phase of the GC is already visiting free objects in address
order, and has a list of objects to be freed. The new strategy is:

Loop over the list of objects to be freed, merging when possible, and
only calling free() when a either the list has run out or a
non-adjacent free object is found.

merge from donut

Fix an issue where we're adding 4x the intended offset.

We were doing pointer arithmetic of mixed types (jint* and jint),
and the type conversion ended up causing the offset to be converted
an extra time.

merge from donut

Removing MD2

Merge korg/donut into korg/master

Conflicts:

libcore/luni/src/main/java/org/apache/harmony/luni/platform/PlatformAddressFactory.java
vm/oo/Class.c

JNI direct buffer function speedup, part 3.

This caches the effective address in a new field in the base Buffer
object.  The first time something calls through one of the various
getEffectiveAddress calls, the value is set.  (This seemed easier than
chasing down the constructors and factories, and also prevents bit rot
on the "slow path" in the VM.)

JNI direct buffer function speedup, part 2.

This converts the three direct buffer functions from JNI to internal VM
calls.  As a bonus, we grab PlatformAddress.osaddr directly instead of
retrieving it with PlatformAddress.toLong().

We're still calling through getEffectiveAddress(), which is where most
of the complexity lies.

Nudged a couple of comments.

Merge change 8258 into donut

* changes:
  Minor fixes to CheckJNI.

Minor fixes to CheckJNI.

We weren't always switching to "running" mode before playing with
objects.  Now checkObject() always changes modes, and things that called
checkObject while in "running" mode now do so after switching back to
"native" (which shouldn't matter now, but I don't want to require nested
switching to work if I don't have to).

Vaguely related to internal bug 1943379, since I think we want to do
some updates to CheckJNI there.

JNI direct buffer function speedup, part 1.

This is a fairly straightforward improvement to GetDirectBufferAddress,
caching classes and methodIDs instead of looking them up on every call.
This is the best we can do without making the function more vulnerable
to internal changes to Harmony's NIO implementation.

It looks like we need to take this farther, but this way we have a
relatively fast and relatively safe version to fall back on.

For internal bug 1943379.

Merge change 10723

* changes:
  Fix variable names related to bytecode tracing.

Fix mangling to translate dollar signs (to allow Scala methods).

Fix variable names related to bytecode tracing.

Signed-off-by: Tony Yokoyama <chuuoudai@gmail.com>
The compile errors, encountered in the case that macro LOG_INSTR is
turned on, are fixed.

On branch log_instr
Changes to be committed:

modified:   vm/mterp/armv5te/debug.c
modified:   vm/mterp/c/gotoTargets.c
modified:   vm/mterp/out/InterpC-allstubs.c
modified:   vm/mterp/out/InterpC-armv4.c
modified:   vm/mterp/out/InterpC-armv5te.c
modified:   vm/mterp/out/InterpC-portdbg.c
modified:   vm/mterp/out/InterpC-portstd.c
modified:   vm/mterp/out/InterpC-x86.c
modified:   vm/mterp/portable/debug.c
modified:   vm/oo/Class.c

Merge change 7410 into donut

* changes:
  Fix bug: Arrays.deepToSting renders "[null]" as "null"; "[[]]" as "[]"; etc.

Fix bug: Arrays.deepToSting renders "[null]" as "null"; "[[]]" as "[]"; etc.

Don't init class during reflection signature scan.

Do not merge to master -- this is 57ea16e8 from there.

When processing Class.getDeclaredMethods() we create Method objects.
These have arrays of classes that indicate the method parameter types.
While generating the array we were initializing the classes we found,
which isn't necessary and led to some unpleasantness described in
external bug 3005.

Remove races from JNI_OnLoad invocation.

Do not merge to master.  (This was copied from there to donut.)

The current implementation just calls JNI_OnLoad and returns a failure
result if that goes badly.  If a second load attempt is made after
dlopen() finishes but before JNI_OnLoad completes, it will succeed
immediately.

This is bad because (a) we might not have finished the initialization
steps in JNI_OnLoad, and (b) it's possible JNI_OnLoad will fail.  We now
wait for an in-progress JNI_OnLoad to complete before returning.  (This
also requires recognizing and handling recursive invocation.)

Merge change 4595 into donut

* changes:
  Reactivating test that failed with a extensive gref count increase

Fix typo introduced in previous change.

Signed-off-by: Mike Lockwood <lockwood@android.com>

Merge change 10482

* changes:
  Add a bit-map encoding of Object-reference field offsets to ClassObject.

Merge change 6098 into donut

* changes:
  Commented out invalid test.

Commented out invalid test.

Merge change 5967 into donut

* changes:
  Modifies OpenSSLSocketImpl to use a different lock for the instance count. It was using the same lock when use around native methods meaning that the finalizer could be blocked unnecessarily resulting in a VM crash.

Merge change 5991 into donut

* changes:
  Reduce VM aborts during high CPU stress.

Merge change 5990 into donut

* changes:
  Pull 138592-p9 from master to donut.

Reduce VM aborts during high CPU stress.

(This was cherry-picked from master 2aa43610 for internal bug 1952616.)

The VM has some timeouts that are meant to kill the current process if
something gets stuck (e.g. a thread grabs a lock and then manages to die
while the rest of the process continues on).  These were tripping a
little too easily during some high-load situations.

This changes the order of operations so that we now unlock the "thread
suspend" lock before sending a wakeup broadcast to the condition variable
that threads sleep on.  This should make it less likely for a thread to
be running for an extended period while the lock is held.  (Relates to
internal bug 1664687.)

This also wraps a couple of things (pthread_create, dlopen) with a state
change to VMWAIT.  During high load situations these can take a while to
complete, and we would (with the K-Means Visualizer load generator
running) very occasionally time out.

Augmented the debug output in a couple of minor ways.  Updated comments.

Pull 138592-p9 from master to donut.

Switch from VMWAIT to RUNNING when executing code on behalf of the
debugger.  Reset the thread-suspend lock timeout if we have to suspend
while trying to acquire it.

Also, clear any pending exception before calling interpreted code.

Reworked some log messages to make them easier to decipher.

(For internal bug 1952616.)

Modifies OpenSSLSocketImpl to use a different lock for the instance count. It was using the same lock when use around native methods meaning that the finalizer could be blocked unnecessarily
resulting in a VM crash.

Fixes deadlock in Runtime.exec(). We can't malloc() or free() after fork() because the heap lock may be held by a thread that is no longer running.

dalvik: thread: Set the control group of a thread to the background group
if the priority is logically-lower than ANDROID_PRIORITY_BACKGROUND

Signed-off-by: San Mehat <san@google.com>

Add a bit-map encoding of Object-reference field offsets to ClassObject.

Class.c populates a new field with a bit for each of the first 32 instance
fields, to show if it is a reference or not, and an escape value if there is a
reference field beyond 32.

The GC uses the encoded bitmap -- if available -- to extract Object refererences
from DataObjects.

Merge change 5286 into donut

* changes:
  Check for failure in GetDirectBufferAddress.

Check for failure in GetDirectBufferAddress.

We now check for a null result or a pending exception in the JNI
GetDirectBufferAddress function.  This prevents a VM crash when somebody
tries to get the address of a non-direct buffer.

For internal bug 1926596.

Add FileDescriptor variation of startMethodTracing().

This is for bug #1829561 ("am profile" with bad filename kills process), which
will allow the am command to take care of opening the file and handing the
resulting fd over to the process to be profiled.

Merge 137552-p9 to donut.

Since we're apparently using these calls now, we probably ought to pull
the bug fix over.  It's been in master for more than 3 months so it
should be safe.  It'll also make future merges easier.

Prequel to fix for internal bug #1926596.

added/modified to support SuperH architecture

modified:   README.txt
modified:   vm/Android.mk
new file:   vm/arch/sh/CallSH4ABI.S

Reactivating test that failed with a extensive gref count increase

The cause for this failure was fixed. So this test can be reactivated.
BUG=1814539

Merge change 4334 into donut

* changes:
  Modified Thread to copy the context class loader from parent to child threads. Re-enabled test that covers this. Removed security-related code from test since it was invalid (the security check     doesn't occur if the calling code's class loader is an ancestor of the context class loader).

Modified Thread to copy the context class loader from parent to child threads. Re-enabled test that covers this. Removed security-related code from test since it was invalid (the security check
    doesn't occur if the calling code's class loader is an ancestor of the context class loader).

Adding:
QuoVadis Root Certification Authority
QuoVadis Root CA 2
QuoVadis Root CA 3

Copy the correct number of bytes for IPv6 addresses in InetAddress_gethostbyaddr

Test and fix for the ArrayList.addAll(), bug 2954.

Fix internal issue #1898791 ("PlatformAddressFactory PlatformAddress cache
causes memory to not be freed in a timely manner.").

The change makes the two PlatformAddressFactory.alloc() methods always
allocate separate PlatformAddress objects instead of looking for them
in the cache. This means that, should they have auto-free turned on,
there won't be a reference in the cache that prevents the freeing from
happening. And since we're talking about freshly-allocated memory anyway,
it would be surprising that either a matching address would be found in
cache *or* that a subsequent call to on() would ever happen with the
same address. So, it's a win on several fronts.

Fix JNI GetDirectBufferAddress.

The GetDirectBufferAddress JNI function was using the buffer's base
address, rather than it's "effective" base address.  The difference
becomes important when you create a direct buffer by "slicing" it off
of another at a nonzero offset.

For internal bug 1898762.

Merge change 10263

* changes:
  dx incorrectly writes registers as a signed leb128 in the dex debug info

Fix field names for annotation_directory_item in documentation (dex-format.html)

The names of the annotated_methods_off and annotated_parameters_off fields aren't
consistent with their purpose. _size is consistent with how "count of" type fields
are named elsewhere in the file

dx incorrectly writes registers as a signed leb128 in the dex debug info

This has no functional effect, because reading the signed leb128 value
as an unsignedleb128 still produces the same value. But the encoding is
1 byte longer in some cases.

Merge change 2454 into donut

* changes:
  Reactivating tests disabled because of ClassLoader loop

Merge change 2619 into donut

* changes:
  InetAddress:  Stop logging DNS lookups to logcat.

InetAddress:  Stop logging DNS lookups to logcat.

Logging all DNS lookups system wide raises privacy concerns to me
and might make people less likely to include logs in their bug reports.

Signed-off-by: Mike Lockwood <lockwood@android.com>

Reactivating tests disabled because of ClassLoader loop

Since ClassLoader.isAncestorOf has been fixed these tests now succeed.
So they can be reactivated.

BUG=1732214

Bug 1844104: Fix buffer overwrite bugs in CharsetEncoderICU and CharsetDecoderICU.

And add unit test.

Code to reuse PlatformAddress objects. Minimizing garbage creation on the framework level and reducing the number of runtime GC-hiccups for OpenGL apps and animations.
2nd version: complete rewrite using 8 bit hash, up to 5 probes, cycle through probes cache replacement. (Thank you MichaelDt for your help.)
- 1st amend: applied requested modifications
- 2nd amend: comment openers, curly bracket

Merge change 1987 into donut

* changes:
  Add tracing of native function calls to Dalvik.

Add tracing of native function calls to Dalvik.

Dalvik already traces Java method calls but it doesn't trace JNI calls.
This adds new trace records for JNI calls.

Increase the number of entries set aside for zygote initiating loader lists.

The number of classes that are present when the zygote finishes
initializing increased in donut/master, above the 2000 we currently
plan for.  Exceeding the limit reduces zygote sharing efficiency, so
this change raises the limit.

Wrote Dalvik "porting guide".

Fix handling of "--dev" argument in dalvik tests.

This was originally part of p9-144240, which was only made in "master".

Merge change 1400 into donut

* changes:
  Increase default stack size from 8K to 12K.

Increase default stack size from 8K to 12K.

For internal bug 1844105.

am 64b928e: AI 148694: Manually copied from cupcake_dcm CL 148669-p9.  W

Merge commit '64b928e82a3b91b339ff9ee980c4a0c020daa251' into donut

* commit '64b928e82a3b91b339ff9ee980c4a0c020daa251':
  AI 148694: Manually copied from cupcake_dcm CL 148669-p9.  When resetting the

AI 148694: Manually copied from cupcake_dcm CL 148669-p9.  When resetting the
  mode of the encoder, clear the leftover input & output buffers.
  This claims to fix buffer overwriting we're seeing during account
  sync and message download.
  BUG=1822859

Automated import of CL 148694

am 974cdcd: AI 148692: Merge change #148679 into Cupcake, since we proba

Merge commit '974cdcdc22ce05a0574bf7f2559a175c8d9434e9' into donut

* commit '974cdcdc22ce05a0574bf7f2559a175c8d9434e9':
  AI 148692: Merge change #148679 into Cupcake, since we probably want to

AI 148692: Merge change #148679 into Cupcake, since we probably want to
  take it for rel if there's an opportunity. Original
  description:
  Fix InputStreamReader to not drop input on buffer boundaries.
  This fix takes the salient code from Harmony tip-of-tree,
  though it's not a wholesale replacement of the file. In
  particular, I left in the old encoding name handling as well
  as one remaining "FIXME" that I don't think would have been
  addressed.
  BUG=1836908

Automated import of CL 148692

Merge change 1369 into donut

* changes:
  Updated a comment.

Updated a comment.

am 2de2459: AI 148670: More tests that need to be marked broken, since

Merge commit '2de2459caf88698400b7bcadaf87b5767b22f81e' into donut

* commit '2de2459caf88698400b7bcadaf87b5767b22f81e':
  AI 148670: More tests that need to be marked broken, since

AI 148670: More tests that need to be marked broken, since
  they behave differently in CTS and plain VM.
  Hopefully the last ones...
  BUG=1285921

Automated import of CL 148670

Pull the useful part of p9-132414 over to "donut".

This was inspired by some valgrind complaints marcone noticed.  The change
is already part of "master".

(I just noticed that the comment isn't quite right, but hopefully if I leave
it alone it'll merge trivially and I can fix it up in a subsequent change.)

am c423b40: AI 148447: Marking some more tests as broken, because they

Merge commit 'c423b4096a09b1c1eae05b8ef37e7e3c428e0b92' into donut

* commit 'c423b4096a09b1c1eae05b8ef37e7e3c428e0b92':
  AI 148447: Marking some more tests as broken, because they

AI 148447: Marking some more tests as broken, because they
  don't work properly in the CTS environment for
  some reason.
  BUG=1285921

Automated import of CL 148447

am 2f563a4: AI 148431: Marking as broken a couple of tests

Merge commit '2f563a4590c4a0e54177906c47d50f4ef454eba5' into donut

* commit '2f563a4590c4a0e54177906c47d50f4ef454eba5':
  AI 148431: Marking as broken a couple of tests

AI 148431: Marking as broken a couple of tests
  that tend to fail in the CTS host.
  BUG=1285921

Automated import of CL 148431

Merge change 1003 into donut

* changes:
  Add support for tracing Java method entry/exit in emulator.

Add support for tracing Java method entry/exit in emulator.

This is part of a larger change and depends on changes to the
kernel and the emulator tracing code.  The code used to work by
by writing to a "magic page" which the emulator would notice
because it watches every load and store.  But the emulator lost
the ability to watch every load and store with the latest update
to qemu.  So the new code sets up a memory-mapped page that the
emulator watches.  This is cleaner and more efficient anyway.

Merge change 1055 into donut

* changes:
  Fix issue 1687880.

Fix issue 1687880.

Change argument va_list to a standard representation.

Added XML output mode for dexdump.

This adds an output mode that looks similar to the "current.xml" we
generate for our public APIs.  There are a number of differences in
content.  The original ("plain") output has not been altered.

I pulled in the bad checksum handling change (internal 142686) since
it's small, has turned out to be useful, and might make the merge of
this to master slightly easier.

This also renames a buffer in the ongoing temp file variable saga.

Merge change 993 into donut

* changes:
  Pull fix from master branch, and correct filename juggling.

Pull fix from master branch, and correct filename juggling.

The original fix was in p4 144906.  This also corrects some problems that
arise when the temp file is specified.

Merge change 945 into donut

* changes:
  Moved the context class loader init down a bit to ensure proper init.

Moved the context class loader init down a bit to ensure proper init.

Since we're executing interpreted code it's best if we set the context
class loader as late as possible in this function.  I also updated a few
comments while I was in there.

Merge change 944 into donut

* changes:
  Set the main thread's context class loader to the system class loader.

Set the main thread's context class loader to the system class loader.

Test for null object in the Get<Type>Field and Set<Type>Field JNI functions.

Also adds some "return" calls after abortMaybe(), since it won't actually
abort if "warnonly" is set.

Merge change 891 into donut

* changes:
  Corrected behavior of Constructor.newInstance on abstract classes.

Corrected behavior of Constructor.newInstance on abstract classes.

The VM now throws an exception when somebody tries to create an instance
of an abstract class through a Constructor object.  It also ensures that
the class is initialized before attempting to create an instance.

This change adds some Constructor tests to the 042-new-instance VM test.
(It also pulls in some additions that were made to the 042 test back
in March, on the p4 master branch.)

Merge change 818 into donut

* changes:
  Changed the way we check the magic number in guard pages.

Added two new Dalvik documents.

One explains the use of hprof, the other shows how to use the VM from
the command line.  These are partially based on some of my responses
to questions on external mailing lists.

Changed the way we check the magic number in guard pages.

Use memcmp instead of "==" so that, if the pointer is unaligned on a
platform where alignment matters, we fail with a nice warning instead
of a bus error.

Found while tracking down bug 1823434.

Improve zygote heap sharing.

[ This is bhayes change 9488 in external "master" ]

Lots of ClassObject structures are unshared [and thus make whole pages
unshared]. A big contributor to this is the initializing class loader
logic, which has two writable words in a ClassObject and does indeed
seem to write them a lot.

Class which are created "early" have a low serial number and are
probably being created by the zygote, and would benefit from better
sharing. This change move the two words for classes with a low serial
number to a global, making the two words in those ClassObjects unused,
and thus more likely to be shared across apps.

Measured increase in sharing is c 100K per app, at a cost of c 32K
increase in unshared globals.

This might be better as a Set<Pair<Class,ClassLoader>> or
something. Many ClassObjects have zero loaders, and the typical count
seems to be very small. It should be possible to remove the two words
from the ClassObject and at the same time have a smaller global data
structure.

Respond to reviewer's comments.
Moved the "external" InitiatingLoaderList[] from gDvm to allocated storage.
Made the warning for the "const" go away.
Remove "vm/Init.c" from the commit
Revert Globals.h to not contain ZYGOTE_CLASS_CUTOFF
Use calloc rather than malloc/clear

The Android.mk file in libcore was writing a test
file outside of the Android build directory and was
not getting cleaned up after the build.

am 14da4cc: AI 147896: Some more fixes for tests that failed in

Merge commit '14da4ccdd69d8db7cef00b2ae5aabd32b6e1bdb4' into donut

* commit '14da4ccdd69d8db7cef00b2ae5aabd32b6e1bdb4':
  AI 147896: Some more fixes for tests that failed in

am ef71222: AI 147838: A couple of fixes for making the

Merge commit 'ef7122278207e33b724c6360945f9eae1f9a5a58' into donut

* commit 'ef7122278207e33b724c6360945f9eae1f9a5a58':
  AI 147838: A couple of fixes for making the

am 4645b7c: AI 147732: fix broken links

Merge commit '4645b7c3a461769281a0b2b846a26c79e806aaa0' into donut

* commit '4645b7c3a461769281a0b2b846a26c79e806aaa0':
  AI 147732: fix broken links

am 210c512: AI 147726: Getting rid of tests.luni.AllTests and

Merge commit '210c51215f36a78183de70a19987dc2ece2fda30' into donut

* commit '210c51215f36a78183de70a19987dc2ece2fda30':
  AI 147726: Getting rid of tests.luni.AllTests and

am 7cc0301: AI 147723: This should have been deleted a while ago, since

Merge commit '7cc03015bd1bcc14fcc5a0d4ad8b235b24992de2' into donut

* commit '7cc03015bd1bcc14fcc5a0d4ad8b235b24992de2':
  AI 147723: This should have been deleted a while ago, since

am 3fb3946: AI 147687: Several fixes for failing tests in the cts host.

Merge commit '3fb3946640bdc1294131417ac6593a789373090d' into donut

* commit '3fb3946640bdc1294131417ac6593a789373090d':
  AI 147687: Several fixes for failing tests in the cts host. also tests that timeout

am 119c75d: AI 147660: Fixes for tests in the security module.

Merge commit '119c75dad5494ac611c74599747e4bdc071eced1' into donut

* commit '119c75dad5494ac611c74599747e4bdc071eced1':
  AI 147660: Fixes for tests in the security module.