Reharmonize the implementation with the spec.

In particular, I altered the naming of some instruction format fields
as well as the names of instruction formats themselves, all in an attempt
to make the implementation be a more straightforward match of the spec.

This patch mostly changes comments to reflect the new harmonized
reality. The only "code-like" change is the renaming of kFmt3inline
and kFmt3rinline to kFmt35mi and kFmt3rmi (respectively), which is
what they're called in the spec.

Bonus: Added the new extended opcode instruction formats to
InstrUtils.h, though I left them commented out for now.

Change-Id: I0109f361c1e9b6f0308c45e8cda5320e9ad3060c

Merge "Pro-active pre-harmonization." into dalvik-dev

Pro-active pre-harmonization.

This is the same idea as my last change, except with the new
extended opcode formats. I also added a little more explanatory
text.

Change-Id: Iab9d1beb1ed445b94e72a438dfb83ea077c8c35b

Merge "Spec/implementation harmony." into dalvik-dev

Spec/implementation harmony.

I did two things here: (1) made the lettering for formats 35c and 35ms
match how things are actually implemented; and (2) formally defined
formats 35mi and 3rmi, to correspond to the inline linked formats
actually used in our current implementation.

In neither case does this change the meaning of the spec in any
substantive way. The first case is just about labels, and the second
case is just about (from the standpoint of the spec) a suggestion.

Change-Id: I6a6226a8cdd82ae4dcc43d342a9e9b98582cefd7

Merge "Allocate the mark stack as part of heap allocation." into dalvik-dev

Merge "Added info for parallel dx switch "num-threads" to help message." into dalvik-dev

Merge "Expand away the QUIET_ZYGOTE_MONITOR macro." into dalvik-dev

Expand away the QUIET_ZYGOTE_MONITOR macro.

Change-Id: I74eac297597e8e7c9a13d03335f91cf289e060df

Allocate the mark stack as part of heap allocation.

Previously, the mark stack would be allocated and freed as part of a
garbage collection.  This had two deficiencies.  First, allocating the
mark stack requires a file descriptor to open the ashmem device.  If
there are file descriptors free at the time of an garbage collection
the runtime is forced to abort.  Second, it turns out that ashmem is
slow.  I wrote a benchmark that evaluates the speed of various methods
for allocating memory 1e6 times in a tight loop.  The results are
summarized below

  madvise             2.279357911
  mprotect            3.451385496
  mmap MAP_ANONYMOUS  4.408111572
  mmap /dev/zero     14.232635436
  ashmem             35.414886504

The madvise algorithm preallocated some virtual memory, advise the
pages needed during a garbage collection, and advised the same pages
not need afterward.  It is not clear if this actually causes pages to
be made available to other processes or mappings in between garbage
collections.

The mprotect algorithm reserves some virtual memory and commit its
pages during a garbage collection and then uncommit its pages
afterward.  This releases pages and, like all slower methods, runs the
risk of being unable to allocate those pages afterward if physical
pages are unavailable.

The mmap MAP_ANONYMOUS algorithm allocates and frees virtual memory
each iteration.  This is surprisingly competitive with the methods
that preallocate memory and an order of magnitude faster than ashmem.

The mmap /dev/zero algorithm is similar to MAP_ANONYMOUS but allocates
anonymous memory through a file mapping.  It is substantially more
expensive than MAP_ANONYMOUS.

The ashmem algorithm is what is currently used.  It is also the
slowest method to allocate memory.

With this change, the madvise algorithm is used to allocate the mark
stack.  Virtual memory for the largest possible mark stack is reserved
at startup.  At the start of a garbage collection enough pages are
advised as needed for a mark stack given the current size of the heap.
At the end of a garbage collection, these pages are advised as no longer
needed.

As part of this change the mark stack has been changed to grow upward.
This makes the code simpler when the mark stack is incrementally
consumed.  Also, the pushing and popping routines have been separated
into distinct functions.

Change-Id: Ibe4cc025c95451c2e462fbf10885ca85eef2088a

Added info for parallel dx switch "num-threads" to help message.

Change-Id: I7fa31ab7160956c135ab95f8411ad359f616403d

Merge "Add const-class/jumbo." into dalvik-dev

am 6505cfe3: am ef4b0613: am e9503ef8: am 886130bc: (-s ours) Two patches.

* commit '6505cfe36b9815db674a0fedc9ab2147efcd5a03':
  Two patches.

am ef4b0613: am e9503ef8: am 886130bc: (-s ours) Two patches.

* commit 'ef4b0613d6952770aefac07d503955eb7b962d2b':
  Two patches.

am e9503ef8: am 886130bc: (-s ours) Two patches.

* commit 'e9503ef8c460f4818062ecc80a9e0b4f8c6745b8':
  Two patches.

am 886130bc: (-s ours) Two patches.

* commit '886130bc7ff992940e152636f57072e58c91aa2e':
  Two patches.

Add const-class/jumbo.

I neglected to include this one in my original list of new opcodes.

Change-Id: Ia59b4b2f21516d851f0398361eb5db1cb413aaab

Merge "Add the new jumbo opcodes to dx...almost." into dalvik-dev

Two patches.

Patch 1a+1b: Set capabilities sooner.

(cherry-pick from gingerbread I22fde728bd5d65774f8fdf1fa45956fe18358c4c)
(hand-pick from gingerbread Ief58bdfff2cb82d7824ef796c2c1031f525f6ee9,
 plus minor tweak to avoid altering the API)

Patch 3: If there's an error dropping privileges, abort.

(cherry-pick from gingerbread I85ce12e93cb8c297add756dc3b872b8346eda00b)

Bug 3176774

Change-Id: If8285d7bfd5a466bd77c0f7ffadf1bf96d31db06

Merge "Track change in libcore/NativeCode.mk." into dalvik-dev

Track change in libcore/NativeCode.mk.

Bug: 2281992
Change-Id: Ibfb877bc78396bc0e947ae2f8f86e484843f07de

Add the new jumbo opcodes to dx...almost.

This change adds the new opcodes while simultaneously preventing
them from actually being emitted, the prevention being controlled
by a new flag in InsnFormat.

Empirically speaking, we already have latent demand for the new
opcodes -- specifically because they allow for wider register
references than their wee companions -- and so we can't actually
enable their generation until the VM is prepared to execute them.

If you're wondering why dx without the new opcodes doesn't crap out on
the register references in question, it's because there's code in dx
which will expand an instruction that has non-fitting register
references into a sequence of two or more instructions, where it
shuffles values into and out of usable registers before and/or after
the instruction. When we turn on the jumbo opcodes, at least some
of these register shuffles will immediately get to go away.

Change-Id: I3f921ab07efa4944d7526fa48534d69f508ac249

Minor tweaks and clarification.

Change-Id: I861c2d65fea468fd1f085d845981b1cd9d98d3a8

Another bit of cleanup.

Making it a little easier to have more than 256 opcodes.

Change-Id: I050050f2b6078407dde4d4f214dec2c1a331000c

Move some verifier stuff around.

Once upon a time we started down the road of "just in time" register
map generation, which was intended to save flash and RAM storage by
generating register maps for methods as the GC needed them (rather than
doing them all up front, or on first load of a class).  This required
a lot of duplication of code, and in the end just wasn't worth it.

This removes the (#ifdefed-out) partial implementation.  Some functions
that were moved into VerifySubs to be shared with RegisterMap.c are
moved back to their previous homes.

Some temporary VERIFIER_STATS stuff is also getting checked in (#ifdefed
out).

Added an assert, tweaked a couple of comments.  No changes in behavior
are expected.

Change-Id: I20b915992add9906cb3638ac9432c910443a9a47

Merge "Use the static opcode chains in dx." into dalvik-dev

Merge "Parameterize instance counting to include subclasses." into dalvik-dev

Use the static opcode chains in dx.

This removes the need to iterate over all possible opcodes looking for
family/format matches whenever the need arises to rewrite an
instruction with a new opcode. This should speed dx up at least a
little, though I don't know if it will be measurable. It's certainly
cleaner and a bit simpler, though.

Change-Id: I779f19cb1249d30f6886faf76670ae37d5dfc402

Parameterize instance counting to include subclasses.

Change-Id: Idf54343a6a587e512833bbacbd0f7290adf8517e

Merge "Start including the "next opcode" in Dop instances." into dalvik-dev

Merge "Fix CloseGuard issue in test 087." into dalvik-dev

Fix CloseGuard issue in test 087.

Need to explicitly close the DexFile.

Change-Id: I15ec8550d3991cf492fbd20c87cb9408d205dd7f

Merge "Rename wrap/unwrap --> box/unbox" into dalvik-dev

Rename wrap/unwrap --> box/unbox

Use the correct term when moving primitive values in and out of
their parallel reference types.

Also, turn off the verifyCount check in dvmInvokeMethod unless
assertions are enabled.  The verifier guarantees this.

Change-Id: I47629835784b5e770089ab3ca5410ee1c42820d9

Start including the "next opcode" in Dop instances.

Nothing's using it yet, though. Coming soon!

Change-Id: Ide34647fce6ad55fe52c8f6012145b724c134799

Merge remote branch 'goog/dalvik-dev' into dalvik-dev-to-master

Merge "More prep work for new opcodes." into dalvik-dev

am d325011f: Shift register index tests to static pass.

* commit 'd325011fc98e0f1179d467bbc284cccea72f560b':
  Shift register index tests to static pass.

Shift register index tests to static pass.

This rather hefty change moves the range tests on register index values
from the code-flow pass to the earlier static analysis pass.  The idea
is to test everything up front so that we don't have to do a bounds
check every time we get or set a register value during verification.

This allowed some simplification in the code-flow pass, since get/set
of a register no longer needs to have the method register count passed
in, and can no longer fail due to bad input.

As part of doing this, some of the static verification code was
cleaned up, e.g. the instruction decoding is now only done in one place.

This had no apparently effect on performance on nexus one -- verify+opt
of the bootstrap classes takes the same amount of time.  However, it
does reduce the compiled size of the humongous instruction verification
method by about 10%.

Also, cleaned up some instruction format stuff (e.g. removed 3rfs).

Bug 2534655.

(cherry-pick from dalvik-dev)

Change-Id: I1b220f4e97b1214ed575470695c52e1bd64d5137

More prep work for new opcodes.

The opcode-gen script now expects there to be up to 65536 opcodes, and
it generates opcode chain information. The chaining info isn't used
yet, but eventually it will get hooked into the instruction selection
logic in dx, meaning that dx will no longer have to do relatively
slower opcode searches; the right "next" opcode will have been
staticly generated and compiled in.

I also added a helpful generated comment in RopToDop, which indicates
which opcodes are the ones that *won't* be found by chaining, that is,
which ones are the starts of chains. This is left as a comment and not
code, though, since there are lots of quirks with how these get hooked
up. I hope to make this cleaner at some point, but today's not the day
for it.

Change-Id: I11da833cc57b383733743114c0f3e0e64903982d

Line width / spacing tweak.

Change-Id: Idf9c4f56b24e2b150c519f8ed140650183b47a88

Improve JNI failure logging.

Removed a couple of LOGD warnings.  Added additional detail to the
corresponding exception messages.

Bug 3158451.

Change-Id: I3d1d4e6188f364f592bf396d23c5e7e6da2fe65f

Merge "Shift register index tests to static pass." into dalvik-dev

Merge remote branch 'goog/dalvik-dev' into dalvik-dev-to-master

Change-Id: I0731a0f623694d15d311dae1450a50e105905421

Shift register index tests to static pass.

This rather hefty change moves the range tests on register index values
from the code-flow pass to the earlier static analysis pass.  The idea
is to test everything up front so that we don't have to do a bounds
check every time we get or set a register value during verification.

This allowed some simplification in the code-flow pass, since get/set
of a register no longer needs to have the method register count passed
in, and can no longer fail due to bad input.

As part of doing this, some of the static verification code was
cleaned up, e.g. the instruction decoding is now only done in one place.

This had no apparently effect on performance on nexus one -- verify+opt
of the bootstrap classes takes the same amount of time.  However, it
does reduce the compiled size of the humongous instruction verification
method by about 10%.

Also, cleaned up some instruction format stuff (e.g. removed 3rfs).

Bug 2534655.

Change-Id: I3c2a5877bca5ddc3d794b61a46b95a7e5a3c233f

Merge "Rework the bytecode format file and parser." into dalvik-dev

Rework the bytecode format file and parser.

This change adds a set of "format" commands to the bytecode.txt file
and prefixes each bytecode definition with an "op" keyword. The new
parser script understands both commands (though it mostly ignores the
"format" ones) and is now a little less wedded to the idea that there
can only be 256 opcodes.

This all is in preparation for (a) adding new opcodes, and (b) making
the opcode/instruction fitter a little more efficient.

Change-Id: I1b4e7274da06b197536823148d91f426d049ec19

Merge "Remove allocation limit checking." into dalvik-dev

Remove allocation limit checking.

Change-Id: Ie9a23da2baf201c50cad5ba0d0992cec9bcace54

Merge "JIT - support for return-void-barrier [Issue 2992352]" into dalvik-dev

Merge "HPROF is here to stay, make WITH_HPROF the default." into dalvik-dev

HPROF is here to stay, make WITH_HPROF the default.

Change-Id: Ic9947461daa21641fd9d34d52b6c7998716d8ab2

JIT - support for return-void-barrier [Issue 2992352]

Slight reworking of the memory barrier instruction generation to
generalize it, and then add "dmb st" for the new return-void-barrier
instruction.

Change-Id: Iad95aa5b0ba9b616a17dcbe4c6ca2e3906bb49dc

Always dump blocks in label order.

This removes some cases of spurious test failure. Also did some
minor whitespace and commenting cleanup while I was in the territory.

Change-Id: I6b8f6d0c340625c31bde78394e77abf429367af3

Merge "Check that the debug registry has been started before visting it." into dalvik-dev

Merge "Resume all threads after performing an HPROF dump." into dalvik-dev

Check that the debug registry has been started before visting it.

Change-Id: I54605ebcb9a07846bbefc61ea48ba9e148a202fb

Resume all threads after performing an HPROF dump.

Change-Id: I83df8359a5d57e6b7cd79d75acc979024e50effb

am 79544e58: am 464104bb: am 1fe34326: am fbe51551: (-s ours) Remove a pointless test, which just tested a test support class.

* commit '79544e584c5a21c2551051732f7daa0b85afac02':
  Remove a pointless test, which just tested a test support class.

am 464104bb: am 1fe34326: am fbe51551: (-s ours) Remove a pointless test, which just tested a test support class.

* commit '464104bb1bc96949d7638aa79d16431e6ab8da78':
  Remove a pointless test, which just tested a test support class.

am 1fe34326: am fbe51551: (-s ours) Remove a pointless test, which just tested a test support class.

* commit '1fe3432661f96bf57b1e3bd91c3c01bd7564e6ae':
  Remove a pointless test, which just tested a test support class.

am fbe51551: (-s ours) Remove a pointless test, which just tested a test support class.

* commit 'fbe515510323ee65ce594b8eda5547c1cbfb8ad9':
  Remove a pointless test, which just tested a test support class.

Remove a pointless test, which just tested a test support class.

Change-Id: Ia6d47860ad71f013fef5631bcd434c2f6f1d346f

am 99bb6ef3: am 32d0157d: am 66b96b42: am 3144eec0: (-s ours) Replace the implementation of this class.

* commit '99bb6ef3043d4628e6e0da012df9920cd31735ce':
  Replace the implementation of this class.

am 32d0157d: am 66b96b42: am 3144eec0: (-s ours) Replace the implementation of this class.

* commit '32d0157dfef33fa48d195d2a467dd511ec7ef347':
  Replace the implementation of this class.

am 66b96b42: am 3144eec0: (-s ours) Replace the implementation of this class.

* commit '66b96b42ba1d21027b71ca65821648925c661a78':
  Replace the implementation of this class.

am 3144eec0: (-s ours) Replace the implementation of this class.

* commit '3144eec027b6a0de24f024c286e4544b1aca683b':
  Replace the implementation of this class.

Merge "Reclassify the pin table as a VM internal root.  The native stack classification requires an associated thread but are not directly associated with a thread.  If we encounter an object in the pin table during an hprof dump hat will fail." into dalvik-dev

Replace the implementation of this class.

Use the Apache Harmony version.

Change-Id: Ica3b4c69ccd1cd4c91325c52fad5a71695d58ba4

Reclassify the pin table as a VM internal root.  The native stack
classification requires an associated thread but are not directly
associated with a thread.  If we encounter an object in the pin table
during an hprof dump hat will fail.

Change-Id: I9e49f88cd632584b5818c702cf80f3f96ec5da85

A bunch of minor cleanups.

I'm reacquainting myself with this code, and figured I might as well
do some of that nit-picky code convention tweakage while I was there.
The only non-whitespace non-comment changes I made were to change the
scope of a couple of methods to be more appropriate.

Change-Id: I550978ed0f5b9ccec938faef7c00d09532832ee4

Fix expected output of dx test 086.

It experienced both innocuous block order shift and changes to
content due to the earlier constant value propagation fix.

Change-Id: If97d9cc82e763e9bbd7c3a8ba834f2d994eb694b

Merge "Fix the expected output of dx test 083." into dalvik-dev

Fix the expected output of dx test 083.

The recent fix to constant value propagation altered the expected output.

Change-Id: I57a2c1d60f2bc1060e116199d7924944ca1eef43

Separate HPROF from the GC.

In the beginning, the only way to traverse the roots and heap was to
piggyback off the garbage collector.  As such, HPROF was implemented
by instrumenting the root- and object traversal routines to check a
mode flag and call into HPROF during a GC when the flag was set.

This change moves the HPROF calls out of the GC and into callbacks
invoked through the visitor.  Notably, it allows HPROF dumps to be
computed at any point in time without invoking a GC and potentially
destroying evidence relating to the cause of an OOM.

Change-Id: I2b74c4f10f35af3ca33b7c0bbfe470a8b586ff66

Fix dx test 087.

This is another case of block rearrangement.

Change-Id: I402d0056f8b6d314cef2efcfea80337777b20a7d

Update the expected.txt for dx test 094.

As with a couple previous cases, it looks like the block order
has changed in the output, which isn't significant.

Change-Id: I4aef1da2252b3994875349570aca21043144eed4

Up the version number.

Change-Id: Ibf1e0471d1991c0b9ef7df847b427a3aead6fd4d

Fix propagation of constants.

In particular, when constructing a rop instruction for a move, if
the source has a known constant value, make the target end up also
having that value.

Change-Id: If172337889134e4a682bb0d8eb4e07ca284ac80e

Added multi-threaded support to processing of class files in dx.

Change-Id: Ideb54c414073a9651b21ce0697e6444fa80f146d

Clean up dx test 085.

The jasmin source had a bug which dx didn't previously catch, which is
now fixed, and I also removed a superfluous <init> method. With that
cleaned up, the test now fails but in a different way, which I believe
is indicative of a real problem, where it looks like a known constant
value is not getting properly propagated.

Change-Id: I3d31045eecc6d71cff2bca98c948dc58371d35a1

Dx test 083's expected output was wrong.

Like many of these tests, the expected output may change from time to
time due to irrelevant (to the test) changes to unrelated parts of dx.
In this case, at some point the rop block dumper seems to have started
sorting its blocks by label.

Change-Id: Ic82cdf8c7f98713bb67e4267c5dc91f0836a859d

Merge "The failure of dx test 105 wasn't actually spurious. Fixed the code." into dalvik-dev

am cd507233: am 7f91cf6b: am 3cf48016: Set capabilities sooner.

am 7f91cf6b: am 3cf48016: Set capabilities sooner.

am 3cf48016: Set capabilities sooner.

Set capabilities sooner.

Bug 3135433.

Change-Id: I22fde728bd5d65774f8fdf1fa45956fe18358c4c

Merge "x86: Improve ArrayIndexOutOfBoundsException detail messages" into dalvik-dev

The failure of dx test 105 wasn't actually spurious. Fixed the code.

In particular, for array load and store instructions, dx was being too
aggressive about letting the contents of the stack override the
implied type expected by the instructions. This led to cases where dx
would emit code instead of reporting an error.

The failure on the array load side of things implied that there also
needed to be a new regression test on the store side, since the
existing array store test didn't catch this. So, I added that too in
this change.

Finally, I took this opportunity to do minor whitespace-type cleanups
in a couple of related files that I opened during the course of the
investigation.

Change-Id: I72c644f66afb1108ae43a129ac81b010d072155a

x86: Improve ArrayIndexOutOfBoundsException detail messages

issue 3122084

Changes the x86 interpreter to use the new dvmThrowAIOOBE call
for out of bounds exception w/ more useful info.

Change-Id: Ic196cc99c561bf31953993a6928f574e5c5bf831

Merge "Remove nio cruft." into dalvik-dev

Remove nio cruft.

Change-Id: Ie0dd478f499e9fa40a4af8f10b81df7144a3e813

Fix a test.

The expected output was wrong. (A previous dx change made the output in
the case in question better.)

Change-Id: I94a180efc83968197d7a0a0fad49cdc6e02338cb

Merge "Properly close <address> tag." into dalvik-dev

Properly close <address> tag.

Change-Id: I4f86849de25f1d1a35f2356c1f118f3f063674a4

Merge "Implement the new instruction formats." into dalvik-dev

Merge "Improve dexdump temp file handling." into dalvik-dev

Implement the new instruction formats.

I also refactored some of the old code in the process, to minimize
duplication, and I also did a minor cleanup of the format spec.

Change-Id: Ib07ea4ade52aa6ec4fa69000798e0cfb8f10c3a9

am 0b33af0c: am 5d992dfa: am 36bd1345: Fix for array lower-bound check for count-down loops.

am 5d992dfa: am 36bd1345: Fix for array lower-bound check for count-down loops.