am abf3ef82: Fix off-by-1 bug in expandable bit vectors.

* commit 'abf3ef8206de388c7fc5f529f3ee05419475b651':
  Fix off-by-1 bug in expandable bit vectors.

Fix off-by-1 bug in expandable bit vectors.

Bug: 3224068
Change-Id: I6e5e956da380262e65cb1da9bcc51ba31f5b0d14

Add dvmHumanReadableDescriptor function, and use it.

We were abusing the fact that dvmDescriptorToDot, which is actually meant
for the class loading machinery, produces more readable output than a
regular descriptor. This patch adds a dvmHumanReadableDescriptor function,
switches all the relevant callers over to it, and and reuses the code that
was already in HprodClass.c.

This means we now say "java.lang.String[]" instead of "[Ljava.lang.String;".

Note that the old hprof code would have left "I" unchanged; I modified it
to translate "I" to "int" (et cetera). This was probably an oversight because
primitive scalars can't appear on the heap, so hprof had no need to format
those types (just arrays of primitives, which it got right).

Bug: 3216276
Change-Id: I63f32a2b020674dfa62ce198ff2699ec01857540

Merge "Protect against bogus arrays." into dalvik-dev

Merge "Better ArrayStoreException detail messages." into dalvik-dev

Protect against bogus arrays.

VMDebug.getInstructionCount() used to rely on the fact that its
argument would be passed in as non-null and be of an appropriate
length. Now, it's paranoid.

Change-Id: I8abb3d50227073cdd43007a7708987865651ec48

Better ArrayStoreException detail messages.

This fixes the portable interpreter, ARM, and x86. System.arraycopy was already
doing the right thing.

Bug: 3216051
Change-Id: I8a675eb62d6e7fd53a009f53ce8e34f93799b18c

Say kNumDalvikInstructions when appropriate.

In particular, use it instead of just saying 256, and similarly for
255. The number of opcodes will be changing soon.

Change-Id: Icc77120c2673968dddd6b4003f717245d46e4159

Kill off InsnFormat.nextUp().

This method used to be used during instruction selection, but hasn't
been used since the bytecode.txt file got updated to include format
chains.

Change-Id: Iee827c8b8008a88d56326aecf249299fe92101e1

Verification no longer requires startup/shutdown.

Change-Id: I634f8712295b8ed500092310a2f5bcdc9ff39112

Get rid of the copies of the opcode table pointers.

This inclduded fixing all the accessor functions to refer to the
global ones defined in InstrUtils.[ch] instead of taking separate
"table pointer" arguments.

This did end up adding a few more truly global references to some of
the code paths, particularly when performing dex optimization, so I
went ahead and measured the time to do a cold first-boot both before
and after the change (on real hardware). The times were identical (to
one-second granularity), so I'm reasonably comfortable making this
change.

Change-Id: I604d9f7882bad4245bb11371218d13b06c3a5375

Merge "Use the generated opcode info tables." into dalvik-dev

Better ClassCastException detail messages for x86.

Bug: 3210374
Change-Id: I5b6ff68b611f56276ef6e519511ed4dee22b0136

Merge "Include both types in ClassCastException detail messages." into dalvik-dev

Include both types in ClassCastException detail messages.

Along the lines of "java.lang.Exception cannot be cast to java.lang.String".

This is ARM and portable interpreter only. x86 will come later.

Bug: 3210374
Change-Id: I48719dbdb569bbc3be2a31d0e5507b8dc42101b3

Use the generated opcode info tables.

This is, once again, an intermediate step. Soon, I'm going to try to
remove need to keep and pass copies of the opcode info pointers all
over the place.

Change-Id: Ic6af849310b22ca604a7f2d18c78ff8d112459b4

Generate the tables in InstrUtils.c...almost.

This patch adds code to opcode-gen to generate the opcode info tables
currently built at vm start time, but they are left commented out for
now. I wanted to separate the work of getting these tables generated
from the work of getting those new tables hooked up, and this seemed
like a reasonable way to cut through the larger effort.

To be clear, I've already verified that the data in the new
pregenerated tables matches what's in the status quo.

Change-Id: Ie73dc6c6a5721e8f714f845c97b5338141995770

Generate the contents of OpCodeNames.c.

This was another one that was pretty easy to add to opcode-gen. I did
end up tweaking opcode-gen to make it obvious that the two forms of
name are different by more than just upper vs. lower case, especially
because I duplicated the original distinction of the optimized opcodes
having extra prefix characters in their human-oriented names but not
in the names when used as programming constants.

Change-Id: I5062442540d26318914964bd2722cc32380b19ca

Merge "Generate most of OpCode.h using opcode-gen." into dalvik-dev

Merge "Improve error messages for bad modified UTF-8 strings passed to JNI functions." into dalvik-dev

Improve error messages for bad modified UTF-8 strings passed to JNI functions.

Bug: 2567771
Change-Id: I8b67d13aaf0127f7eafffd69beb6f3b63729182f

Generate most of OpCode.h using opcode-gen.

This was the easiest bit to tackle in libdex. More to come!

Change-Id: I3f79039ce98951d694d2c896ee1c7a60b417bc49

Promote opcode-gen to the dalvik directory.

This tool will soon be used to generate code in libdex, so it
doesn't make sense for it to live in the dx directory.

Change-Id: I63ff7ccceac08fbe314fb0782dc8f2b5d75d155a

Add all the optimized / runtime-only opcodes.

With this patch, the opcodes all have lines in bytecode.txt, but
it's still the case that nothing is being done to use the info in the
vm.

Change-Id: Icf25e0b3b5328bc4c034602fb1ec21741f86c6d5

Get rid of kInstrUnconditional.

Replace its use with an inline function dexIsGoto(flags), which uses
the existing flag bits kInstrCanBranch and kInstrCanContinue.

Change-Id: I84f533f619434ad0ad2831c147b50f6dc79b9928

Merge "Be more prepared for InstrUtils code generation." into dalvik-dev

Be more prepared for InstrUtils code generation.

This patch removes "unconditional" as a flag (related change coming soon
to the vm code), and it prevents the dx codegen paths from doing anything
with optimized opcodes.

Change-Id: I0391d69d7956a564f3019f54d69a5522b8984ca0

Merge "Progress toward structured lock checks" into dalvik-dev

Progress toward structured lock checks

This change replaces the old array-of-arrays with an array of structs
that have a pointer to the register array.  The struct will soon also
hold the additional data required to perform structured lock checks,
which confirm that every monitor-enter instruction is paired with
a monitor-exit.  (Prototype fields have been added but are currently
unused.)

No change in behavior is expected, although verification of the
bootstrap classes does take about 5% longer now.

Bug 2534655

Change-Id: Idf25f9a72c5e6cdefe201eebe7c3f5a37064ffca

TypeRef, not ClassRef.

Old habits die hard. The things in question have been called TypeRefs
for quite a while now.

Change-Id: I77b0066a67c63b8e801ec62eb613f18a4812585a

Merge "Add info to the bytecode.txt file." into dalvik-dev

Add info to the bytecode.txt file.

This additional info should be enough to start generating the
tables used by InstrUtils, though this patch doesn't do anything
more than check the syntax of the new data.

Change-Id: Id823518d5a2edaea3397561a53070cc605ad4bf1

Stop reporting negative widths.

At one point, returning a negative width for dexopt output was useful.
That stopped being the case a long time ago.

This also removes a bad assert that went into my previous checkin.

Change-Id: I18880c2316f5499a09dc479d271ca70b2a5be259

Merge "Remove unused logging macros." into dalvik-dev

am 72ef412b: Fix uninitialized variable warning(error).

* commit '72ef412b56becfbdd54f239ea672a48b163ff1d2':
  Fix uninitialized variable warning(error).

Remove unused logging macros.

Change-Id: Ie1a2bb96232677c02e08b6c8f75dc9cdf2c371d8

Reset the finger immediately after it becomes no longer useful.

Change-Id: Icdef2bb73289d12e9973898732ef9a17b0123d34

Add the new instruction formats.

This just adds new elements to the enum and adds code to InstrUtils
and dexdump which knows how to decode them.

In dexdump, I took advantage of the new index type table to simplify
how all the index-bearing instructions get dumped, to the point where
adding the new formats was really just a matter of picking the right
switch cases to add new labels to.

Change-Id: I9094b0d568e7c71ee237672bbea8c319274c6697

Fix uninitialized variable warning(error).

Change-Id: I10815b033199758976950b28af7cc412f093a7f5

Fix Thumb2 codegen.

My local build wasn't doing Thumb2. Unsurprising in retrospect.

Change-Id: I38ab4dc80e1115cf459f6d890c7d0eb2705fa7c9

Add a new index type table for instruction decoding.

This is in prep for -- recurring theme here -- adding the new extended
opcode formats. It turns out that we can avoid a lot of duplicated code
if we determine the type of thing referred to in index-bearing instructions
inside the general instruction decoder. To do so straightforwardly, this
means adding a new opcode info table and then passing it into the decoder.
Rather than add another argument to the decoder, I defined a struct to
contain all the info tables together, and a pointer to that can get passed
in.

I simplified the setting up of the info tables, too, so all the
allocation is handled within InstrUtils, rather than being (partially)
duplicated in a couple places. The only downside is that dexdump will
construct one more table than it actually needs, but given that
construction is quick and the table is only 256 bytes (though will
soon be growing to -- gasp! -- 294 bytes), I figure it's not such a
big deal.

Most of the files that changed only had edits for how to refer to these
info tables.

Change-Id: Ia6f1cb25da6e558ac90c6dd3af6bce36b82a6b4d

Simplify the instruction decoder.

The decoder for format 35mi was *mostly* identical to the one for
35c/35ms. The one place where it differed was in the allowing (or not)
of a fifth argument. I combined the two blocks and just added an
additional format check in the five-argument case. I ended up
rewriting the stuff to pull arguments into the args array, because
while the original loop at the core of it was attractively simple, the
extra stuff around it just made the code obscure. With this change,
the code just does switch(count) and has a nice little cascade.

While I was in the territory, I did a couple other minor cleanups.

Change-Id: Ib75d47eae92a91571445751789d56feeb4e0ca81

Reharmonize the implementation with the spec.

In particular, I altered the naming of some instruction format fields
as well as the names of instruction formats themselves, all in an attempt
to make the implementation be a more straightforward match of the spec.

This patch mostly changes comments to reflect the new harmonized
reality. The only "code-like" change is the renaming of kFmt3inline
and kFmt3rinline to kFmt35mi and kFmt3rmi (respectively), which is
what they're called in the spec.

Bonus: Added the new extended opcode instruction formats to
InstrUtils.h, though I left them commented out for now.

Change-Id: I0109f361c1e9b6f0308c45e8cda5320e9ad3060c

Merge "Pro-active pre-harmonization." into dalvik-dev

Pro-active pre-harmonization.

This is the same idea as my last change, except with the new
extended opcode formats. I also added a little more explanatory
text.

Change-Id: Iab9d1beb1ed445b94e72a438dfb83ea077c8c35b

Merge "Spec/implementation harmony." into dalvik-dev

Spec/implementation harmony.

I did two things here: (1) made the lettering for formats 35c and 35ms
match how things are actually implemented; and (2) formally defined
formats 35mi and 3rmi, to correspond to the inline linked formats
actually used in our current implementation.

In neither case does this change the meaning of the spec in any
substantive way. The first case is just about labels, and the second
case is just about (from the standpoint of the spec) a suggestion.

Change-Id: I6a6226a8cdd82ae4dcc43d342a9e9b98582cefd7

Merge "Allocate the mark stack as part of heap allocation." into dalvik-dev

Merge "Added info for parallel dx switch "num-threads" to help message." into dalvik-dev

Merge "Expand away the QUIET_ZYGOTE_MONITOR macro." into dalvik-dev

Expand away the QUIET_ZYGOTE_MONITOR macro.

Change-Id: I74eac297597e8e7c9a13d03335f91cf289e060df

Allocate the mark stack as part of heap allocation.

Previously, the mark stack would be allocated and freed as part of a
garbage collection.  This had two deficiencies.  First, allocating the
mark stack requires a file descriptor to open the ashmem device.  If
there are file descriptors free at the time of an garbage collection
the runtime is forced to abort.  Second, it turns out that ashmem is
slow.  I wrote a benchmark that evaluates the speed of various methods
for allocating memory 1e6 times in a tight loop.  The results are
summarized below

  madvise             2.279357911
  mprotect            3.451385496
  mmap MAP_ANONYMOUS  4.408111572
  mmap /dev/zero     14.232635436
  ashmem             35.414886504

The madvise algorithm preallocated some virtual memory, advise the
pages needed during a garbage collection, and advised the same pages
not need afterward.  It is not clear if this actually causes pages to
be made available to other processes or mappings in between garbage
collections.

The mprotect algorithm reserves some virtual memory and commit its
pages during a garbage collection and then uncommit its pages
afterward.  This releases pages and, like all slower methods, runs the
risk of being unable to allocate those pages afterward if physical
pages are unavailable.

The mmap MAP_ANONYMOUS algorithm allocates and frees virtual memory
each iteration.  This is surprisingly competitive with the methods
that preallocate memory and an order of magnitude faster than ashmem.

The mmap /dev/zero algorithm is similar to MAP_ANONYMOUS but allocates
anonymous memory through a file mapping.  It is substantially more
expensive than MAP_ANONYMOUS.

The ashmem algorithm is what is currently used.  It is also the
slowest method to allocate memory.

With this change, the madvise algorithm is used to allocate the mark
stack.  Virtual memory for the largest possible mark stack is reserved
at startup.  At the start of a garbage collection enough pages are
advised as needed for a mark stack given the current size of the heap.
At the end of a garbage collection, these pages are advised as no longer
needed.

As part of this change the mark stack has been changed to grow upward.
This makes the code simpler when the mark stack is incrementally
consumed.  Also, the pushing and popping routines have been separated
into distinct functions.

Change-Id: Ibe4cc025c95451c2e462fbf10885ca85eef2088a

Added info for parallel dx switch "num-threads" to help message.

Change-Id: I7fa31ab7160956c135ab95f8411ad359f616403d

Merge "Add const-class/jumbo." into dalvik-dev

am 6505cfe3: am ef4b0613: am e9503ef8: am 886130bc: (-s ours) Two patches.

* commit '6505cfe36b9815db674a0fedc9ab2147efcd5a03':
  Two patches.

am ef4b0613: am e9503ef8: am 886130bc: (-s ours) Two patches.

* commit 'ef4b0613d6952770aefac07d503955eb7b962d2b':
  Two patches.

am e9503ef8: am 886130bc: (-s ours) Two patches.

* commit 'e9503ef8c460f4818062ecc80a9e0b4f8c6745b8':
  Two patches.

am 886130bc: (-s ours) Two patches.

* commit '886130bc7ff992940e152636f57072e58c91aa2e':
  Two patches.

Add const-class/jumbo.

I neglected to include this one in my original list of new opcodes.

Change-Id: Ia59b4b2f21516d851f0398361eb5db1cb413aaab

Merge "Add the new jumbo opcodes to dx...almost." into dalvik-dev

Two patches.

Patch 1a+1b: Set capabilities sooner.

(cherry-pick from gingerbread I22fde728bd5d65774f8fdf1fa45956fe18358c4c)
(hand-pick from gingerbread Ief58bdfff2cb82d7824ef796c2c1031f525f6ee9,
 plus minor tweak to avoid altering the API)

Patch 3: If there's an error dropping privileges, abort.

(cherry-pick from gingerbread I85ce12e93cb8c297add756dc3b872b8346eda00b)

Bug 3176774

Change-Id: If8285d7bfd5a466bd77c0f7ffadf1bf96d31db06

Merge "Track change in libcore/NativeCode.mk." into dalvik-dev

Track change in libcore/NativeCode.mk.

Bug: 2281992
Change-Id: Ibfb877bc78396bc0e947ae2f8f86e484843f07de

Add the new jumbo opcodes to dx...almost.

This change adds the new opcodes while simultaneously preventing
them from actually being emitted, the prevention being controlled
by a new flag in InsnFormat.

Empirically speaking, we already have latent demand for the new
opcodes -- specifically because they allow for wider register
references than their wee companions -- and so we can't actually
enable their generation until the VM is prepared to execute them.

If you're wondering why dx without the new opcodes doesn't crap out on
the register references in question, it's because there's code in dx
which will expand an instruction that has non-fitting register
references into a sequence of two or more instructions, where it
shuffles values into and out of usable registers before and/or after
the instruction. When we turn on the jumbo opcodes, at least some
of these register shuffles will immediately get to go away.

Change-Id: I3f921ab07efa4944d7526fa48534d69f508ac249

Minor tweaks and clarification.

Change-Id: I861c2d65fea468fd1f085d845981b1cd9d98d3a8

Another bit of cleanup.

Making it a little easier to have more than 256 opcodes.

Change-Id: I050050f2b6078407dde4d4f214dec2c1a331000c

Move some verifier stuff around.

Once upon a time we started down the road of "just in time" register
map generation, which was intended to save flash and RAM storage by
generating register maps for methods as the GC needed them (rather than
doing them all up front, or on first load of a class).  This required
a lot of duplication of code, and in the end just wasn't worth it.

This removes the (#ifdefed-out) partial implementation.  Some functions
that were moved into VerifySubs to be shared with RegisterMap.c are
moved back to their previous homes.

Some temporary VERIFIER_STATS stuff is also getting checked in (#ifdefed
out).

Added an assert, tweaked a couple of comments.  No changes in behavior
are expected.

Change-Id: I20b915992add9906cb3638ac9432c910443a9a47

Merge "Use the static opcode chains in dx." into dalvik-dev

Merge "Parameterize instance counting to include subclasses." into dalvik-dev

Use the static opcode chains in dx.

This removes the need to iterate over all possible opcodes looking for
family/format matches whenever the need arises to rewrite an
instruction with a new opcode. This should speed dx up at least a
little, though I don't know if it will be measurable. It's certainly
cleaner and a bit simpler, though.

Change-Id: I779f19cb1249d30f6886faf76670ae37d5dfc402

Parameterize instance counting to include subclasses.

Change-Id: Idf54343a6a587e512833bbacbd0f7290adf8517e

Merge "Start including the "next opcode" in Dop instances." into dalvik-dev

Merge "Fix CloseGuard issue in test 087." into dalvik-dev

Fix CloseGuard issue in test 087.

Need to explicitly close the DexFile.

Change-Id: I15ec8550d3991cf492fbd20c87cb9408d205dd7f

Merge "Rename wrap/unwrap --> box/unbox" into dalvik-dev

Rename wrap/unwrap --> box/unbox

Use the correct term when moving primitive values in and out of
their parallel reference types.

Also, turn off the verifyCount check in dvmInvokeMethod unless
assertions are enabled.  The verifier guarantees this.

Change-Id: I47629835784b5e770089ab3ca5410ee1c42820d9

Start including the "next opcode" in Dop instances.

Nothing's using it yet, though. Coming soon!

Change-Id: Ide34647fce6ad55fe52c8f6012145b724c134799

Merge remote branch 'goog/dalvik-dev' into dalvik-dev-to-master

Merge "More prep work for new opcodes." into dalvik-dev

am d325011f: Shift register index tests to static pass.

* commit 'd325011fc98e0f1179d467bbc284cccea72f560b':
  Shift register index tests to static pass.

Shift register index tests to static pass.

This rather hefty change moves the range tests on register index values
from the code-flow pass to the earlier static analysis pass.  The idea
is to test everything up front so that we don't have to do a bounds
check every time we get or set a register value during verification.

This allowed some simplification in the code-flow pass, since get/set
of a register no longer needs to have the method register count passed
in, and can no longer fail due to bad input.

As part of doing this, some of the static verification code was
cleaned up, e.g. the instruction decoding is now only done in one place.

This had no apparently effect on performance on nexus one -- verify+opt
of the bootstrap classes takes the same amount of time.  However, it
does reduce the compiled size of the humongous instruction verification
method by about 10%.

Also, cleaned up some instruction format stuff (e.g. removed 3rfs).

Bug 2534655.

(cherry-pick from dalvik-dev)

Change-Id: I1b220f4e97b1214ed575470695c52e1bd64d5137

More prep work for new opcodes.

The opcode-gen script now expects there to be up to 65536 opcodes, and
it generates opcode chain information. The chaining info isn't used
yet, but eventually it will get hooked into the instruction selection
logic in dx, meaning that dx will no longer have to do relatively
slower opcode searches; the right "next" opcode will have been
staticly generated and compiled in.

I also added a helpful generated comment in RopToDop, which indicates
which opcodes are the ones that *won't* be found by chaining, that is,
which ones are the starts of chains. This is left as a comment and not
code, though, since there are lots of quirks with how these get hooked
up. I hope to make this cleaner at some point, but today's not the day
for it.

Change-Id: I11da833cc57b383733743114c0f3e0e64903982d

Line width / spacing tweak.

Change-Id: Idf9c4f56b24e2b150c519f8ed140650183b47a88

Improve JNI failure logging.

Removed a couple of LOGD warnings.  Added additional detail to the
corresponding exception messages.

Bug 3158451.

Change-Id: I3d1d4e6188f364f592bf396d23c5e7e6da2fe65f

Merge "Shift register index tests to static pass." into dalvik-dev

Merge remote branch 'goog/dalvik-dev' into dalvik-dev-to-master

Change-Id: I0731a0f623694d15d311dae1450a50e105905421

Shift register index tests to static pass.

This rather hefty change moves the range tests on register index values
from the code-flow pass to the earlier static analysis pass.  The idea
is to test everything up front so that we don't have to do a bounds
check every time we get or set a register value during verification.

This allowed some simplification in the code-flow pass, since get/set
of a register no longer needs to have the method register count passed
in, and can no longer fail due to bad input.

As part of doing this, some of the static verification code was
cleaned up, e.g. the instruction decoding is now only done in one place.

This had no apparently effect on performance on nexus one -- verify+opt
of the bootstrap classes takes the same amount of time.  However, it
does reduce the compiled size of the humongous instruction verification
method by about 10%.

Also, cleaned up some instruction format stuff (e.g. removed 3rfs).

Bug 2534655.

Change-Id: I3c2a5877bca5ddc3d794b61a46b95a7e5a3c233f

Merge "Rework the bytecode format file and parser." into dalvik-dev

Rework the bytecode format file and parser.

This change adds a set of "format" commands to the bytecode.txt file
and prefixes each bytecode definition with an "op" keyword. The new
parser script understands both commands (though it mostly ignores the
"format" ones) and is now a little less wedded to the idea that there
can only be 256 opcodes.

This all is in preparation for (a) adding new opcodes, and (b) making
the opcode/instruction fitter a little more efficient.

Change-Id: I1b4e7274da06b197536823148d91f426d049ec19

Merge "Remove allocation limit checking." into dalvik-dev

Remove allocation limit checking.

Change-Id: Ie9a23da2baf201c50cad5ba0d0992cec9bcace54

Merge "JIT - support for return-void-barrier [Issue 2992352]" into dalvik-dev

Merge "HPROF is here to stay, make WITH_HPROF the default." into dalvik-dev

HPROF is here to stay, make WITH_HPROF the default.

Change-Id: Ic9947461daa21641fd9d34d52b6c7998716d8ab2

JIT - support for return-void-barrier [Issue 2992352]

Slight reworking of the memory barrier instruction generation to
generalize it, and then add "dmb st" for the new return-void-barrier
instruction.

Change-Id: Iad95aa5b0ba9b616a17dcbe4c6ca2e3906bb49dc

Always dump blocks in label order.

This removes some cases of spurious test failure. Also did some
minor whitespace and commenting cleanup while I was in the territory.

Change-Id: I6b8f6d0c340625c31bde78394e77abf429367af3

Merge "Check that the debug registry has been started before visting it." into dalvik-dev

Merge "Resume all threads after performing an HPROF dump." into dalvik-dev

Check that the debug registry has been started before visting it.

Change-Id: I54605ebcb9a07846bbefc61ea48ba9e148a202fb

Resume all threads after performing an HPROF dump.

Change-Id: I83df8359a5d57e6b7cd79d75acc979024e50effb