Merge "ART: Fix assumption in class profile collection" into nyc-dev
am: b833ea2d5c

* commit 'b833ea2d5cb2724080e89a6abe7ef57f6f21a6ab':
  ART: Fix assumption in class profile collection

Merge "ART: Fix assumption in class profile collection" into nyc-dev

Use PwriteFully and write image header last
am: dba5a70977

* commit 'dba5a70977da0a28cec2bfc8261d52a177738477':
  Use PwriteFully and write image header last

Use PwriteFully and write image header last

Prevent corrupted images if dex2oat gets killed or if the image
writer is interrupted during writing.

Bug: 22858531
Bug: 27561308

Change-Id: Ia882d23d672f93c90733fc59a1f6508b0985a011

ART: Fix assumption in class profile collection

The dex cache may contain erroneous classes. Filter, instead of
DCHECK.

Bug: 27500691
Change-Id: Ic99bca3a7e54a5e7893c801ec5ac92cbf690cd67

Use per character suffix for multi image
am: 05752398db

* commit '05752398db7f25d7892b62cb39615eee468f1db8':
  Use per character suffix for multi image

Merge "ART: Enable native stack dumping on timeout"
am: 2048b01dfe

* commit '2048b01dfec8877d672a4da41a158f68b12b5337':
  ART: Enable native stack dumping on timeout

Merge "ART: Use optimizing compiler in image_test"
am: fa2cda44cb

* commit 'fa2cda44cb53f01a2bbfd410724a4bc314a236d1':
  ART: Use optimizing compiler in image_test

Merge "ART: Enable native stack dumping on timeout"

Merge "ART: Use optimizing compiler in image_test"

Merge "Implement the 1.8 unsafe memory fences directly in HIR."
am: ab5b8941f0

* commit 'ab5b8941f095b1a4e8b1387b6f723d6ae550dbe6':
  Implement the 1.8 unsafe memory fences directly in HIR.

ART: Use optimizing compiler in image_test

Expose some compiler options so we can run the image test with
the optimizing compiler without running into a stack overflow.

Also allow a variable amount of threads in CreateCompilerDriver.
Use 16 as a middle ground on the host to speed up the otherwise
now slowed-down test.

Bug: 27240085
Bug: 27552475
Change-Id: I8db5055d32ae722c8f430903244faa9166cc4886

Merge "Implement the 1.8 unsafe memory fences directly in HIR."

Merge "ART: Fix missing include"
am: ef0119a0f3

* commit 'ef0119a0f329906ba1e8cbd8e53ce5a759fd4f99':
  ART: Fix missing include

Merge "ART: Write bit fields together in ComputeSpecialAccessorInfo()."
am: 19749b5fd0

* commit '19749b5fd0e217d23af4c3e996348e2a8ff406bc':
  ART: Write bit fields together in ComputeSpecialAccessorInfo().

Merge "ART: Fix missing include"

Merge "ART: Write bit fields together in ComputeSpecialAccessorInfo()."

Merge "Stop oat loading spam on host."
am: 702ace09bf

* commit '702ace09bf0fc869740482efe7c3e0db7a81894f':
  Stop oat loading spam on host.

Merge "Stop oat loading spam on host."

Stop oat loading spam on host.

Change-Id: I336669f49bfbfc76bb5e9d3b4f1738709e070b27

Merge "Mark DWARF lines in non-debuggable methods as "not a statement"."
am: b24457bace

* commit 'b24457bace8941392a4aeef5a7995bfd80daa235':
  Mark DWARF lines in non-debuggable methods as "not a statement".

Merge "Mark DWARF lines in non-debuggable methods as "not a statement"."

ART: Write bit fields together in ComputeSpecialAccessorInfo().

Avoid function calls between storing individual bit fields
to allow the compiler (gcc/clang) to merge those writes
together. Valgrind then marks the memory as "defined" while
individual bit field writes would leave it "undefined" and
later trigger the valgrind error:
  Conditional jump or move depends on uninitialised value(s)
on DCHECK()s using the bit fields.

Bug: 27552451
Change-Id: If6de5cbe231f99da0f974a0fc9a36c14e3dc071e

Merge "Handle unexpected cases in profile saver"
am: 5bdcdca7e4

* commit '5bdcdca7e4b3acc1ed8a7112a93c3f2da490b606':
  Handle unexpected cases in profile saver
  Update GetDexOptNeeded to handle different levels of compilation
  Record foreign dex files loaded by the app in the profile

Merge "Handle unexpected cases in profile saver"

Merge "Update GetDexOptNeeded to handle different levels of compilation"

Merge "Record foreign dex files loaded by the app in the profile"

Merge "Ignore 145-alloc-tracking-stress failures with JIT and CC."
am: a9778b24bf

* commit 'a9778b24bfb8007f20caff7a082e8b4531a14dae':
  Ignore 145-alloc-tracking-stress failures with JIT and CC.

Merge "Ignore 145-alloc-tracking-stress failures with JIT and CC."

Ignore 145-alloc-tracking-stress failures with JIT and CC.

This run-test fails also with JIT compiling on the
concurrent collector configuration; disable it for now.

Bug: 27467554
Change-Id: I551008ff5b70c83706287039092f5c9e26584227

ART: Enable native stack dumping on timeout

To better investigate timeout in tests, allow dumping of native
stacks.

Bug: 27508829
Change-Id: Icf5420cde386cd80a1f45400c86545c89b1e2cc2

Use per character suffix for multi image

E.g. if you pull the oat files from the device, you get oat files
with the following names:
system@framework@boot.art

But the name stored in the image header is:
boot.art

So we need to append system@framework@ as a file name prefix to each
image file to get the actual one.

Required for adding oatdump support for app images.

Bug: 22858531
Bug: 27408512

Change-Id: I93dd3f16652400f232e6175670fcd572395879e0

Merge "Fix valgrind errors with MemMap::Sync()."
am: c71cc35661

* commit 'c71cc356618b96a215614bc9a89f9429a792efba':
  Fix valgrind errors with MemMap::Sync().

ART: Fix missing include

The SwitchTable needs a function from an inl file.

Change-Id: I624d71e0c0efc0c87150d7ef3be71e0b4506c75a

Merge "Fix valgrind errors with MemMap::Sync()."

Fix valgrind errors with MemMap::Sync().

This fixes valgrind-test-art-host-gtest-oat_test and one error in
valgrind-test-art-host-gtest-image_test32.

Valgrind doesn't like it if an address range that contains noaccess or
uninitialized memory is passed to msync(). Temporarily lift the noaccess
protection of the lower-end redzone because msync accepts a page-aligned
base address only and exclude the higher-end noaccess redzone from the
range.

Bug: 27552451
Bug: 27384445
Change-Id: I8ccbd04c62eb30f6c6d5c732f1eb254fa09a417a

Delete alloc tracking map outside of critical section
am: 35fd969d66

* commit '35fd969d663f8f89ecdbdb14e52e4f03e37d3f86':
  Delete alloc tracking map outside of critical section

Fix allocation tracking race
am: 68d4c069f2

* commit '68d4c069f2920897cad2870a2257ed7af3c1db96':
  Fix allocation tracking race

Delete alloc tracking map outside of critical section

There can be lock order violations otherwise due to runtime shutdown
lock that may get acquired in the condition variable destructor.

Bug: 27506909

(cherry picked from commit 0b8b4a609120b90081d898dbf3c26f68fe80de96)

Change-Id: I6972c450db8856e30c13e27aea94b01943618f64

Fix allocation tracking race

Need to instrument the stubs before calling
Heap::SetAlloctrackingEnabled or else we can get this DCHECK failing
DCHECK(!IsAllocTrackingEnabled())

Bug: 27506909

(cherry picked from commit 16e51beb9a771ffe7be833173e3dd5f2dac63892)

Change-Id: I45d6f716ed55371d41e7b7673209166401dbc62e

Implement the 1.8 unsafe memory fences directly in HIR.

Rationale:
More efficient since it exposes full semantics to
all operations on the graph and allows for proper
code generation for all architectures.

bug=26264765

Change-Id: Ic435886cf0645927a101a8502f0623fa573989ff

Merge "ART: Use the right ElfBuilder for oatdump symbolizer" am: 2f6ad55a3b
am: 6e1564cfdf

* commit '6e1564cfdf4f6b332ee6d156de6ff9712655fff6':
  ART: Use the right ElfBuilder for oatdump symbolizer

Merge "ART: Use the right ElfBuilder for oatdump symbolizer"
am: 2f6ad55a3b

* commit '2f6ad55a3bfa16867146233e1eb8b822b1daab4b':
  ART: Use the right ElfBuilder for oatdump symbolizer

Merge "ART: Use the right ElfBuilder for oatdump symbolizer"

Handle unexpected cases in profile saver

There are some unexpected cases that should not occur in a normal run.
Log warnings but avoid crashing if:
- dex location is empty
- we cannot figure the real paths of the locations.

Bug: 27532729

(cherry picked from commit 1fae45f7d777e3971b916dda531c8648304866c8)

Change-Id: I9e8f4fc2da49f47dab113795ac264c6db9b691de

Update GetDexOptNeeded to handle different levels of compilation

extract-only or profile-guide oat files are considered up to date from
runtime perspective as they don't necessary need (re)compilation or
relocation. However, it is useful to return a more refined code to the
caller so that they can decide whether or not that's good enough.

For example, the package manager might decide to still compile a
previous extract-only and during profile guide compilation we should
always recompile even if we have an oat file.

Note that dex files compiled via ClassLoaders will still be fully
compiled.

This change introduces:
- a new key in the oat header kCompilationType to capture what type of
compilation has been made. Note tha the key might be missing. The
distinction is needed in order to avoid recompilation of a previous
fully compiled file during profile guide compilation analysis.
- a new argument to GetDexOptNeeded which tells the runtime to cast its
opinion whether or not the oat file is up to date relative to the
desired target type of compilation.

Bug: 27189430

(cherry picked from commit d91b8a2464b99625efe03caf7d30c8372bc378ed)

Change-Id: I6ce450350f388451f7bab7d285c1846d539a4b13

Mark DWARF lines in non-debuggable methods as "not a statement".

This is a hint to the debugger that breakpoints and stepping
might not function as intended (since we have limited information).

Change-Id: I23c4a816182cc7548fcd69fbd00112225e7b1710

ART: Use the right ElfBuilder for oatdump symbolizer

We should not unconditionally output 32-bit ELF files.

Bug: 27293423
Change-Id: Ibbb74a7807b24c46cb23d7b5867936569424e8fe

Merge "Propagate InstructionSetFeatures to ElfBuilder." am: ce51701b06
am: 817808ea9d

* commit '817808ea9d06b979c95f37a17bca607d0b42f320':
  Propagate InstructionSetFeatures to ElfBuilder.

Merge "Propagate InstructionSetFeatures to ElfBuilder."
am: ce51701b06

* commit 'ce51701b0621754a81125df3ed62e07c0497cafd':
  Propagate InstructionSetFeatures to ElfBuilder.

Merge "Support multidex run-test with Jack" into nyc-dev
am: c721f65d8d

* commit 'c721f65d8df3a6021c4e248feba56fa36f7f640f':
  Support multidex run-test with Jack

Merge "More run-test with Jack" into nyc-dev
am: 13db05c735  -s ours

* commit '13db05c7356d5697a4f39e9edaacd0bd570871a6':
  More run-test with Jack

Merge "Propagate InstructionSetFeatures to ElfBuilder."

Merge "Support multidex run-test with Jack" into nyc-dev

Merge "More run-test with Jack" into nyc-dev

Merge "Revert "Suppress ArrayDequeTest#testForEachRemaining temporarily."" am: 60a765f678
am: 70f2fcaaff

* commit '70f2fcaaff5b5fa40e40e850be0682978b42808d':
  Revert "Suppress ArrayDequeTest#testForEachRemaining temporarily."

Merge "Revert "Suppress ArrayDequeTest#testForEachRemaining temporarily.""
am: 60a765f678

* commit '60a765f6781a59d782ebcf99691aa614b6e610d3':
  Revert "Suppress ArrayDequeTest#testForEachRemaining temporarily."

Merge "Revert "Suppress ArrayDequeTest#testForEachRemaining temporarily.""

Revert "Suppress ArrayDequeTest#testForEachRemaining temporarily."

This reverts commit 98c38e34357a73c46ad7a735dd23da0ba29a2963.

Fixed by commit 3de87b847fa94cce9beaf5b225404c1bc7ec475f.

Change-Id: If38f1e67dd8504055236bb8a9703d8c2eb61d16c

Propagate InstructionSetFeatures to ElfBuilder.

This is subset of CL171665 and it separates it into two.
It will be needed to generate .MIPS.abiflags ELF section.

Change-Id: I5557e7cb98d0fa1dc57c85cf6161e119c6d50a1a

Merge "Handle unexpected cases in profile saver" into nyc-dev
am: 26851843f3

* commit '26851843f38e3d5c1e418fdfdc785a2bae3f3486':
  Handle unexpected cases in profile saver

Merge "Handle unexpected cases in profile saver" into nyc-dev

Handle unexpected cases in profile saver

There are some unexpected cases that should not occur in a normal run.
Log warnings but avoid crashing if:
- dex location is empty
- we cannot figure the real paths of the locations.

Bug: 27532729
Change-Id: I2c9ee8d616378d1d6f771b071f61321a2916ce27

Merge "Re-enable test that was causing TimeoutExceptions on ARM64." am: dddb767f59
am: a06c72e2d8

* commit 'a06c72e2d80195f35ddf2f83d975dd20112ceab4':
  Re-enable test that was causing TimeoutExceptions on ARM64.

Merge "Re-enable test that was causing TimeoutExceptions on ARM64."
am: dddb767f59

* commit 'dddb767f59bd67bb9c3d4c38916f64a71f060e40':
  Re-enable test that was causing TimeoutExceptions on ARM64.

Merge "Re-enable test that was causing TimeoutExceptions on ARM64."

Re-enable test that was causing TimeoutExceptions on ARM64.

The libcore test libcore.java.lang.OldSystemTest#test_gc has
been failing with a java.util.concurrent.TimeoutException on
ART Builbot's ARM64 concurrent collector configuration.  No
longer ignore this failure to see whether recent changes
(namely https://android-review.googlesource.com/#/c/204125)
fixed the issue.

Bug: 26155567
Change-Id: I5cd3c3956cfd510bab1cb9d3b9479560f9703e6d

Support multidex run-test with Jack

Updates default-build script to compile multidex run-tests with
Jack. Such test needs a 'multidex.jpp' file specifying how to
partition classes in the output dex files (mainly how to stick some
classes in the classes.dex file and others in a classes2.dex file).

Bug: 19467889

(cherry picked from commit 4856ca7f652b889c176a2af747d5cc4b334fc1c6)

Change-Id: I056d49d50f62f9fadbc6749fb4b185d5bb3dea12

More run-test with Jack

Updates the following tests
* 004-ReferenceMap: updates expectations
* 004-StackWalk: updates expectations
* 089-many-methods: updates expectations
* 138-duplicate-classes-check2: add Jack support
* 454-get-vreg: updates expectations

Bug: 19467889

(cherry picked from commit c94ff128d770f5126d7685972b95a789c0b55cb0)

Change-Id: Ie9927201e45046d4b89a4b028d0844bf25831d0b

Merge "Fix lock order violation" am: 943a70f416
am: c94119227a  -s ours

* commit 'c94119227a955c9db9582cdd1d5efab0e05a0b90':
  Fix lock order violation

Merge "Try to reenable some libcore tests with CC." am: 4015a34900
am: c1c4f73141

* commit 'c1c4f7314119043e796881599865f63f6363216c':
  Try to reenable some libcore tests with CC.

Merge "Unsafe: Recognize intrinsics for 1.8 java.util.concurrent With unit test." am: 0310fb0279
am: 2fadae77e0

* commit '2fadae77e0293bcee73b2b8f5d92f9db19d3d9b3':
  Unsafe: Recognize intrinsics for 1.8 java.util.concurrent With unit test.

Merge "Add systrace logging to ScopedCodeCacheWrite" am: 9dd26b2e68
am: dcb5aca20f

* commit 'dcb5aca20fb670e9981af92c05060e8dcd80b364':
  Add systrace logging to ScopedCodeCacheWrite

Merge "runtime: Add CAS and fences to sun.misc.Unsafe" am: 83537c6e2f
am: 984ae7a1d8

* commit '984ae7a1d8a60542d310af557a06ca65f186d023':
  runtime: Add CAS and fences to sun.misc.Unsafe

Merge changes I70f61fe3,I00376b02 am: f81f596c58
am: 4f0f72a4c2

* commit '4f0f72a4c21af76daa8e086e73e8f542c271ffbe':
  Revert "ProfilingInfo roots should be visited by the declaring class."
  Revert "Query declaring class before querying IsNative."

Merge "Increase kDumpWaitTimeout 10x for target builds" am: 35e0cbce51
am: bde4b53454

* commit 'bde4b5345452ce473597df3a98b8f6ae10945f34':
  Increase kDumpWaitTimeout 10x for target builds

Merge "Don\'t use ScopedObjectAccess in Heap::DumpSpaces" am: e88430786e
am: 3cc0f1d8e9

* commit '3cc0f1d8e9689bada41ffb0412502b4286aeec99':
  Don't use ScopedObjectAccess in Heap::DumpSpaces

Merge "Fix lock order violation"
am: 943a70f416

* commit '943a70f416ba19b0b05265ecca526311a6ae330c':
  Fix lock order violation

Merge "Fix lock order violation"

Fix lock order violation

Release class linker lock before acquiring heap bitmap lock.

Bug: 27493510

(cherry picked from commit 064e9d401c49d3789b5deeeb6b423a4f551e4206)

Change-Id: I7809e0f591513b85d295d43e639152ce92984f9c

Fix lock order violation
am: 064e9d401c

* commit '064e9d401c49d3789b5deeeb6b423a4f551e4206':
  Fix lock order violation

Fix lock order violation

Release class linker lock before acquiring heap bitmap lock.

Bug: 27493510
Change-Id: I7809e0f591513b85d295d43e639152ce92984f9c

Add verification for image ArtMethod declaring classes
am: 03c1dd9858

* commit '03c1dd9858962071bf3f0c988abc39e0e6ed7a1e':
  Add verification for image ArtMethod declaring classes

Merge "Try to reenable some libcore tests with CC."
am: 4015a34900

* commit '4015a3490066c493424ff8c57d6b814cdc49f40c':
  Try to reenable some libcore tests with CC.

Merge "Try to reenable some libcore tests with CC."

Try to reenable some libcore tests with CC.

CL 204125 may have fixed them.

Bug: 26711853
Change-Id: I8c8052520982f80d8466922f3de6d3805073ae26

Add verification for image ArtMethod declaring classes

Try and see if any ArtMethods in the image have declaring classes
that are not marked in the heap live bitmap. Trying to mark these
would cause a SIGSEGV since the bitmap is read only.

TODO: Disable for performance.

Bug: 27493510
Change-Id: I231b07b84d98dcd7ee1557c18956c86264058ee1

Merge "Unsafe: Recognize intrinsics for 1.8 java.util.concurrent With unit test."
am: 0310fb0279

* commit '0310fb0279d283439633b7c32801f2bb9443dbe1':
  Unsafe: Recognize intrinsics for 1.8 java.util.concurrent With unit test.

Merge "Unsafe: Recognize intrinsics for 1.8 java.util.concurrent With unit test."

Merge "Add systrace logging to ScopedCodeCacheWrite"
am: 9dd26b2e68

* commit '9dd26b2e68ce2b153fc7c5c6b0ad6458a60ea6f5':
  Add systrace logging to ScopedCodeCacheWrite

Merge "runtime: Add CAS and fences to sun.misc.Unsafe"
am: 83537c6e2f

* commit '83537c6e2fe6518e0581a8466ef41e90ea7b5516':
  runtime: Add CAS and fences to sun.misc.Unsafe

Merge "Add systrace logging to ScopedCodeCacheWrite"

Add systrace logging to ScopedCodeCacheWrite

Shows if we are taking a long time to mprotect.

Bug: 27502458

(cherry picked from commit 462cd2cfa8c5fbb6548419eb8f27b448a12aca11)

Change-Id: Ic0f24641f5856b13f3b949dcd53dc01ec952d171

Merge "runtime: Add CAS and fences to sun.misc.Unsafe"

Merge changes I70f61fe3,I00376b02
am: f81f596c58

* commit 'f81f596c586dd0de32d336468e22e6fef8257f9b':
  Revert "ProfilingInfo roots should be visited by the declaring class."
  Revert "Query declaring class before querying IsNative."

Add systrace logging to ScopedCodeCacheWrite
am: 462cd2cfa8

* commit '462cd2cfa8c5fbb6548419eb8f27b448a12aca11':
  Add systrace logging to ScopedCodeCacheWrite

Unsafe: Recognize intrinsics for 1.8 java.util.concurrent
With unit test.

Rationale:
Recognizing the 1.8 methods as intrinsics is the first step
towards providing efficient implementation on all architectures.
Where not implemented (everywhere for now), the methods fall back
to the JNI native or reference implementation.

NOTE: needs iam's CL first!

bug=26264765

Change-Id: Ife65e81689821a16cbcdd2bb2d35641c6de6aeb6

Merge changes I70f61fe3,I00376b02

* changes:
  Revert "ProfilingInfo roots should be visited by the declaring class."
  Revert "Query declaring class before querying IsNative."

Add systrace logging to ScopedCodeCacheWrite

Shows if we are taking a long time to mprotect.

Bug: 27502458

Change-Id: Ib83aed3d15b252baaf8f0cffab6bf58d69471d64

Revert "ProfilingInfo roots should be visited by the declaring class."

This reverts commit 9a3be989d0aee1a6998e33813c7f70906d27f89a.

Superceded by CL 206308.

Bug: 27435111