Merge "Share *_OUT_TESTCASES environment variables with TF"

Merge "Don't build tests in normal builds"

Merge "releasetools: Fix a bug in ReviseStashSize()."

Share *_OUT_TESTCASES environment variables with TF

Instead of having test tools search the OUT_DIR for the
testcases folders (of which there can be multiple different
targets), let's have these variables become part of the runtime
environment after a developer has run lunch.

Bug: 35322559
Test: . build/envsetup.sh ; lunch ; printenv | grep TESTCASES
Change-Id: Ic4addc2b9727ff717b2e595b9be224650e2f1b1d

Merge "fat16copy: Allow to copy files to an existing directory."

Merge "Disble CFI for ARM32 processes."

releasetools: Fix a bug in ReviseStashSize().

We check the needed stash size in ReviseStashSize(), and may not
generate a stash command if it would exceed the max allowed size. This
CL fixes a bug when skipping a stash operation: we shouldn't update the
'stashes' map if a stash command won't be generated.

Bug: 35313668
Test: Successfully generate the package that was failing due to the bug.
Change-Id: If0a3a5fadda9b4a4edad66a2a5826b5f978400ae

Merge "Include the LOCAL_REQUIRED_MODULES when packaging."

fat16copy: Allow to copy files to an existing directory.

This patch re-uses existing directories when copying directories,
allowing to copy files to a directory previously created.

Bug: 34811400
Test: fat16copy.py fat.bin a/b/foo; fat16copy.py fat.bin c/d/foo

(cherry-picked from 0af24a27a8d0dc7e1782f36a5a9963021ff8b3f6)

Change-Id: I283184da18f3c4951d6c84aafa4185074791acd2

Merge "Update CleanSpec.mk for the common testcase directories."

Merge "Add support for preopted app images"

Update CleanSpec.mk for the common testcase directories.

Fix an issue with incremental builds and the new common
testcase directories.

Bug: None
Test: Removed https://android-review.googlesource.com/#/c/234478/
      then ran `m cts-platform-version-check` then reapplied the
      change to verify the failure. Then applied this new change
      to verify the problem was resolved.

Change-Id: I77529021e852af35571fb99537d87100010b47af

Add support for preopted app images

Enable iff WITH_DEXPREOPT_APP_IMAGE is true.

Test: Clean + build with the flag on and off. Tested Sailfish
booting.

Bug: 34927277

(cherry picked from commit e8ab2a71d7bff1047c3d0497feba6bdcc02b8277)

Change-Id: I63f98a85c69d99746b11bb6e85c23cf5e48910cf

Merge "Output *TS testcases to their own subdir in the common testcase folders."

Merge "Remove mk file parser variables that are no longer required by system/bt"

Merge "Sort clear_vars.mk again"

Sort clear_vars.mk again

Test: none
Change-Id: Id776e81977695c4b488f44b155f2c098d5f8b61a

Remove mk file parser variables that are no longer required by system/bt

* Removed BLUETOOTH_HCI_USE_MCT
* Removed BOARD_BLUETOOTH_BDROID_HCILP_INCLUDED

Bug: 35203653, 34951912
Test: Code compilation, no user visible effects
Change-Id: Ic575d3a0fac541da3e70543d0f144ea4792bc058

Merge "Fix "Nothing to be done" messages when launching soong_ui"

Fix "Nothing to be done" messages when launching soong_ui

When specifying multiple arguments to make, we were getting messages
about nothing to be done:

m -j USE_SOONG_UI=true checkbuild tests cts blueprint_tools
...
make: Nothing to be done for `tests'.
make: Nothing to be done for `cts'.
make: Nothing to be done for `blueprint_tools'.

Test: m -j USE_SOONG_UI=true blueprint_tools libc adb
Change-Id: Id448bf0e09736fcd92ba058aec7ce556f6f778a3

Disble CFI for ARM32 processes.

This CL disables CFI for 32-bit ARM processes, which is broken due to
a compiler error in the most recent version of clang.

Bug: 35157333
Test: ENABLE_CFI=true m -j40 does not enable CFI for 32-bit processes
Change-Id: I6a6e1d14c8365da1056b4cbccad11ef2f15c70b2

Output *TS testcases to their own subdir in the common testcase folders.

Instead of dumping all *TS testcases into the common testcase
directory directly, place them all in their own subdirectory.

Bug: 35153177
Test: `make cts -j` and checked the contents of both:
out/host/linux-x86/testcases/ &
out/host/linux-x86/cts/android-cts/testcases/

Change-Id: I22a768dba58d40be1e61885534fb813e7ff08c99

Merge "Output *TS testcases to common testcase folders."

Merge "Add RenderScript Toolchain information to Soong."

Merge "releasetools: Support generating downgrade A/B OTAs."

Output *TS testcases to common testcase folders.

Aggregates the different *TS testcases into two common folders,
one under each the host and product hierarchies.

Bug: 34715822
Test: `make cts -j` and checked the contents of both:
out/host/linux-x86/testcases/ &
out/host/linux-x86/cts/android-cts/testcases/

Change-Id: I7d5201998ddcb011ecc687c272a0d0a36da248b7

releasetools: Support generating downgrade A/B OTAs.

We already support generating downgrade OTAs for non-A/B devices (with
mandatory data wipe), but we have missed the --downgrade flag in A/B OTA
path.

This CL factors out the function that writes the downgrade metadata, and
fixes the path for generating A/B OTAs.

Bug: 35094540
Test: Generate incrementals with --downgrade for A/B and non-A/B OTAs.
Change-Id: I30b9bf83e69e8aba3be666507681b555db6ab743

Merge "releasetools: Pack the offset/length for metadata."

Merge "Add USE_SOONG_UI to trigger soong_ui in Make mode"

Add USE_SOONG_UI to trigger soong_ui in Make mode

Test: USE_SOONG_UI=true m -j
Change-Id: Ic7a0b4e0881757b0324722d7d316fb8d13dabd9b

Merge "Create static archives in temporary file"

Merge "Add c_std and cpp_std properties."

Merge "Revert "Remove legacy-test from TARGET_DEFAULT_JAVA_LIBRARIES""

Revert "Remove legacy-test from TARGET_DEFAULT_JAVA_LIBRARIES"

This reverts commit 01fc887a07ed8d07f6e7cd75a812b90956543338.

A number of build breakages occurred which were not caused by presubmit checks.

Change-Id: I1351dba594c8a8b210416f75a67c68554d5b9372

Merge "Remove legacy-test from TARGET_DEFAULT_JAVA_LIBRARIES"

Merge "releasetools: Fix the bug when generating care_map.txt."

releasetools: Fix the bug when generating care_map.txt.

Commit f1a13180dba9c0145ac7bec8371340ae303c81c1 intended to remove the
verity blocks from care_map.txt, but it added new code without removing
the old one. This leads to a malformed care_map.txt and causes
update_verifier failure.

Bug: 34391662
Test: 'm -j dist' gives a TF.zip with 4-line META/care_map.txt (as
      opposed to a 6-line file).

Change-Id: I7ff1aa525795c4b049af54c1755b0f0ea84f7e0e

releasetools: Pack the offset/length for metadata.

For streaming OTAs, we will also need the info in the metadata entry
(META-INF/com/android/metadata). Compute and pack its offset/length
values into 'ota-streaming-property-files'.

Bug: 34986195
Test: Create an OTA package and check the offset/length values.

Change-Id: Id150700f2bc9bff02467cda9fe8927c8a374412a

Add c_std and cpp_std properties.

Test: Checked showcommands ouput for each setting.
Bug: None
Change-Id: Ibc25f3977eaaecfd1fb99a27c9e15acae0ec4106

Merge "Disable CFI on Mips and add -march to linkflags on ARM."

Create static archives in temporary file

Creating static archives is often a multi-command process due to
adding whole static libraires or hitting command line length limits.
If one of the intermediate commands fails, the output file may
already exist.  Unlike make, ninja has no option to delete output
files on failed builds, instead assuming all build commands will
produce their output file atomically
(https://github.com/ninja-build/ninja/issues/1135).

Change the static library rules to generate to a temporary file
that is then atomically moved into place as the output file.

Test: m -j checkbuild tests cts
Change-Id: I4faf269f0c8e313c738154870a5aa0b4774a72bc

Merge "Remove verity blocks from care map"

Add RenderScript Toolchain information to Soong.

Test: make -j64 from top of the tree.

Change-Id: I230f8d1265a71344bba8883ee9bdf2de98fcd41f

Merge "Switch to clang-3688880."

Disable CFI on Mips and add -march to linkflags on ARM.

Mips toolchain does not have ld.gold.
ARM change is a workaround for LLVM r290384.

Bug: 33678192
Test: make ENABLE_CFI=1
Change-Id: I77a127e0b472d5da10bf45a2983527a714339cb8

Merge changes Idd6b24a1,I4323acdb

* changes:
  Remove -host
  Add libext2_misc to otatools package

Remove -host

Bug: 34689537
Change-Id: Idd6b24a14caa863857303633ba15bd3b41a3a624
(cherry picked from commit b24470e9890fbbba5a56a88bba353191cb00700b)

Add libext2_misc to otatools package

Bug: 34689537
Change-Id: I4323acdbadb1c4c8faa6dbb17a79bce72c063407
(cherry picked from commit 3d1ce3a6400852eb9f3e687e6286f31b301fc766)

Merge "releasetools: Prepend 'ota-' to 'streaming-property-files'."

releasetools: Prepend 'ota-' to 'streaming-property-files'.

'streaming-property-files' is a property related to the OTA package
itself. Prepend 'ota-' to make it consistent with others like
'ota-type' and 'ota-required-cache'.

Bug: 34852392
Test: Generate an A/B OTA package and check METADATA entry.
Change-Id: Ia681e6e19ff509e6da0d8718933b42aac997e1cf

Switch to clang-3688880.

Bug: http://b/31532493
Test: Manual validation.
Change-Id: I7c415a1008c368a4b65bac2b5cd3ded3f4bb9de0

Merge "Fix symbol zip creation with OUT_DIR outside source"

Fix symbol zip creation with OUT_DIR outside source

Bug: 34818739
Test: OUT_DIR=/... m -j /.../aosp_arm64-symbols-eng.dwillemsen.zip
Change-Id: I1d0d3a9f70d3457a536dee6fc25f49a16c353ae8

Merge "SELinux: split property_contexts into platform and non-platform components."

SELinux: split property_contexts into platform and non-platform components.

Bug: 33746484
Test: Successfully boot with original service and property contexts.
      Successfully boot with split serivce and property contexts.

Change-Id: I1932684f600dd34d5136e72ac053fae13f0c3eba
Signed-off-by: Sandeep Patil <sspatil@google.com>

Merge "Put back LLVM_PREBUILTS_BASE."

Put back LLVM_PREBUILTS_BASE.

Without this, WITH_TIDY is disabled because
PATH_TO_CLANG_TIDY uses LLVM_PREBUILTS_BASE.

Test: build with WITH_TIDY=1
Change-Id: I607ae45550f4574b3cee8e91c3d5b7eaa5f0a96c

Merge "Add lshal to embedded.mk."

Add lshal to embedded.mk.

Test: make -j64 and flash the device and
ensure that lshal is available on the device.

Bug: 34712252
Change-Id: If61047afb27f9da9f8825ce18e2dfc0b3dec10e2

Merge "Makefile: Pack libsparse-host.so into otatools.zip."

Makefile: Pack libsparse-host.so into otatools.zip.

delta_generator has a dependency on that.

Bug: 34731113
Bug: 34723547
Test: m otatools-package
Change-Id: I70752a8c283bf98cb6106d3999515d0fd01f43b2

Merge "Revert "Switch to clang-3625443.""

Revert "Switch to clang-3625443."

This reverts commit 296af27303646fc7cd9e59f63d968f8513b79a8f.

Reason for revert: <INSERT REASONING HERE>

Change-Id: I524c2c89004c79352bf2be3727c7ddcceca9b2e7

Merge "Switch to clang-3625443."

Remove verity blocks from care map

When reading /dev/block/dm-X, update_verifier isn't able to access the
verity meta blocks at the end of the system/vendor partition. So we need
to remove these block ranges from the care_map.

Bug: 34391662
Test: care_map generated successfully without verity meta blocks
Change-Id: Id57c602b7e5fd1b0c9d1e1fe5fcdd74e85b6b255

Merge "Revert "Revert "releasetools: Generate streamable A/B OTA packages."""

Merge "Prevent abuse of property overrides"

Revert "Revert "releasetools: Generate streamable A/B OTA packages.""

This reverts commit ea4325baf8a673e869cac8981781cf57c4821cb5 to re-land
commit ef1bb4360f0b9ccc54afd7a39077b7ca4d8a9a36. It fixes the bug when
handling a package without care_map.txt (e.g. dm-verity not enabled).

In order to support streaming A/B OTA packages, we pack
payload_properties.txt and care_map.txt in ZIP_STORED mode. These two
entries along with payload.bin (already in ZIP_STORED prior to this CL)
can be fetched directly based on the offset and length info.

We write the offset and length info into the package metadata entry
(META-INF/com/android/metadata), which can be parsed by the OTA server.

payload_properties.txt and care_map.txt are usually less than 1-KiB. So
the change only incurs marginal size increase.

Bug: 33382114
Test: Generate an A/B OTA package. Verify the 'streaming-property-files'
      entry in the metadata file.
Test: Generate an A/B OTA package on a device with dm-verity not enabled.

Change-Id: I3469c8b62385a1fc58b4fb82e3f9d4690aef52ba

Prevent abuse of property overrides

To prevent abuse of PRODUCT_*PROPERTY_OVERRIDES and
ADDITIONAL*PROPERTIES, the following rules should be applied.

- Mark PRODUCT_*PROPERTY_OVERRIDES readonly after reading product
 specs.
- Disallow any changes on ADDITIONAL*PROPERTIES from product specs
 and BoardConfig.mk.
- Mark ADDITIONAL*PROPERTIES readonly before reading Android.mk
 files.

Test: building succeeded on marlin-userdebug.
Bug: 34116668
Change-Id: I93d8de086ec85ba787165a156bdcc7df04310be1
(cherry picked from commit 294286d95c7647c1c20c3537f065c21e85371695)

Merge "Revert "releasetools: Generate streamable A/B OTA packages.""

Revert "releasetools: Generate streamable A/B OTA packages."

This reverts commit ef1bb4360f0b9ccc54afd7a39077b7ca4d8a9a36.

It has broken the builds that don't have care_map.txt entry.

Change-Id: I343455e66be5e79457968dfc2813c7c1c234b6dc

Merge "releasetools: Generate streamable A/B OTA packages."

Merge "Enable PRODUCT_ART_USE_READ_BARRIER by default."

Merge "Add dexoptanalyzer to art PRODUCT_PACKAGES"

Merge "Force Thumb for CFI targets."

Merge "Run $(AR) with LLVMgold.so plugin for CFI targets."

Enable PRODUCT_ART_USE_READ_BARRIER by default.

Bug: 34084559
Bug: 34576638
Test: Boot gce_x86_phone on master
Change-Id: If284beb9551e55a4a698679399feb26e4acfd3d9

Run $(AR) with LLVMgold.so plugin for CFI targets.

Bug: 34623182
Test: add LOCAL_SANITIZE:=cfi to some static libraries under libstagefright
Change-Id: I4f0d8cbd794e0ce4737c59a4617e93c7a5defec1

Switch to clang-3625443.

Bug: http://b/31532493
Test: Manual validation.
Change-Id: I0490b60c996052669fbfd545d7c3eed17fdd3547

Force Thumb for CFI targets.

Bug: 22033465
Test: bionic device tests
Change-Id: I66eb83bc7153cc34dde4fa1abfa861182a10f1fa

Remove legacy-test from TARGET_DEFAULT_JAVA_LIBRARIES

Bug: 30188076
Test: make checkbuild
Change-Id: I8cc9d4f7aad5d9c0fb0a52a5f5d430c6d28050ce

releasetools: Generate streamable A/B OTA packages.

In order to support streaming A/B OTA packages, we pack
payload_properties.txt and care_map.txt in ZIP_STORED mode. These two
entries along with payload.bin (already in ZIP_STORED prior to this CL)
can be fetched directly based on the offset and length info.

We write the offset and length info into the package metadata entry
(META-INF/com/android/metadata), which can be parsed by the OTA server.

payload_properties.txt and care_map.txt are usually less than 1-KiB. So
the change only incurs marginal size increase.

Bug: 33382114
Test: Generate an A/B OTA package. Verify the 'streaming-property-files'
      entry in the metadata file.

Change-Id: I04504e834eb36e18876c5f5a5a09289ee05c6f9a

Merge "Hide CFI behind a global flag."

Merge "Hide CFI behind a global flag."

Merge "Support native test prebuilts for X86+ARM builds"

Hide CFI behind a global flag.

This CL ensures that locally enabling CFI in a .bp file is not honored
unless it is enabled globally using ENABLE_CFI=true first, effectively
hiding it behind a flag.

Bug: 30227045
Bug: 22033465
Test: m -j40 works and device boots
Test: cfi is correctly honored only when the global flag is set.
Change-Id: Id026302e7f714b90a9e2c996f7a9314f534f90c2

Merge "Don't pass empty arguments to ninja"

Don't pass empty arguments to ninja

Passing an empty argument in argv to ninja results in an error:
ninja: error: empty path

Don't add jarg to the argument list if it is empty.

Bug: 34392351
Test: m -j
Change-Id: I39c8998c79b09835650628e1413ae7625cdbc555

Hide CFI behind a global flag.

This CL ensures that the LOCAL_SANITIZE=cfi is not honored unless it
is enabled globally using ENABLE_CFI='true' first. This allows CFI to
be hidden behind a flag.

Bug: 30227045
Bug: 22033465
Test: m -j40 works and device boots
Test: cfi is correctly honored only when the global flag is set.
Change-Id: If4508ba448bd4260020483f9c11ee849bb419713

Merge "Convert -j to a reasonable parallelism for kati"

Merge "Add crash_dump and tombstoned products."

Convert -j to a reasonable parallelism for kati

When running makeparallel in non-ninja mode, which is used when running
kati with USE_GOMA=true, convert -j to a reasonable parallelism value
the same way ninja does.

Bug: 34392351
Test: make -C build/make/tools/makeparallel makeparallel_test
Change-Id: I9aee4dd2a3b0f2b1c2c10087be83f7b2b06f4368

Merge "Revert "SELinux: split property_contexts into platform and non-platform components.""

Revert "SELinux: split property_contexts into platform and non-platform components."

This reverts commit c5ffdd4bb44bae3ad67ecea745f79b0a05015708.

Change-Id: I4c5fa6c68cbf0124117153660a2fd363f72388b6

Merge "SELinux: split property_contexts into platform and non-platform components."

SELinux: split property_contexts into platform and non-platform components.

Bug: 33746484
Test: Successfully boot with original service and property contexts.
      Successfully boot with split serivce and property contexts.

Change-Id: I1f218ca842407d30650b8987ded6679672171091
Signed-off-by: Sandeep Patil <sspatil@google.com>

Merge "SELinux: split service_contexts into platform and non-platform components."

Support native test prebuilts for X86+ARM builds

This allows Soong native tests to be built and installed on these
builds.

Bug: 32177952
Test: m -j bionic-unit-tests
Change-Id: Ifbe39ba7a8991cb87d10c5da679992cf3065444e

Add crash_dump and tombstoned products.

Bug: http://b/30705528
Change-Id: I3f6c98f6f907f93e082db085a122557fc8488c83

Add dexoptanalyzer to art PRODUCT_PACKAGES

Test: build & boot
Bug: 32871170
Change-Id: Iae89984ef3df253c75f400e68f00b24fcc2b82d5