Merge "Fix symbol zip creation with OUT_DIR outside source"

Fix symbol zip creation with OUT_DIR outside source

Bug: 34818739
Test: OUT_DIR=/... m -j /.../aosp_arm64-symbols-eng.dwillemsen.zip
Change-Id: I1d0d3a9f70d3457a536dee6fc25f49a16c353ae8

Merge "SELinux: split property_contexts into platform and non-platform components."

SELinux: split property_contexts into platform and non-platform components.

Bug: 33746484
Test: Successfully boot with original service and property contexts.
      Successfully boot with split serivce and property contexts.

Change-Id: I1932684f600dd34d5136e72ac053fae13f0c3eba
Signed-off-by: Sandeep Patil <sspatil@google.com>

Merge "Put back LLVM_PREBUILTS_BASE."

Put back LLVM_PREBUILTS_BASE.

Without this, WITH_TIDY is disabled because
PATH_TO_CLANG_TIDY uses LLVM_PREBUILTS_BASE.

Test: build with WITH_TIDY=1
Change-Id: I607ae45550f4574b3cee8e91c3d5b7eaa5f0a96c

Merge "Add lshal to embedded.mk."

Add lshal to embedded.mk.

Test: make -j64 and flash the device and
ensure that lshal is available on the device.

Bug: 34712252
Change-Id: If61047afb27f9da9f8825ce18e2dfc0b3dec10e2

Merge "Makefile: Pack libsparse-host.so into otatools.zip."

Makefile: Pack libsparse-host.so into otatools.zip.

delta_generator has a dependency on that.

Bug: 34731113
Bug: 34723547
Test: m otatools-package
Change-Id: I70752a8c283bf98cb6106d3999515d0fd01f43b2

Merge "Revert "Switch to clang-3625443.""

Revert "Switch to clang-3625443."

This reverts commit 296af27303646fc7cd9e59f63d968f8513b79a8f.

Reason for revert: <INSERT REASONING HERE>

Change-Id: I524c2c89004c79352bf2be3727c7ddcceca9b2e7

Merge "Switch to clang-3625443."

Merge "Revert "Revert "releasetools: Generate streamable A/B OTA packages."""

Merge "Prevent abuse of property overrides"

Revert "Revert "releasetools: Generate streamable A/B OTA packages.""

This reverts commit ea4325baf8a673e869cac8981781cf57c4821cb5 to re-land
commit ef1bb4360f0b9ccc54afd7a39077b7ca4d8a9a36. It fixes the bug when
handling a package without care_map.txt (e.g. dm-verity not enabled).

In order to support streaming A/B OTA packages, we pack
payload_properties.txt and care_map.txt in ZIP_STORED mode. These two
entries along with payload.bin (already in ZIP_STORED prior to this CL)
can be fetched directly based on the offset and length info.

We write the offset and length info into the package metadata entry
(META-INF/com/android/metadata), which can be parsed by the OTA server.

payload_properties.txt and care_map.txt are usually less than 1-KiB. So
the change only incurs marginal size increase.

Bug: 33382114
Test: Generate an A/B OTA package. Verify the 'streaming-property-files'
      entry in the metadata file.
Test: Generate an A/B OTA package on a device with dm-verity not enabled.

Change-Id: I3469c8b62385a1fc58b4fb82e3f9d4690aef52ba

Prevent abuse of property overrides

To prevent abuse of PRODUCT_*PROPERTY_OVERRIDES and
ADDITIONAL*PROPERTIES, the following rules should be applied.

- Mark PRODUCT_*PROPERTY_OVERRIDES readonly after reading product
 specs.
- Disallow any changes on ADDITIONAL*PROPERTIES from product specs
 and BoardConfig.mk.
- Mark ADDITIONAL*PROPERTIES readonly before reading Android.mk
 files.

Test: building succeeded on marlin-userdebug.
Bug: 34116668
Change-Id: I93d8de086ec85ba787165a156bdcc7df04310be1
(cherry picked from commit 294286d95c7647c1c20c3537f065c21e85371695)

Merge "Revert "releasetools: Generate streamable A/B OTA packages.""

Revert "releasetools: Generate streamable A/B OTA packages."

This reverts commit ef1bb4360f0b9ccc54afd7a39077b7ca4d8a9a36.

It has broken the builds that don't have care_map.txt entry.

Change-Id: I343455e66be5e79457968dfc2813c7c1c234b6dc

Merge "releasetools: Generate streamable A/B OTA packages."

Merge "Enable PRODUCT_ART_USE_READ_BARRIER by default."

Merge "Add dexoptanalyzer to art PRODUCT_PACKAGES"

Merge "Force Thumb for CFI targets."

Merge "Run $(AR) with LLVMgold.so plugin for CFI targets."

Enable PRODUCT_ART_USE_READ_BARRIER by default.

Bug: 34084559
Bug: 34576638
Test: Boot gce_x86_phone on master
Change-Id: If284beb9551e55a4a698679399feb26e4acfd3d9

Run $(AR) with LLVMgold.so plugin for CFI targets.

Bug: 34623182
Test: add LOCAL_SANITIZE:=cfi to some static libraries under libstagefright
Change-Id: I4f0d8cbd794e0ce4737c59a4617e93c7a5defec1

Switch to clang-3625443.

Bug: http://b/31532493
Test: Manual validation.
Change-Id: I0490b60c996052669fbfd545d7c3eed17fdd3547

Force Thumb for CFI targets.

Bug: 22033465
Test: bionic device tests
Change-Id: I66eb83bc7153cc34dde4fa1abfa861182a10f1fa

releasetools: Generate streamable A/B OTA packages.

In order to support streaming A/B OTA packages, we pack
payload_properties.txt and care_map.txt in ZIP_STORED mode. These two
entries along with payload.bin (already in ZIP_STORED prior to this CL)
can be fetched directly based on the offset and length info.

We write the offset and length info into the package metadata entry
(META-INF/com/android/metadata), which can be parsed by the OTA server.

payload_properties.txt and care_map.txt are usually less than 1-KiB. So
the change only incurs marginal size increase.

Bug: 33382114
Test: Generate an A/B OTA package. Verify the 'streaming-property-files'
      entry in the metadata file.

Change-Id: I04504e834eb36e18876c5f5a5a09289ee05c6f9a

Merge "Hide CFI behind a global flag."

Merge "Hide CFI behind a global flag."

Merge "Support native test prebuilts for X86+ARM builds"

Hide CFI behind a global flag.

This CL ensures that locally enabling CFI in a .bp file is not honored
unless it is enabled globally using ENABLE_CFI=true first, effectively
hiding it behind a flag.

Bug: 30227045
Bug: 22033465
Test: m -j40 works and device boots
Test: cfi is correctly honored only when the global flag is set.
Change-Id: Id026302e7f714b90a9e2c996f7a9314f534f90c2

Merge "Don't pass empty arguments to ninja"

Don't pass empty arguments to ninja

Passing an empty argument in argv to ninja results in an error:
ninja: error: empty path

Don't add jarg to the argument list if it is empty.

Bug: 34392351
Test: m -j
Change-Id: I39c8998c79b09835650628e1413ae7625cdbc555

Hide CFI behind a global flag.

This CL ensures that the LOCAL_SANITIZE=cfi is not honored unless it
is enabled globally using ENABLE_CFI='true' first. This allows CFI to
be hidden behind a flag.

Bug: 30227045
Bug: 22033465
Test: m -j40 works and device boots
Test: cfi is correctly honored only when the global flag is set.
Change-Id: If4508ba448bd4260020483f9c11ee849bb419713

Merge "Convert -j to a reasonable parallelism for kati"

Merge "Add crash_dump and tombstoned products."

Convert -j to a reasonable parallelism for kati

When running makeparallel in non-ninja mode, which is used when running
kati with USE_GOMA=true, convert -j to a reasonable parallelism value
the same way ninja does.

Bug: 34392351
Test: make -C build/make/tools/makeparallel makeparallel_test
Change-Id: I9aee4dd2a3b0f2b1c2c10087be83f7b2b06f4368

Merge "Revert "SELinux: split property_contexts into platform and non-platform components.""

Revert "SELinux: split property_contexts into platform and non-platform components."

This reverts commit c5ffdd4bb44bae3ad67ecea745f79b0a05015708.

Change-Id: I4c5fa6c68cbf0124117153660a2fd363f72388b6

Merge "SELinux: split property_contexts into platform and non-platform components."

SELinux: split property_contexts into platform and non-platform components.

Bug: 33746484
Test: Successfully boot with original service and property contexts.
      Successfully boot with split serivce and property contexts.

Change-Id: I1f218ca842407d30650b8987ded6679672171091
Signed-off-by: Sandeep Patil <sspatil@google.com>

Merge "SELinux: split service_contexts into platform and non-platform components."

Support native test prebuilts for X86+ARM builds

This allows Soong native tests to be built and installed on these
builds.

Bug: 32177952
Test: m -j bionic-unit-tests
Change-Id: Ifbe39ba7a8991cb87d10c5da679992cf3065444e

Add crash_dump and tombstoned products.

Bug: http://b/30705528
Change-Id: I3f6c98f6f907f93e082db085a122557fc8488c83

Add dexoptanalyzer to art PRODUCT_PACKAGES

Test: build & boot
Bug: 32871170
Change-Id: Iae89984ef3df253c75f400e68f00b24fcc2b82d5

Merge "Pass flash erase & logical block size to mke2fs"

SELinux: split service_contexts into platform and non-platform components.

Bug: 33746484
Test: Successfully boot with original service and property contexts.
      Successfully boot with split serivce and property contexts.

Change-Id: I6fec8d9b3023de09d69198c9e72311a1f03fe844
Signed-off-by: Sandeep Patil <sspatil@google.com>

Merge "releasetools: Replace print stmt with print()."

Merge "releasetools: Delete the obsolete --aslr_mode/-a flag."

releasetools: Replace print stmt with print().

So that it's compatible with Python 3.

Test: pylint --pylint=pylintrc

Change-Id: If06c135a492c94bedd713c8cbdf03155a502d5cd

releasetools: Delete the obsolete --aslr_mode/-a flag.

It was added in commit 96be7205dce97977909e93b73f48779fcce3bc65
("Working ASLR implementation.") in 2010, and removed in commit
1807e700a568d57901b835370d1b1ae05c3dbb0f ("don't generate retouch
commands in OTA scripts") in 2012.

Remove the obsolete --aslr_mode flag.

Test: ota_from_target_files.py still works (by generating incremental
      and full OTAs respectively).

Change-Id: I6d8e62730ac192f3574d484c4a4b9b43b4ee0a9e

Merge "Include CarrierDefaultApp to the img"

Pass flash erase & logical block size to mke2fs

This information can be used to tune ext4 stripe and stride in the
userdata partition for better performance

Test: Build & flash userdata, confirm correct stripe & stride values
Bug: 33243520
Merged-In: Ia97cdd2d0239c3484b895fce49299f692ef911d8
Change-Id: Ia97cdd2d0239c3484b895fce49299f692ef911d8
Signed-off-by: Connor O'Brien <connoro@google.com>

Include CarrierDefaultApp to the img

Bug: 30958215
Test: Manual test
Change-Id: I67e235028b73513954b7d5f4fe2623700d176e87

Merge "Add java.time packages to whitelist."

Merge "Add mk file parsers to support build variables required by system/bt"

Add mk file parsers to support build variables required by system/bt

* BtConfigIncludeDir: Path to device specific config headers
                      BOARD_BLUETOOTH_BDROID_BUILDCFG_INCLUDE_DIR
* BTHcilpIncluded: Path to Hcilp headers
                   BOARD_BLUETOOTH_BDROID_HCILP_INCLUDED
* BtHciUseMct: Whether MCT is used
               BLUETOOTH_HCI_USE_MCT

Bug: 32958753
Test: Code compilation, no user visible effects

Change-Id: I94cad65c77464e5b467abee05951ddfd35b9f27d

Merge "Don't run find on directories that don't exist"

Don't run find on directories that don't exist

$(shell find vendor) causes a warning in AOSP where vendor doesn't
exist.

Test: m -j, no warning
Change-Id: I28916594e0720c53823a3d9ed99b8af1d356af23

Add java.time packages to whitelist.

Bug: 28832222
Test: builds
Change-Id: I5a77f519f51eca93c34e4697b92a92bf72f4eda9

Merge "Move rs/scriptc to rs/script_api/include."

Merge "embedded.mk: add android.hidl.memory@1.0-impl"

Merge "Split seapp_contexts into plat and nonplat components."

Merge "Makefile: Pack e2fsdroid into otatools.zip."

Move rs/scriptc to rs/script_api/include.

Test: Compiled ImageProcessing_jb

Change-Id: Icf05a603671499665d2f31a8989fa69585a6f834

embedded.mk: add android.hidl.memory@1.0-impl

Bug: 34134179
Test: both 32 and 64 bit versions of this file are on the device after a
clean build.

Change-Id: I75ab12246c2c44e39b5e863dfec98dc72a36fbbe

Makefile: Pack e2fsdroid into otatools.zip.

e2fsdroid is needed to create ext4 images with mke2fs. Also pack both
sets of mke2fs and make_ext4fs tools into otatools.zip. Because we use
the latest otatools.zip to create OTAs, which needs to handle
target_files.zip using either of them.

Bug: 34126605
Test: `m otatools-package` and check it has e2fsdroid and make_ext4fs.
Test: Use otatools.zip to sign a TF.zip that defines
      TARGET_USES_MKE2FS={true,false}.

Change-Id: I9967e4f078cbe912914c6c511681cba82356ae8e

Merge "Allow goldfish-setup to take wake locks"

Allow goldfish-setup to take wake locks

Change-Id: I6a5db8586168e47e974a82afd2e75fd858aa5750

Merge "Build split file_contexts."

Merge "TARGET_RECOVERY_UPDATER_LIBS should not be used with AB updates"

Split seapp_contexts into plat and nonplat components.

Bug: 33746381
Test: Device boots with no extra denials.
Change-Id: Ib403be429562f5e22ed4dd042fb04b0795b558db

Build split file_contexts.

Bug: 31363362
Test: Device uses new file_contexts files for labeling decisions.
Change-Id: I33c3297a2ec806f4b9f5dd25f3dd20c4b1001641
Signed-off-by: Sandeep Patil <sspatil@google.com>

TARGET_RECOVERY_UPDATER_LIBS should not be used with AB updates

Also mark these variables as readonly so that later Android.mk cannot
change them.

Bug: 33607778
Test: build/tools/kati_all_products.sh -j12
Change-Id: I5f9a4df02bfdfd56549728f074bbb3fc251edb3d

Merge changes from topic 'fsconfig2-fixups'

* changes:
  fsconfig: fix pylint warning
  fsconfig: fix style formating with yapf

Merge changes from topic 'build-vts-zip'

* changes:
  delete vts.mk (which is moved to test/vts)
  include VTS packaging task files

delete vts.mk (which is moved to test/vts)

Test: m -j vts
Change-Id: I3ab29e59b6f77f3ac92bbfe7a6f7a8f36b2ba3bd
(cherry picked from commit a942dc8433c4e02bdfe0313471bcac8fef318fde)

include VTS packaging task files

Test: m -j vts
Change-Id: I8737412bf4e7b5c2db32325105e7c588949b959d
(cherry picked from commit 199a710f73d9522b599ff75b8dc8ea54e7fcf6e0)

fsconfig: fix pylint warning

Fix pylint warning:
W:292,47: Cell variable lineno defined in loop (cell-var-from-loop)

For the closure function that prints the error message, we actually
want the value of modified lineno within the closure.

Test: run unit tests

Change-Id: I7d08184563d347c826ca1af7558fb8e378f151e1
Signed-off-by: William Roberts <william.c.roberts@intel.com>

fsconfig: fix style formating with yapf

A few changes got introduced that yapf re-styles. To make it easy,
keep this file formated to:

yapf -i --style=google fs_config_generator.py

Test: run unit tests

Change-Id: I3160b92d7fd07a4d315dde59f1d20fe4c7587da1
Signed-off-by: William Roberts <william.c.roberts@intel.com>

Merge "Define TARGET_OUT_VENDOR_APPS_PRIVILEGED for 2nd arch"

Merge "fs_config: Fix oem range parsing"

Merge "blockimgdiff.py: Clean up stash id computation in BBOTA v3+."

Merge "Remove option for non-pic dex preopt."

fs_config: Fix oem range parsing

Addresses the following build error:
  "value" not in valid range [], got: 2901 for: "AID_ABC" file:\
  "device/somc/abc/config.fs"

that happens when parsing device/somc/abc/config.fs:
  [AID_ABC]
  value: 2901

The problem is that the AID.PREFIX is 'AID_' so the _OEM_RANGE
expression is searching for AID__OEM_RESERVED, which never
exists. Drop the extra '_'.

Change-Id: I8a1556731e14e49cef66e3e91121e4be23a308e0
Test: ./build/tools/fs_config/fs_config_generator.py fsconfig --aid-header=system/core/include/private/android_filesystem_config.h device/somc/abc/config.fs

blockimgdiff.py: Clean up stash id computation in BBOTA v3+.

Only BBOTA v2 needs to maintain a pool of available 'stash slot id'.
BBOTA v3+ uses the hash of the stashed blocks as the slot id, which
doesn't need the id pool anymore.

Bug: 33694544
Test: Generate v2 and v4 incrementals w/ and w/o the CL. They produce
      the same packages respectively.
Change-Id: I8121af5b6b1bee98c3639d54a00b06fd12e378e8

Merge "Revert "Revert "Merge changes from topic 'fsconfig-2'"""

Merge "Update pathmap.mk for renderscript support library migration"

Update pathmap.mk for renderscript support library migration

Bug: 30255901
Change-Id: I213baaf4c76a7e5b8d20168624b74eb61582d215
(cherry picked from commit 49f03349c818de16be3a0c74f6dc07c85b94b7b0)

Merge "Remove --ignore_dirty=$(OUT_DIR)/% from Kati flags"

Remove --ignore_dirty=$(OUT_DIR)/% from Kati flags

We really should be re-running Kati when a file in here changes, since
it may actually affect the result. The general problem we've run into is
when there are two kati output files that are clean according to the
current rules, but if they actually ran we'd force an installclean.

This also had the side-effect of not running shell commands that touched
$OUT_DIR, like writing files using $(shell echo ... >out/...), now those
may be run.

This will cause Kati to re-read the makefiles more often -- twice when a
CleanSpec.mk changes, twice when switching products on the same device.
Basically every time we read the old state, do something about it, and
write out the new state, we need to rerun the next time so we aren't
continuously cleaning up what changed.

Bug: 30947985
Test: Manual, switching between configurations; enable --regen_debug
Change-Id: I888f9f8295f318f8214b2c79525cf94f457a5a8b

Merge "Fix incremental builds with AAPT2"

Merge "embedded.mk: +android.hidl.memory@1.0-service"

Fix incremental builds with AAPT2

When we removed the src/ directory, the R.stamp file was removed -- with
AAPT, this triggers src/android/Manifest.java to be regenerated. But
AAPT2 only uses the R.stamp file as a timestamp to find the
Manifest.java file, not to create it.

So add a new CleanSpec.mk to fix the builds by removing the target that
AAPT2 uses to generate the src/android/Manifest.java file.

Test: None
Change-Id: If56f326ad701f7f92aa7c8aeda57e92d9c62cff9

Merge "Support non-gtest NATIVE_TESTS"

Merge "Remove generated java source post clean logic"

embedded.mk: +android.hidl.memory@1.0-service

This is the service that provides shared memory for hidl/treble
processes.

Bug: 32185232
Test: builds
Change-Id: I79162a781daad7aa704f4ee071fef0bbdea59a18

Remove generated java source post clean logic

Just move the proto and renderscript sources into their own directories
-- the entire directory is wiped if the file list changes since the
command line will change. So we can just enable/disable pulling sources
from those directories based on whether there were files in the list or
not.

Bug: 30947985
Test: m -j java
Test: Remove a proto file from a java lib, ensure the generated source
      is not included.
Change-Id: If7529979de6fa62a651933a3a974f47b033851d6