Merge "Allow prebuilts to specify mini-debug-info"

Allow prebuilts to specify mini-debug-info

So that Soong can specify the default that's used by Make.

Change-Id: I0c1062ad8f21df8b9a483f99dce679a1434e4859

Merge "Fix root_filesystem_config.txt generation"

Merge "Pass ENABLE_CPUSETS and ENABLE_SCHEDBOOST to Soong"

Pass ENABLE_CPUSETS and ENABLE_SCHEDBOOST to Soong

Change-Id: I75c0d60854f2ea3d2e4e4d6dcbc6845e3b0336ad

Merge "Turn ndk link check warning into error"

Turn ndk link check warning into error

All instances of this have been removed from the downstream trees. The
APK->JNI_SHARED_LIBRARY and Java->Java checks remain as warnings.

Change-Id: I3eaee284500deee0f26a4f9cdd96497e99ec533e

Merge "Remove Android.bp logic from makefiles"

Remove Android.bp logic from makefiles

When Soong was optional, the make build system needed extra complexity
to ignore Android.mk files that had an associated Android.bp file.  Now
that Soong is required and the Android.mk files that were obsoleted by
an associated Android.bp file have been removed, remove all of the logic
that found associated Android.bp files.  Android.mk files and Android.bp
files are now handled independently.

Change-Id: Ia6643d151b920689219ca8abd59ede44d230ba35

Merge "Extend SDK link check to java libraries"

Merge changes from topic 'imgdiff-squashfs'

* changes:
  releasetools: Fix the detection of using squashfs.
  releasetools: Disable using imgdiff for squashfs.

releasetools: Fix the detection of using squashfs.

We should disable using imgdiff if *any* of the source and target
partitions uses squashfs.

Bug: 30004734
Test: Create an incremental with two builds with one of them uses squashfs.
Change-Id: I826cd13d7b852c548e4b45e61f5ae00f6407cac3
(cherry picked from commit f8acad1480a3b4479c7ddfa89df8be946d83d3ed)

releasetools: Disable using imgdiff for squashfs.

We use imgdiff to handle files in zip format (e.g. jar/zip/apk) for
higher compression ratio.

For system/vendor in squashfs, a) all files are compressed in LZ4
format; b) we use 4096-byte block size in their sparse images, but the
files in squashfs may not be laid out as 4K-aligned. So the blocks for
a given file as listed in block map may not form a valid zip file, which
may fail the patch generation with imgdiff.

Disable using imgdiff for squashfs images, and use bsdiff instead.

Bug: 22322817
Change-Id: Ie76aa4cece5c9d38cb1d1a34c505a4a8f37512d3
(cherry picked from commit 293fd135c7bc0c21b41f1782d21c26de64e8854a)

Extend SDK link check to java libraries

Java code using the SDK should not link to java code built with the
platform APIs or the system SDK. Java code using the system SDK should
not link to the platform APIs either, but it can link to java code using
another SDK.

Change-Id: Iaae0a7e01993cfa1e023649fbd8a7974b5eca709

Merge "releasetools: Fix the payload public key replacement."

releasetools: Fix the payload public key replacement.

update_engine expects the extracted public key instead of the
certificate.

Bug: 28701652
Change-Id: I292d39da9e039f96d01a4214226aeb46f8cb881d
(cherry picked from commit afaf295cb85eb4091bc8a82950acab618b4139ca)

Fix root_filesystem_config.txt generation

The first line returned by awk is empty. In consequence, when
fs_config computes its mode it will consider this line as a file (no
trailing slash) and affect the default android_files mode which is
0644. The mode for the root directory should be the default
android_dirs mode 0755.
Add a special case in fs_config to consider empty line as a directory.

Change-Id: I9f33f6fcf4be05c31914db898e65c92b0a611518
Signed-off-by: Gaelle Nassiet <gaellex.nassiet@intel.com>

Merge "Move apksigner library to tools/apksig."

Merge "Support LOCAL_STRIP_MODULE := keep_symbols for prebuilts"

Support LOCAL_STRIP_MODULE := keep_symbols for prebuilts

Change-Id: I92a838b07fe4116d5a4b8521fe1ce8d44e6e84e2

Merge "Recognize new C/C++ compiler and static analyzer warnings."

Move apksigner library to tools/apksig.

This moves build/tools/apksigner/core to its own project tools/apksig.
The move also renames the moved Java packages from
com.android.apksigner.core.* to com.android.apksig.* to reflect the
new name of the library.

Bug: 27461702
Change-Id: Iab812ae2b8f0a741014f842460c78e35bc249d43

Merge "Never add asan libraries to NDK code"

Merge "APK signer primitive."

Recognize new C/C++ compiler and static analyzer warnings.

Change-Id: I5f47c45498c640702922704aa5305a85e9493fcc
Test: run with Android build.log.

Merge "Apply SANITIZE_TARGET=safe-stack to 64 bit targets only."

Apply SANITIZE_TARGET=safe-stack to 64 bit targets only.

Bug: 27729263
Change-Id: I214a9f40b94f6e6716aca05be774f014e62f73e8

Merge "Apply SANITIZE_TARGET and LOCAL_SANITIZE when both are present."

Apply SANITIZE_TARGET and LOCAL_SANITIZE when both are present.

The idea is that targets with LOCAL_SANITIZE = signed-integer-overflow
and SANITIZE_TARGET=safe-stack should get both sanitizers.
This should work just fine for SANITIZE_TARGET=address, too.

Bug: 27729263
Change-Id: Ifee350da4877008fb061bc7f6c700e7fade405bc

Merge changes I17a96b97,Ib4412657,I73e6d479

* changes:
  Build: Add module-level product configuration of sanitization
  Build: Add option to restrict sanitization by owner
  Build: Add option to restrict sanitization by architecture

Merge "Build: Fix vendor sanitizer library for secondary arch"

Build: Fix vendor sanitizer library for secondary arch

Fix the directory for secondary-architecture libraries under
sanitization. These incorrectly wrote into vendor/lib instead
of data/vendor/lib.

Bug: 29498013
Change-Id: Iee08422a1f7ad42cbe71a322347e98cb74e3ef7f

Merge "Sanitizer build tweaks."

Sanitizer build tweaks.

-Wl,-no-undefined is currently disabled for any SANITIZE_TARGET. Limit that to
the sanitizers with a runtime library (i.e. address, thread).

Re-enable the relocation packer for ASan. This has been fixed upstream a long
time ago.

Bug: 27729263
Change-Id: I566df6104de816223dc1c519d41a87629ce9c47c

Merge "Only add libdl dependency for ASan/TSan on target."

Only add libdl dependency for ASan/TSan on target.

Only sanitizers that intercept stuff need that. For example,
SafeStack does not, and I think UBSan too.

Bug: 27729263
Change-Id: I413cd46cc6c6914a363a3c53da7954beacd8f0d8

Build: Add module-level product configuration of sanitization

To allow special sanitizer settings for modules shared between
products, add product-specific module settings.

This was copied from the product-specific dexopt settings.

Bug: 29498013
Change-Id: I17a96b975bb6ac7f4ffb3d5b08e2f00b21bd97a1
(cherry picked from commit bb5454b6db5770f0b0275424148b2d7d3c52a56d)

Build: Add option to restrict sanitization by owner

Add Make variable SANITIZE_NEVER_BY_OWNER to selectively
sanitize modules. By default, both are being sanitized. The
value of the variable is interpreted as a space or colon
separated list of owner names.

This can be used to create builds that lower the sanitization
burden by not sanitizing parts of the platform.

Bug: 29498013
Change-Id: Ib4412657fd38ff28a5c0863eddc2acde63c88ebb
(cherry picked from commit ea38d8e95d7daea49cc2a528d69e06a0005b31a6)

Build: Add option to restrict sanitization by architecture

Add Make variable SANITIZE_ARCH to selectively sanitize binaries.
This uses the "bitness," i.e., 32 or 64, to potentially filter
the sanitization. By default, both are being sanitized.

This can be used to create builds that lower the sanitization
burden by not sanitizing "half" of the platform.

Bug: 29498013
Change-Id: I73e6d479f08a970ba912f4f63967d32f3487125f
(cherry picked from commit 0290a416c844f9a8ec953f63f199b00d36283228)

Merge "Add LOCAL_NOSANITIZE."

Add LOCAL_NOSANITIZE.

This can be used to selectively disable individual sanitizers on a
target. For example, some parts of libc should be built with
SafeStack (when requested with SANITIZE_TARGET), but never with
AddressSanitizer. Current build rules specify LOCAL_SANITIZE := never
to disable AddressSanitizer; the idea is to change that to
LOCAL_NOSANITIZE := address thread.

Bug: 27729263
Change-Id: I2b770f2ce3faf6ad6798792327e96adb86fe4a4f

Merge "Detect `uname -m` == i686 as a 32-bit host"

Detect `uname -m` == i686 as a 32-bit host

Change-Id: I0350629ce6ea7a5f0224489bafc98bc190e70932
Test: UNAME from https://groups.google.com/d/msg/android-building/nGQna2xuW5s/eEcXSo9ZBgAJ

Merge "Skip copying existing vendor images"

Skip copying existing vendor images

add_img_to_target_files.py has an option of "-a" to add missing
images only. Under this option, the script should skip copying
the radio images for A/B devices when given image exists already
under "IMAGES/".

Test: Run the command on an A/B device, the existing radio images under "IMAGES/" don't get overwritten; and missing images are added correctly.
Bug: 29608905
Change-Id: Ie034b85a5d777d53e367f99470cea4d19cb1aaaf

Merge "Add jdk.net to whitelist"

Never add asan libraries to NDK code

We're beginning to enforce (still warning) that NDK code only links to
other NDK code. So we should never need to link them to the address
sanitizer libraries.

This breaks down a bit when platform code starts depending on NDK-built
code, where the NDK-built code should be mostly the same as if it was
built with the platform, but has an implicit LOCAL_SANITIZE := never.
Even so, this change shouldn't make that worse, as we'll still compile
fine, and anything platform code that uses asan should pull in the
shared library.

Change-Id: I81b30b9edd971468c3cb1467f809f184807b505e

Merge "Extract public key ID from cert"

Extract public key ID from cert

Extracts keyid inline using openssl commands.
The keyid is passed as one of the kernel command line parameters
for the dm-android-verity module to mount root fs(system)
with verity enabled.

(cherry-picked from 3af315aed5d657942b28ccae342324b9ee90116d
https://googleplex-android-review.git.corp.google.com/#/c/1061691/)

BUG: 28384658
Change-Id: I8efbe1b0e415ef1d396f9b51cfa4b3fa01b22484

Merge "Turn unused source files from warning to error"

Turn unused source files from warning to error

All instances have disappeared from the build server, so switch this to
error before more turn up.

Change-Id: Iac07526a6e77ebf33733033249f2a108aae3fa7d

Merge "Add VENDOR_PRODUCT_RESTRICT_VENDOR_FILES"

Add VENDOR_PRODUCT_RESTRICT_VENDOR_FILES

Allow exceptions specified by module (VENDOR_EXCEPTION_MODULES) and
path (VENDOR_EXCEPTION_PATHS, not including leading vendor/).

BUG=26968426

Change-Id: I068e43f3eae14f8793c33ae916d46979ab1681d1

Merge "releasetools: Change the default key path for bvbtool"

APK signer primitive.

This adds an APK signer primitive which preserves as much of the input
APK as possible. For example, it preserves the order of APK entries
and preserves their contents, including compressed form and alignment
of data.

Bug: 27461702
Change-Id: I51d07c530480182a66379e70a00f680544ff6214

releasetools: Change the default key path for bvbtool

The bvb path has been changed from 'system/bvb' to 'external/bvb'

Change-Id: I8587351b7d702a287883c6bd3c9de1cd3540435b

Merge "Fix typo in setting PRIVATE_MODULE for AIDL source"

Fix typo in setting PRIVATE_MODULE for AIDL source

Bug: 29619260
Change-Id: I59f883c1a92075800844cc2a77b307782a9ab800

Merge "Add +/- buttons to expand/collapse warning categories."

Merge "Filter logging from dexdump/dex2oat to errors only"

Add jdk.net to whitelist

Tracks libcore commit a434f3be3c22c6b3e7ddd426766808e76a5780fd

Bug: 29067535
Change-Id: I764b602aa0f2a991dc26b5fd42a1143bb58d67ba

Filter logging from dexdump/dex2oat to errors only

Change-Id: Idb3f1c3d216e2db87ce3b03cbacc6fc3ceff37e0

Merge "Fix path escaping for aidl generated java"

Merge "Fix the path for verity_key replacement when signing."

Merge "Add ability to pass in payload_signer args"

Merge "releasetools: Support using payload_signer."

Merge "releasetools: replace verity keyid"

Merge "Replace OTA keys when signing for A/B devices."

Fix the path for verity_key replacement when signing.

system_root_image expects the key at ROOT/verity_key as opposed to
BOOT/verity_key. Also refactor the verity key replacement lines.

Bug: 29397395
Test: 'sign_target_files_apks.py --replace_verity_private_key newkey --replace_verity_public_key newkey.pub target_files.zip signed-target_files.zip' and verify the replaced key in boot.img.
Change-Id: I58a5defff4be008ad55d4b5a5b7148569c3b8d66
(cherry picked from commit e0ee794fa16b206e792eac0942f448df34247fd8)

Add ability to pass in payload_signer args

Bug: 28701652
Change-Id: I110d5fc14446e4a6a0f8e25dcb0d300decdf09a4
(cherry picked from commit 2abbbd03339947327ada0becba5bd4ef41f1bdab)

releasetools: Support using payload_signer.

For A/B OTAs, by default it calls 'openssl pkeyutl' to sign the payload
and metadata with the package private key. If the private key cannot be
accessed directly, a payload signer that knows how to do that should be
supplied via "--payload_signer <signer>".

The signer will be called with "-inkey <path_to_private_key>",
"-in <input_file>" and "-out <output_file>" parameters.

Test: Use a dummy signer, call 'ota_from_target_files.py --payload_signer <signer> <target_files.zip> <ota.zip>' and verify the signatures in the generated package.
Bug: 28701652
Change-Id: I26cfdd3fdba6fc90799221741b75426988e46fd3
(cherry picked from commit dea0f8bfed01fa620d23d7dd8ff533246f26e8a0)

releasetools: replace verity keyid

Replace verity keyid with the keyid extracted from cert
passed through --replace_verity_keyid. The veritykeyid in the
BOOT/cmdline of input target files is replaced with keyid
extracted from --replace_verity_keyid and written to the
output target files.

BUG: 28384658
Change-Id: Ic683f36f543c4fcd94b6f95e40f01200fbf45ee1
(cherry picked from commit b58d23fe00697a0cf9c7c9c75639fd8c7b5bb016)

Replace OTA keys when signing for A/B devices.

It replaces the package verification key (change of path due to
system_root_image flag), as well as the payload verification key.

Bug: 29397395
Change-Id: I10435072aaf4356f2d8b5e1b6e82eb9cead7ad62
(cherry picked from commit 24a72064309dd55d4aa80b70480eed55c54f818d)

Fix path escaping for aidl generated java

Bug: 29619260
Change-Id: I806044573661c61e691adf36a47092188db87ab6
Test: Generated java with ../ in paths appears in the right place.

Add +/- buttons to expand/collapse warning categories.

* Add expand/collapse-all buttons to expand/collapse all warnings.
* Use HTML styles to reduce output file size.

Change-Id: Ica188cc4f123ce0ab8547f88315325c3e0560a39
Test: Checked output html file with Chrome browser.

Merge "Use Builder pattern for ApkVerifier parameters."

Use Builder pattern for ApkVerifier parameters.

This should make it easier to add parameters/options without breaking
existing clients.

Bug: 27461702
Change-Id: Ia4577f78d703a6b91828dd08492c78d5e9afb110

Merge "Finish refactoring tests to NATIVE_TESTS"

Finish refactoring tests to NATIVE_TESTS

Now that the source trees all use NATIVE_TESTS for intermediate files
and generated sources, make it a requirement.

Change-Id: Id5718fabe63f6e8dde7981a6f0f5bd89e0ec7ee5

Merge "move test artifact build rules into open source location"

move test artifact build rules into open source location

Bug: 29404304
Change-Id: I5553d275fe478fac0d6fe00a931a1c1f1e3bdd59
(cherry picked from commit 8322be725282d4ac64a65b44e2f6b0c681e35819)

Merge "Clean up vendor image handling"

Merge "Remove --no_prereq flag from OTA script."

Remove --no_prereq flag from OTA script.

Bug: http://b/29393071
Test: aosp_flounder "make dist"
Change-Id: I9ec85210e118f7e525291e31ab4081a2bd10f998

Merge "Also turn down the logging for dex2oat on the boot image"

Also turn down the logging for dex2oat on the boot image

Bug: 27499257
Change-Id: I190ce72b44e49451dab44902e2ca33dd5c2815ce
(cherry picked from commit 632db649fb16c0a8259c36dcf7534c8596273d89)

Clean up vendor image handling

Standardize symlinking /system/vendor -> /vendor for aosp_* devices,
since some /vendor binaries still use /system/vendor/... paths.

Support using a prebuilt vendor image and including it into all the
normal packaging steps.

Bug: 28987532
Change-Id: I27040e8a8d1df0777e16cd1e3c3a9f1b28695e96

Merge "Let caller handle NoSuchAlgorithmException."

Let caller handle NoSuchAlgorithmException.

This surfaces relevant NoSuchAlgorithmExceptions to the caller instead
of rethrowing as other exception types. Some setups need to be able to
distringuish issues due to their own misconfiguration
(required crypto algorithm mising -- NoSuchAlgorithmException) from
issues with the APK being signed or verified.

Bug: 27461702
Change-Id: I993f73edb29b2cd4cc485734a89a924ec357ef19

Merge "maxSdkVersion can be specified for APK verification."

maxSdkVersion can be specified for APK verification.

This enables verification of APKs which are served to a specific
range of Android platform versions, or to replicate behavior of
particular platform versions.

Bug: 27461702
Change-Id: I44ab4c99419eb97d72c4ccd109137fe1efda577d

Merge "Reject PKCS#7 SignerInfo with unsupported parameters."

Merge "Remove obsolete MTD support from the releasetools scripts."

Remove obsolete MTD support from the releasetools scripts.

Bug: http://b/29250988
Change-Id: I653dc306485c6b35411840b53211d42eb6d19e34

Merge "Add new Android.mk to handle repo move"

Merge "Remove build/libs"

Add new Android.mk to handle repo move

We're moving the platform/build repository down a level, then symlinking
the directories and necessary files back into build/. So if we're still
in build/, keep searching for Android.mk files, otherwise stop, since
they'll be found through the symlinks.

Bug: 28001743
Change-Id: Ieea6e3b1fca265b548395c6af148ebb4efa43b0f

Remove build/libs

There's only a single library, libhost, and it's only used by acp and
atree in build/tools, move it there.

Bug: 28001743
Change-Id: Ie404d2793710de4e265a6fa95d462c32d4042623

Reject PKCS#7 SignerInfo with unsupported parameters.

This addresses the TODO to mimic the behavior of Android when
verifying APK JAR signatures. Unfortunately, the behavior of Android
kept changing in interesting ways between different platform versions.
This is hard-coded as a big lookup.

Bug: 27461702
Change-Id: I49bc181ee05f774ef8ee041af870385b35212c23

Merge "Support wiping userdata for A/B OTA packages."