Merge "Auto-clean host tools when switching between apps_only and platform build."

Auto-clean host tools when switching between apps_only and platform build.

For apps_only (also PDK build) we use prebuilt host tools in
prebuilts/sdk/tools; For platform build we use tools built from source.
Auto-clean intermediate files of these tools when build type change is
detected.

Bug: 20213206
Change-Id: I9173af322684c017fdb91a3abfbe39ecfe5650e9
(cherry-pick from commit 036b53b6de3cc2a5de46be31eeb4d07ffb0d057f)

Merge "Revert "Revert "Hide unwinder symbols in each binary."""

Merge "Move @echo to first command in rules"

Move @echo to first command in rules

Move the @echo command that prints the rule description to be the
first command in each rule so that the kati tool can find it to
use as a ninja rule description.

Change-Id: I90f27c35bb719d327a7f2109f8d00d3589082f19

Merge "file_contexts: Label /dev/ttyS2 as console_device"

file_contexts: Label /dev/ttyS2 as console_device

This fixes the issue with the emulator "-shell" option.
Init tries to open the console which is passed through
the kernel androidboot.console property, but fails to
open it because "avc" denies it. Init only has permissions
to open console_device in rw mode. This ensures that
/dev/ttyS2 is properly labeled as console_device.

Replaced tabs with spaces.

Change-Id: I9ef94576799bb724fc22f6be54f12de10ed56768

Merge "Enable verbose output for add_img_to_target_files."

Merge "mgrep: add output to environment commands"

Merge "Use a different linker for ASan binaries."

Enable verbose output for add_img_to_target_files.

Change-Id: I7246c59c79ccf6a7589c884391d0f690746fc129

Merge "Assert the stash size when generating OTAs."

Assert the stash size when generating OTAs.

With block-based OTA v2 and v3, it requires stash space on the /cache
partition to back up blocks during an update. We need to ensure that
it doesn't exceed the partition size. Since there might be other files
on /cache as well, we use cache_size * threshold as the maximum allowed
size. The threshold defaults to 0.8, which can be overridden by command
line option '--stash_threshold'.

Change-Id: I5c2e353ea4716328d6cdc6a7f758520de8d88b8e
(cherry picked from commit 23ac4042128e47f6fe1ef176e7cb96f907d8e149)

Use a different linker for ASan binaries.

Another change in bionic/linker adds linker_asan/linker_asan64 that
know where to find ASan shared libraries.
Also, include linker_asan to the required packages list when building
for ASan.

Change-Id: I8ebe7c0091bbeb0c135708a891d33d9844373d37

Merge "Disable detection of bugs on global variables."

Disable detection of bugs on global variables.

This is a temporary change pending code cleanup.

We are already disabling detection of ODR violations. As it turns out,
an ODR between an ASan-instrumented library and a non-instrumented library
may actually crash ASan, and there is no obvious way out, and one of those
prevents us from booting a SANITIZE_TARGET image right now.

Bug: 21951850
Change-Id: I49508242ec96089a3d4d8b7e45f36323d62f2be9

mgrep: add output to environment commands

Change-Id: I7a97e00c7ef5ac179333303d89511c2f72cbd100
Signed-off-by: William Roberts <william.c.roberts@intel.com>

Merge "Fix the permission in common.ZipWriteStr()."

Fix the permission in common.ZipWriteStr().

common.ZipWriteStr() should set a default file permission to 0o100644
instead of 0o644.

Change-Id: I8c89d8442b095b56ad3a0d47afdfa73ce55ad0c8

Merge "Pack file_contexts into target_files zip."

Pack file_contexts into target_files zip.

file_contexts (specified by SELINUX_FC) is needed both when building
and (re)packaging. We used to use the copy in out/ when building, and
looked for the copy in BOOT/RAMDISK/ when packaging from target_files
zip. With system_root_image enabled, the file_contexts needed for
building and packaging might be different from the one on device. So
we explicitly pack the file as META/file_contexts in target_files zip.

Also refactor out the overriding of selinux_fc property into
common.LoadInfoDict().

Change-Id: I94f9ea6671b3792c12c1c21573840743d63da39a
(cherry picked from commit aa7318c3849095aeb3bea00efbf303c0c40a089d)

Merge "Zero out blocks that may be touched by dm-verity."

Zero out blocks that may be touched by dm-verity.

dm-verity may touch some blocks that are not in the care_map due to
block device read-ahead. It will fail if such blocks contain
non-zeroes. As a workaround, we mark them as extended blocks and
zero out explicitly to avoid dm-verity failures.

Bug: 20881595
Change-Id: Id097138bfd065c84eac088b3ad49758010b2927b
(cherry picked from commit 2fd2c9bfd6c9beeaeccb4632b785227fe56c6006)

Merge "Remove HAVE_WIN32_IPC."

Remove HAVE_WIN32_IPC.

Change-Id: I6c01ed5b059c230d7382dc6158103f31d4bf9dbb

Merge "Remove mkbootimg from the pathmap."

Merge "Stop polluting the namespace with HAVE_MALLOC_H in AndroidConfig.h."

Remove mkbootimg from the pathmap.

It's only ever referred to directly. (Should probably move to
system/core/include, but that's orthogonal to this change.)

Change-Id: I353afff031a29206aaa5a0991fe0ccb39e4731e2

Merge "Remove pathmap.mk entries for libc."

Remove pathmap.mk entries for libc.

Change-Id: I9f4ce70696dd7df5922b3c80501fac9c7d4b7149

Stop polluting the namespace with HAVE_MALLOC_H in AndroidConfig.h.

Change-Id: If1cd88ee14bf9cbb4a0a1f608b0d015c9181c2c2

Merge "Scan all init.*.rc files for flash_recovery service."

Scan all init.*.rc files for flash_recovery service.

Clockwork builds may rename init.rc to init.core.rc. Change the OTA
script to scan all init.*.rc files to determine the proper location for
install-recovery.sh.

Bug: 22128990
Change-Id: Icad3497d1663e074b938919b40fc239c84fbeb2b
(cherry picked from commit 610754e5ad84b2e65358d85dd38a4e0c86dc9342)

Merge "fix up ota_from_target_files symlink detection."

fix up ota_from_target_files symlink detection.

Change-Id: I10b668096d4e61e75473dd805f96387049f29b79

Merge "Fix OTA scripts to generate incremental BBOTA with OEM property."

Fix OTA scripts to generate incremental BBOTA with OEM property.

Bug: 21803136
Change-Id: I3a45e8aea0b4f4f4f2acb4c9c8a7fad7a014680c

Merge "Simplify LOCAL_NO_CRT."

Simplify LOCAL_NO_CRT.

Change-Id: If2486e4861071df6b225fe7f387530a38f554484

Merge "Remove HAVE_STDINT_H namespace pollution."

Merge "Add LOCAL_NO_LIBGCC."

Add LOCAL_NO_LIBGCC.

This can be used to compile independent libraries without the need for
libgcc.a.

Change-Id: I924200995569d9a978ddbaa6ec321d80734f1374

Remove HAVE_STDINT_H namespace pollution.

Change-Id: I1e42d1616da0f3a90f8da189d2e919f781c4eb5a

Merge "Configure synci generation explicitly"

Merge "Move sanitized vendor libraries to /data/vendor/lib(|64)."

Move sanitized vendor libraries to /data/vendor/lib(|64).

Sanitized RPATH now mentions /system/vendor/lib to preserve overlay
in the case when a sanitized version of a vendor library can not be
built.

Bug: 22199458
Change-Id: I3222d2e1d6c08fdd1e0404fcb7db347aa4a92bb7

Merge "Retry adjusting the size computation for reserved blocks."

Retry adjusting the size computation for reserved blocks.

Due to the change in https://lwn.net/Articles/546473/, kernel reserves a
few extra blocks (lesser of 2% and 4096 blocks) on ext4 FS which leads to
OTA update failures. Adjust the size computation if the device has
BOARD_HAS_EXT4_RESERVED_BLOCKS := true.

It amends the last attemp in [1]. Now it computes the used blocks from the
make_ext4fs output, instead of altering its argument.

[1]: commit efbb5d2e692283be32069e808b88522727c7fe98.

Bug: 21522719
Bug: 22023465
Bug: 22174684
Change-Id: Iaae6507f6de68a5892f2e3035d330039287b4492
(cherry picked from commit c7a6f1e4f8ff504bf617a0415b2c43ab3d339294)

Merge "sparse_img.py: Don't write empty map groups."

sparse_img.py: Don't write empty map groups.

In certain cases, we may have no mapping of ZERO or NONZERO blocks in
the image (such as squashfs at the moment). Don't write those groups if
they are empty.

Change-Id: I82aa05fbbd79130b08868585edd5298e531c4f5a

Merge "Use fstab in the source build"

Merge "Support SELinux context label when mounting"

Use fstab in the source build

When generating incremental OTAs, we should use the fstab in the source
build instead of the target one. Similarly for recovery_mount_options.

Bug: 22011892
Change-Id: Ia02584c71af7d47835b1f62e7daa46f27940a545
(cherry picked from commit bebd3cfbf934beb18b73a4d4e98b98c2c0a1d6fe)

Merge "SANITIZE_TARGET: allow undef symbols in non-sanitized shared libraries."

SANITIZE_TARGET: allow undef symbols in non-sanitized shared libraries.

These symbols are defined in the ASan runtime library, which is always
present at runtime.

Bug:21785137

Change-Id: Ib8418c66323fd4cdfdc05548048f32380cb84ee5

Merge "Create userdata.img with real data when SANITIZE_TARGET=address."

Create userdata.img with real data when SANITIZE_TARGET=address.

Bug: 21785137
Change-Id: Ie0c36988759fe07419ad29bab5a71cdd0d992d2a

Merge "Add img2simg in host and ota packages"

Add img2simg in host and ota packages

Change-Id: Ide660cf3cf69c74bbd15d0ac6642b60d58f076fa
Signed-off-by: Mohamad Ayyash <mkayyash@google.com>

Merge "build_image.py: Make sparse squashfs images"

build_image.py: Make sparse squashfs images

Change-Id: Iea0399868a9406f9929d8176d61d5698a2043697
Signed-off-by: Mohamad Ayyash <mkayyash@google.com>

Merge "Fix the error in sparse_img.py"

Fix the error in sparse_img.py

Bug: 22046423
Change-Id: I0796e14df2b523570f0c485d146273f5e5aa5494
(cherry picked from commit 2b4ff174ff09d3d4f69897c8f8004c57836975b4)

Revert "Revert "Hide unwinder symbols in each binary.""

Bug: 18471342
Bug: 19958712
This reverts commit 61f675bb53f31fb2500fc135603ca7a5f7620d8e.

Change-Id: I87d3655d1238a9cf26d96dcb0665ba5110931800

Merge "Don't include static executables when SANITIZE_TARGET=address"

Merge "Revert "Hide unwinder symbols in each binary.""

Revert "Hide unwinder symbols in each binary."

This reverts commit dc30a16ba27c4a0de388696869cd1c518ecb3f3a.

Change-Id: Ib6af148bcaa3041b3040e525442a39b493852794

Merge "Hide unwinder symbols in each binary."

Don't include static executables when SANITIZE_TARGET=address

Also we can't build the ota package without these static executables.

Bug: 21785137
Change-Id: I11b35abebced4b0608378a072ece2ab2dbadeffb

Merge "Add variable ANDROID_NO_TEST_CHECK to not build all test modules"

Add variable ANDROID_NO_TEST_CHECK to not build all test modules

Introduce a way to speed up local builds. Don't build all test
modules if ANDROID_NO_TEST_CHECK is set to true.

On master branch this reduces what is built by more than
300 apps and 50 java libraries. Time for doing this on a
12 core machine running with -j13 is about 10 minutes.

Change-Id: I90feb108695ee60d0dbbf497644f767cc3748215

Merge "Add android.hardware.ethernet.xml for ranchu targets"

Hide unwinder symbols in each binary.

These symbols need to always be resolved for each binary. Making these
symbols hidden means that we will get a build breakage if this doesn't
happen, and should also prevent the situation where one unwinder's
symbols are visible to the other.

Bug: 18471342
Bug: 19958712
Change-Id: Ieff1f10dab254b60ed120410f45998cf75bb5b9b

Merge "Clean intermediate files if SANITIZE_TARGET has changed."

Merge "With SANITIZE_TARGET, move shared libraries to /data."

Clean intermediate files if SANITIZE_TARGET has changed.

Do not clean installed files, only intermediate files. This way, two
consequitive builds first without, then with SANITIZE_TARGET will
produce a frankenbuild with both sets of shared libraries.

Bug: 21785137
Change-Id: I231868b15331be942c783458cf36233c2e7740d3

With SANITIZE_TARGET, move shared libraries to /data.

A fully (or even mostly) asan-instrumented device will have 2 copies of each
shared library, which might not fit on system partition. Moving instrumented
libraries to /data.

Bug: 21785137
Change-Id: I64184261da2eb24a1382c67e4931c34a5a38b3c0

Merge "Enable SANITIZE_TARGET."

Merge "Add support for `LOCAL_SANITIZE := integer`."

Add support for `LOCAL_SANITIZE := integer`.

This also does a bit of cleanup in config_sanitizers.mk. The result is
that `LOCAL_SANITIZE := <any arbitrary ubsan group>` should function
fine for both host and target.

This is a superset of LOCAL_DETECT_INTEGER_OVERFLOWS, so remove that.
This also checks integer division by zero.  It's supposed to cover
shifting undefined behaviors as well, but apparently it does not
(though `LOCAL_SANITIZE := shift` works fine).

Change-Id: I4ac99eafa6920a3f8cb82af37ce56ff0fdb95223

Merge "Cleanup unused clear_vars.mk entry."

Cleanup unused clear_vars.mk entry.

Change-Id: Ibd7b87d1364a60289609a267a287c4afa1d5e5cb

Add android.hardware.ethernet.xml for ranchu targets

This commit adds android.hardware.ethernet.xml file for ethernet
permission to PRODUCT_COPY_FILES which will be copied to
/system/etc/permission folder on the target. Reason for adding
this permission file is for enabling the ethernet and having
functional networking until RIL backend support in ranchu is
implemented.

This requires dhcpcd_eth0 service definition in init.ranchu.rc.

Architectures that use goldfish emulator do not need ethernet
support, because networking is provided by RIL.

Change-Id: I7972f80cf78c0fdecf3fde45bf018230bbcefd38

Enable SANITIZE_TARGET.

The same as SANITIZE_HOST, but for the target.
Also, skip all LOCAL_FORCE_STATIC_EXECUTABLE targets, as ASan does not
support static linking.

Bug: 21785137
Change-Id: Ief53ff8de1fee18f230d6c7dd31845db5bbd415c

Merge "Really include drawables for all densities."

Really include drawables for all densities.

Previously with "PRODUCT_AAPT_CONFIG := normal" resource with modifier
"small" isn't included.

Bug: 21643610
Change-Id: I53940d716fb9705462b1abb882e04103e211f8af

Merge "Remove LOCAL_ADDRESS_SANITIZER."

Merge "Stop disallowing sanitizers."

Merge "Revert "[MIPS] Do not use compact branches until GDB supports them""

Revert "[MIPS] Do not use compact branches until GDB supports them"

This reverts commit 063ef3308992ce67c9a72c351978c3b7d2346e94.

Remove LOCAL_ADDRESS_SANITIZER.

I've migrated all users of this to the new option now, so we can drop
this.

Dropping `SANITIZE_HOST := true` will have to wait until the build
server configs have been updated.

Change-Id: I591436e197a6c6c079a6cd6a2decb702b574cd71

Stop disallowing sanitizers.

Change-Id: I641cb3fe998184f8926324e3365a7a99d87263df

Merge "Remove copy & paste cruft from the mips64 combo."

Remove copy & paste cruft from the mips64 combo.

libthread_db hasn't been in bionic for years.

Change-Id: Ibc036d894c6b6bf9ee4653f95ff7a000a223cb2e

Merge "Fix libdl inclusion for default-ub."

Merge "Add support for LOCAL_DETECT_INTEGER_OVERFLOWS"

Add support for LOCAL_DETECT_INTEGER_OVERFLOWS

Add build system support for LOCAL_DETECT_INTEGER_OVERFLOWS. When enabled,
an attempt to perform an integer arithmetic operation which overflows
will result in a call to abort(). This is intended for security
sensitive code, where integer overflow operations are not expected
nor desirable.

Two classes of underflows/overflows are detected and blocked:

1) Signed integer underflow/overflow.
2) Unsigned integer underflow/overflows.

Signed integer overflows are undefined behavior, according to the
C standard. Unsigned integer overflows are defined behavior, but
still undesirable in security sensitive code.

Only clang is supported today. gcc has -ftrapv for handling signed
integer overflow, but it's widely considered broken
(https://gcc.gnu.org/bugzilla/show_bug.cgi?id=35412) and we're
deliberately avoiding it's use here.

Change-Id: Ib4918dc84e37e83d4205e5035544545d91671e5f
Vaguely-Related-Bug: 11859726

Fix libdl inclusion for default-ub.

We shouldn't be using ldlibs for target libraries because it doesn't
add a real dependency.

Change-Id: Ib1ec40b95356feb521e95674b64d04d5ecc06332

Merge "Force some clang Werrors that *will* break things."

Merge "selinux: add tools to dev path"