Fix link_type checking

This was printing "error:", but not actually triggering an error.
Instead of trying to write a single line bash script to handle this,
move the actual check into python. This allows us to print all of the
errors for a single module before triggering the failure.

Also updates the warning format and the warn.py script to properly parse
these warning. Many of the java:sdk -> java:platform warnings are false
positives due to the lack of LOCAL_SDK_VERSION markings on prebuilts.

Individual tags can be marked as warnings now, which lets us check for
system libraries linking against vendor libraries (which won't work on
AOSP). I'm not sure this is a completely valid check, which one reason
that it's just a warning.

Test: m all_link_types (with some missing libs commented out)
Change-Id: I333e418c9a4511b7c7e826891ae481da08fbf6f9

Merge "Emit a table of warnings by project and severity."

Merge "Fix shared library install dependencies outside of /system"

Fix shared library install dependencies outside of /system

For properly picking the shared library install dependencies, HOST_OUT
and HOST_CROSS_OUT are necessary so that we don't add a dependency
between Linux and Windows. But for target modules, we must use
TARGET_OUT_ROOT instead of TARGET_OUT, or modules in /data and /vendor
won't have proper install dependencies.

Bug: 31462199
Test: m bionic-unit-tests; manual diff of generated ninja file
Change-Id: I828fa2664613296cc6c431813f5657abffdd2b8f

Merge "Implement path-based enabling of code coverage."

Merge "Fix building static linux binaries"

Fix building static linux binaries

BUILD_HOST_static has been broken because I was stripping
-Wl,--start-group/-Wl,--end-group into a separate set of ldflags instead
of keeping them wrapped around some of the ldlibs. So don't pass some of
the build system flags through the ldlibs checker.

Bug: 30898128
Change-Id: I332b42679695cdc5da3cb0036290b6a3544699c0

Implement path-based enabling of code coverage.

Native coverage is enabled by setting NATIVE_COVERAGE to true
and specifying a list of paths in the COVERAGE_PATHS
environment variable. Files are exported to a zip file in the
target out directory.

Change-Id: I66a2ddd88e849bec1cc0cdae1b51fe18a007e2c3

Emit a table of warnings by project and severity.

* Use 't1' CSS class for main warning tables,
  and default table style for new warning count table.
* Count total skipped warnings.
* Append count of warnings in each severity header.
* Fix some skipped warning patterns and count/dump skipped warnings.
* Add dumpskippedanchors function to fix expand_collapse
  error when --byproject flag is used and severity.SKIP
  is not emitted.
* Minor coding style changes:
  * Loop through severity.kinds.
  * Remove unused import.
  * Add spaces around assignment operators.
  * Adjust indentation.

Bug: 31377083
Test: run warn.py with build.log
Change-Id: I68949edc4601b10ea2f7ac84e48e6c3da4ab1e4f

Merge "Remove incremental workaround for aapt overlays"

Remove incremental workaround for aapt overlays

This workaround to clean package intermediates is no longer necessary,
as ninja reruns commands whose command line changes.

Test: switch between product overlays that use add-resource, verify
      R.java is regenerated.
Change-Id: Icb1f76360e39882e4401180414a031956777b020

Merge "Remove speex from the pathmap"

Remove speex from the pathmap

libspeexresampler uses LOCAL_EXPORT_C_INCLUDE_DIRS to export this path
to all of its users already.

Test: m libaudiopreprocessing libaudioutils
Change-Id: I682303142840d6f0f02c990de8e713620840bbda

Merge "Update NDK gtest lib names."

Merge "Fix libgcov.a dependency"

Fix libgcov.a dependency

Now that Soong is generating libgcov.a, we need a dependency here.

Change-Id: Ie8d97339fd584eed178cc57b9333d38754ab1135

Merge "Update build rules for VDEX"

Merge "Remove global linker search paths"

Remove global linker search paths

Remove the global linker search path, as it can cause spurious build
failures.  If a library with the same name as a system library is in the
process of being written to the directory in the global search path, and
the linker may try to read the partially-written built one instead of the
system one.  We already use full paths to libraries for target builds,
do the same for host builds.  Also remove the normalize library
functions, they are no longer necessary.

Test: m -j checkbuild
Bug: 31393456
Change-Id: If9fc631e111f568c700fd73e103445c30d7e9d11

Update build rules for VDEX

ART now produces a new output file called VDEX, produced alongside the
existing OAT file. This patch updates the relevant build rules.

Bug: 30937355
Change-Id: Ib6be9f8f36c8f061dbbebd72cb55a5d4b6dc27eb

Update NDK gtest lib names.

The NDK gtest libs are always suffixed to simplify the make macro
that generates the test modules.

Bug: http://b/16574165
Change-Id: I1c9647e90aff2f1e9da4a88cad30199b1e423757

Merge "Prevent Kati from seeing MAKEFLAGS"

Prevent Kati from seeing MAKEFLAGS

We never want Kati to see MAKEFLAGS, as forcefully overriding variables
is terrible. The variables in MAKEFLAGS are still available in the
environment, so if part of the build wants input from the user, it
should be explicitly checking for an environment variable or using ?=

This commit shouldn't actually change any behavior -- the version of
Kati checked into our tree doesn't actually read MAKEFLAGS (the latest
version does, which is why this change is necessary). We're also already
clearing MAKEFLAGS during makeparallel, so the USE_GOMA case already
doesn't pass through MAKEFLAGS.

Test: Manual $(warnings $(origin MYTEST) $(MYTEST)) with old and new Kati
Change-Id: I5e4ffa66b3539a539cc7a26da24645b11445c469

Merge "Blacklist the GOMACC_PATH environment variable"

Merge "Define DEFAULT_TIDY_HEADER_DIRS."

Blacklist the GOMACC_PATH environment variable

The clang compiler wrapper will be looking for this environment
variable, but it should only ever be set by the `gomacc` in CC_WRAPPER.
Make sure that it isn't otherwise set in the environment.

Change-Id: I4b26c7183bc47f71dffa7dfcc2e5b08e840a11b1

Merge ""SignApk" in Created-By header"

Merge "Build symlinks for -host and -target phony modules"

Build symlinks for -host and -target phony modules

Move extra module dependencies like symlinks from dependencies of
$(my_register_name) to $(my_all_targets), and make $(my_register_name)
and other convenience phony modules depend on $(my_all_targets).  Move
$(LOCAL_MODULE)-host/-target to depend on $(my_all_targets) instead of
directly depending on the built and installed modules.

Change-Id: I3b093986db7a1bff118f1f2482275f0997a98fb6

"SignApk" in Created-By header

The switch to apksig changed the Created-By header value in .SF file
from "1.0 (Android SignApk)" to "1.0 (Android apksigner)". This commit
reverts the value back to "1.0 (Android SignApk)".

Change-Id: I2fc462cade40a5b31bb6191996fd6f18fabbf08f

Merge "Add tool to copy files in to fat16 images"

Merge "Recognize new clang-tidy and Java warnings."

Recognize new clang-tidy and Java warnings.

Test: run warn.py with build.log
Change-Id: I11ff844bcfd7fb13aef8909307bc7eb1f5ee9b2a

Define DEFAULT_TIDY_HEADER_DIRS.

Let clang-tidy report warnings in header files in the
system and current directories but not the external
and vendor directories.

Test: build with WITH_TIDY=1
Change-Id: I1723b8eb95948961fb7164a19989e0a926e5bf8a

Merge changes I65c3fa9a,Id1ea5e8b

* changes:
  Pair mips64r6 with mips32r2 on Aosp
  Allowing pairing mips64r6 with mips32r1 and r2

Merge "Use full path in symbols zip file"

Use full path in symbols zip file

This was accidentally changed when moving to soong_zip.

Change-Id: I5f889c3c83b6f888e765d4c35486576fa11f6945

Merge "Remove HOST_PREFER_32_BIT"

Merge "Create sub-directory for fuzzers under nativetest."

Add tool to copy files in to fat16 images

fat16copy.py can be used to copy files or directories in to the root of
a fat16 image.

Usage: fat16copy <image> <file> [<file> ...]

Test: Used to compose a Raspberry Pi 3 boot image
Bug: 28912590
Change-Id: I29c9eec3786e2c5cc94f9a160360bac850809a93

Create sub-directory for fuzzers under nativetest.

This CL changes BUILD_FUZZ_TEST to generate binaries in a
sub-directory called fuzzers/ under the nativetest directory. This
allows fuzzers to be distinguished from the other native tests and
makes it easier to perform automated fuzz-testing.

Bug: 25714111
Change-Id: I452e43f15728ec9168dd44776b6ffcea6037fa7f

Remove HOST_PREFER_32_BIT

HOST_PREFER_32_BIT was used during the switch to 64-bit host tools to
keep the SDK building as 32-bit, but is never set any more.

Change-Id: I874f89c7d1e9cd8c9d4c879048d81a4362ce4dce

Merge "build_image: add padding to match partition size"

build_image: add padding to match partition size

For some partition sizes, we currently build an image that's 1-2
blocks smaller than the actual partition, which causes fs_mgr to
not find metadata. This change adds padding to FEC metadata that
correctly positions the metadata header at the end.

Bug: 28865197
Change-Id: Ie0e044715a9c5ae8ba395e7d2ff9fbd7cffc0b4c

Merge "Walk up tree to find makefiles in mma"

Walk up tree to find makefiles in mma

Call findmakefile in mma to walk up the tree to find the nearest
makefile.  Fixes mma in subdirectories of directories that have
Android.mk or Android.bp files.

Change-Id: I6fa509171699071fc34a2a75dd7e191d4ddca31a

Merge "Canonicalize mmm path"

Merge "Don't double-wrap with gomacc"

Canonicalize mmm path

Canonicalize the mmm path relative to the top level before creating the
MODULES-IN-dir target.  Fixes cd frameworks/base; mmm -j .

Test: cd frameworks/base; mmm -j
Change-Id: If7bc321e8a87b76121f876bf4bc296b0f9b80578

Merge "Create more shortcut phony targets"

Don't double-wrap with gomacc

config.mk is parsed by make and then kati, and goma.mk appends to
CC_WRAPPER.  Only export it from make so gomacc doesn't appear twice on
the command line.

Bug: 31142427
Change-Id: I5ad97ee3a00b013faa620215c839499b48528e00

Merge "Enable goma in soong"

Enable goma in soong

Pass the USE_GOMA flag to soong, and export the CC_WRAPPER environment
variable after adding gomacc to it.

Bug: 31142427
Change-Id: I6de698a40817c0615b03fa17bd27075465d79ffd

Merge "Simplify Soong bootstrapping"

Simplify Soong bootstrapping

Now we only run the "main" stage from Soong once, and only when combined
with the Kati ninja file. So we can now depend on pools or rules defined
by Kati in Soong.

Change-Id: I7a8fd699ddc0d41bbcbbf3c6f2edb9e26ccfc4c9

Create more shortcut phony targets

Create shortcut phony targets for the host and device halves of
modules.

Change-Id: I1cf3a49118db830d78a1b83b2177715175949871

Merge "Check USE_GOMA consistently"

Merge "Switch to prebuilt clang-3217047"

Check USE_GOMA consistently

Currently, the only way to properly disable goma is to unset USE_GOMA.
If you set USE_GOMA=false, we won't turn on goma, but we'll pass -j500
to ninja.

Test: USE_GOMA={x,false} m -j48 showcommands (inspect)
Change-Id: I6b327d08ebadbe614a3bf7646fd597054bbfaaa2

Merge "Identify modules ready to be converted to Soong"

Switch to prebuilt clang-3217047

Bug: http://b/30421084
Change-Id: I41acd016992a0c5043b6ea018f205fad44c88b9e
Test: Tested build, boot and common usage for several devices in AOSP
and internal branch.

Identify modules ready to be converted to Soong

The output will be in the `m dist` results as soong_to_convert.txt, or
can be built using:

  $ m $OUT/soong_to_convert.txt

The output is a list of modules that are probably ready to convert to
Soong:

  # Blocked on Module (potential problems)
           283 libEGL (srcs_dotarm)
           246 libicuuc (dotdot_incs dotdot_srcs)
           221 libspeexresampler
           215 libcamera_metadata
               ...
             0 zram-perf (dotdot_incs)

The number at the beginning of the line shows how many native modules
depend on that module.

All of their dependencies have been satisfied, and any potential
problems that Make can detect are listed in parenthesis after the
module:

  dotdot_srcs: LOCAL_SRC_FILES contains paths outside $(LOCAL_PATH)
  dotdot_incs: LOCAL_C_INCLUDES contains paths include '..'
  srcs_dotarm: LOCAL_SRC_FILES contains source files like <...>.c.arm
  aidl: LOCAL_SRC_FILES contains .aidl sources
  dbus: LOCAL_SRC_FILES contains .dbus-xml sources
  objc: LOCAL_SRC_FILES contains Objective-C sources
  proto: LOCAL_SRC_FILES contains .proto sources
  rs: LOCAL_SRC_FILES contains renderscript sources
  vts: LOCAL_SRC_FILES contains .vts sources

Not all problems can be discovered, but this is a starting point.

Change-Id: I45674fe93fd267d4d1fb0bc3bc9aa025e20c5ac6

Merge "Export TARGET_PREFER_32_BIT_EXECUTABLES to soong"

Export TARGET_PREFER_32_BIT_EXECUTABLES to soong

Change-Id: I1427d88c7539c5ed0c4c238bad4a28f73d29ef0f

Merge "Install symlinks when using shortcut phony targets"

Merge "Suppress clang-tidy checks in frameworks/compile/mclinker."

Install symlinks when using shortcut phony targets

Make symlinks an order-only dependency of the module name phony target
so that they get installed with make module or make MODULES-IN-path.

Test: mmma -j art/dalvikvm, remove symlink in $OUT and retry
Change-Id: Iae472a1c8fa1e8386cc9556cfe819bd4fca99428

Merge "Don't regenerate userdata.img when signing"

Merge "Recognize new warning messages."

Recognize new warning messages.

* Generalize regular expression to match new warning messages.
* Remove old unused pattern.

Change-Id: I54f2e5bdb255b290cb3751ba56558f5fe8d7245e
Test: Run warn.py with build.log

Don't regenerate userdata.img when signing

The userdata.img and cache.img entries are not useful in signed builds;
because fastboot doesn't look at these two entries in the *img.zip when
flashing a device. And they aren't used elsewhere. Therefore, skip
building the image files for them when signing the target files with
sign_target_files_apks. Also, add an option "--is_signing" to avoid
adding these two images when we call add_img_to_target_files.

Change-Id: I39ba91a86d9a856d7d01771f6d1403dbf21f2011
Test: Run sign_target_files_apks on a target file and userdata/cache.img doesn't not generate.
Bug: 30642470

Merge "Allow selection of prebuilts min sdk"
am: 624619d4d0

Change-Id: I54df2acb3003c0222b3f3d909d3f9c80dfda493d

Merge "Allow selection of prebuilts min sdk"

Suppress clang-tidy checks in frameworks/compile/mclinker.

Too many warnings need to wait for upstream changes.
Test: build with WITH_TIDY=1.

Change-Id: I0b1272049ad757670182668db130512a538b3096

Merge "List partition_table.bpt as an output of running bpttool"
am: aba93cf736

Change-Id: Ib986d3551a2bfff5ce813139380378b11dd84d82

Merge "List partition_table.bpt as an output of running bpttool"

List partition_table.bpt as an output of running bpttool

Change-Id: I8bb1e03e451bf148e421ecac346bf20ce5d4695b
Test: Verified builds can now depend on partition_table.bpt
Bug: 30971990

Merge "releasetools: Allow creating target_files with ZIP64."
am: 794c69e603

Change-Id: I94eac12de16cac4e4034d933f83fbfa61ca20591

Merge "releasetools: Allow creating target_files with ZIP64."

releasetools: Allow creating target_files with ZIP64.

add_img_to_target_files.py fails when the target_files.zip is over 4GiB
when adding IMAGES/ folder. Specify the flag to allow creating
target_files.zip with ZIP64 extension.

Other zip artifacts (-img.zip, -ota.zip etc) remain in non-ZIP64 format.
zip2zip is not affected, which still creates non-ZIP64 zips even when
copying from target_files in ZIP64.

Bug: 30961841
Test: "make dist" with large system image and check the artifacts.

Change-Id: I0568745f01ef8f0239081f783eac92288d4fdd84

Allow selection of prebuilts min sdk

Bug: 30966099

Change-Id: I55128d5a321bd65b4e12b90afbf7efe8ccb35829

Merge "Clarify default tidy check lists."
am: ce4c49c2f2

Change-Id: If0641d286d6f1fefa871a18c21282f4fcd10d8a1

Merge "Support dist-ing the userdatatarball"
am: 9abbeb3d8f

Change-Id: I0dac58c2eed164247fe595da6897ff00f0786e18

Merge "Remove spaces in tidy check list."
am: e7bca12466

Change-Id: I852d42992bc1ddb0a17dd1dcf03cf25f1d114552

Merge "Clarify default tidy check lists."

Merge "Support dist-ing the userdatatarball"

Merge "Remove spaces in tidy check list."

Support dist-ing the userdatatarball

So that we can get to the contents of userdata from the build server
without extracting the image.

Bug: 27719200
Test: m userdatatarball dist
Change-Id: I1438597bd29df80665571f7dc3b4957b9adde870

Remove spaces in tidy check list.

This will allow spaces in LOCAL_TIDY_CHECKS.

Bug: http://b/27779618
Change-Id: I6f9b133220e49b2581a06d2fd9083a1d6b7badca
Test: build with WITH_TIDY=1.

Clarify default tidy check lists.

* Sort all enabled and disabled checks.
* Disable google-default-arguments for external and vendor projects.

Bug: http://b/27779618
Change-Id: I59e6eaf84fddf54bd89eb71a2189d73b64968057
Test: build with WITH_TIDY=1.

Merge "Fix GET-INSTALL-PATH to work with Soong"
am: 6b9aa6938d

Change-Id: I9f433cb383846ec6ccb8e39be4b30110d60d54fd

Merge "Fix GET-INSTALL-PATH to work with Soong"

Merge "Replace META/care_map.txt when signing target files"
am: 7b11cacbba

Change-Id: Ia8e888a0f330d00f6518e352356ca480819586db

Merge "Replace META/care_map.txt when signing target files"

Fix GET-INSTALL-PATH to work with Soong

This was printing all of the Soong modules in addition to the modules
defined in the ONE_SHOT_MAKEFILE. So replicate what we did with
MODULES-IN-* with GET-INSTALL-PATH-IN-* and update all the users.

Bug: 30191725
Change-Id: Ib1e4bf00f64d7a3e8cd91f44eaf1ff82fdfbf162

Replace META/care_map.txt when signing target files

Do not copy the "META/care_map.txt" from the source zipfile when
signing the target files with sign_target_files_apks. Because we'll
generate a new care_map after rebuilding the system/vendor images;
and we'll write the new "META/care_map.txt" to the signed-target-file.

Change-Id: I6919cfdf8314a4084b5f612a9c89469f391486a4
Test: Run sign_target_files_apks locally, and the entry is updated.
Bug: 30812253

Merge "Fix discrepancy in SANITIZE_TARGET format with soong."
am: 0d86fc57cd

Change-Id: Ib643a2d9682eabd494f40a0d5b7fbaeb42583d30

Merge "Fix discrepancy in SANITIZE_TARGET format with soong."

Merge "releasetools: Update the path to /default.prop for A/B devices."
am: 6d64ff1bf7

Change-Id: I1deeff5d22454c1fae5b450dbf2e6a35ffbc6227

Merge "releasetools: Update the path to /default.prop for A/B devices."