Improve concurrency for JAR entry inspection requests.

This moves the creation of potentially expensive objects from the
thread which creates JAR entry inspection requests, to the thread
which fulfills these requests, increasig concurrency opportunities.

Bug: 27461702
Change-Id: If753b2de7fb04ee5e2e4bbcb27d42269d7fa5def

Merge "Offer an ApkSignerEngine implementation."

Offer an ApkSignerEngine implementation.

This adds an implementation of ApkSignerEngine to the apksigner-core
library.

Bug: 27461702
Change-Id: I5f977b98555ca507a0dfcd3e92eecb9758aa8370

Merge "Correct some dependencies around zip packages"

Merge "Include BRILLO_VENDOR_PARTITIONS in target zip generation"

Merge "Add misc-macro-parentheses to default tidy checks."

Add misc-macro-parentheses to default tidy checks.

* Disable this check in external projects.

Bug: 28705665
Change-Id: Ia44a15765fd637dae36b5e0f2b59ee4280b139c9

Merge "Fix misc-macro-parentheses warnings."

Include BRILLO_VENDOR_PARTITIONS in target zip generation

This change will enable the target zip to include partition defined in
BRILLO_VENDOR_PARTITIONS. This is necessary for OTA to support
partitions other than boot and system in ab_partitions.txt.

The target zip will include images in BRILLO_VENDOR_PARTITIONS if
defined, under VENDOR_IMAGES/ with path kept. Also any vendor partitions
defined in AB_OTA_PARTITIONS will be copied to IMAGES/ in the target zip.

BUG: 28623063
Change-Id: Ic479048dfb8ac506acf827865e784fcb0432a1d5

Merge "Add code search links to warnings."

Fix misc-macro-parentheses warnings.

Add parentheses around macro arguments used beside binary operators.

Bug: 28705665
Change-Id: I8594b9463e2389a46d6e0235757b93de065cd007

Correct some dependencies around zip packages

Add scripts which creates these packages to their dependencies.
$(SYMBOLS_ZIP) contains symbol info of the updater binary so
it should depend on it.

Bug: 27954979
Change-Id: If78746ec843dd57fe5fdda3ed504a12bb298ea1d

Merge "Revert "Include vendor partitions in target zip generation""

Revert "Include vendor partitions in target zip generation"

This reverts commit 421fe44ae8e90a85b7f60ee6942687a51771b8b5.

Change-Id: Id45781de73735783bc7dfb6fc2838957578d00d3

Add code search links to warnings.

Add argument parsing using the argparse library.
Make HTML easier to read by adding a \n after each table row.

Change-Id: I6b745fc60afb96fb51e5f69df7d607b5fb8da0e5

Merge "Include vendor partitions in target zip generation"

Merge "Add a 32-bit x86_64 arch variant"

Merge "Do not apply -Wl,--fix-cortex-a8 to Cortex-A9"

Do not apply -Wl,--fix-cortex-a8 to Cortex-A9

Change-Id: I11d380163423cb4aa0fee60ecbaa1e38fa5143a1

Merge "Add error prone patterns to warn.py"

Add a 32-bit x86_64 arch variant

The current 32-bit configuration for generic x86_64 targets inherits some
variables (SSE4 support) from the 64-bit configuration, and overrides
the make variables used for other configurations (SSSE3). Ideally, these
would be using different variables, but until then, unify the
configuration for x86_64 targets so that everything is consistent.

Bug: 28694691
Change-Id: I47e67299d4c632e7491d7e73dc0fc6480ef08006

Add error prone patterns to warn.py

Bug: 28681096

(cherry picked from commit df79adacaba2d8aebadea2cc638adbe4fd6074bb)
Change-Id: I06ac0ed4593b03cea0a8163ca85e393ff1358855

Merge "ApkSignerEngine abstraction for apksigner-core library."

Include vendor partitions in target zip generation

This change will enable the target zip to include partition defined in
BRILLO_VENDOR_PARTITIONS. This is necessary for OTA to support
partitions other than boot and system in ab_partitions.txt.

BUG: 28623063
Change-Id: I6e0969c31c9ad2e8285c6f560825c160aa8c4d55

Merge "Sort warnings with most frequent first."

Sort warnings with most frequent first.

Change-Id: Id608c20d065bec83dcb2993658cc743d5e9dcb46

Merge "Fix build system documentation example"

Merge "Remove -mcpu=cortex-a15 when adding -mcpu=krait"

Merge "Revert "[MIPS] Temporarily disable Mips shared-textrel errors""

Remove -mcpu=cortex-a15 when adding -mcpu=krait

This is not necessary, since the later -mcpu=krait will override the
earlier -mcpu=cortex-a15, but is cleaner (and matches Soong).

Change-Id: I18301faf8a5cb5364617b3008bc8af461b7884f8

ApkSignerEngine abstraction for apksigner-core library.

This adds the ApkSignerEngine abstraction to the apksigner-core
library. This abstraction enables the separation of
parsing/building/writing of an APK from signing the APK.

Users of ApkSignerEngine invoke it during specific I/O events (e.g.,
JAR entry encountered in input APK, all output JAR entries ready).
The engine responds by occasionally providing instructions about what
to do next. For example, it may provide JAR entries to be added to
the output APK, thus making the output APK signed.

The default implementation of ApkSignerEngine will be provided in  a
follow-up commit.

Bug: 26516150
Bug: 27461702
Change-Id: Ia85fd09497a6e2ff3103ba10c53a1848ba731f7b

Merge "APK Signature Scheme v2 signing logic for apksigner-core."

Revert "[MIPS] Temporarily disable Mips shared-textrel errors"

This reverts commit 3dfd20aea49cf6ff75aa41e337ae8dd9817e6428 - the clang
version we are using has the mentioned permanent fix. The new build
system (Soong) uses a single list of unknown clang flags for all
architectures, so workarounds like this no longer work.

Change-Id: I64a83f3b52a9ca1d11a76df5a060a36f42e27e4b

APK Signature Scheme v2 signing logic for apksigner-core.

apksigner-code library will offer a high-level primitive (future
commit) for signing APKs. This is meant to be used by
build/tools/signapk and Android Studio's APK builder/signer.

This commit adds a lower-level APK Signature Scheme v2 (aka v2
signing) code which will be used by the future APK signing abstraction
exposed by this library.

All classes (except DataSource and DataSources) added by this commit
are internal (i.e., implementation details of this library). Clients
of this library should not be using these classes.

Bug: 26516150
Change-Id: I98d4da0666cf122667c67565108ea4fb28ac51e6

Merge "Remove arm-specific -Wno-psabi"

Fix build system documentation example

The input and output file paths were mixed up in this example. Properly
indicate the input file as a dependency.

Change-Id: I71271025c6ce3ef8f82b10aee91fc0c7ae8f2399

Remove arm-specific -Wno-psabi

This flag was added to stop a GCC 4.4 specific warning. Since we've
upgraded, this flag is no longer necessary. It's already stripped for
clang builds, and I found no instances in the logs after removing it.

Change-Id: If5316d2eb8066dc43d7af7aebc7e4920b4ada192

Merge "Harden dependency on generated sources."

Merge "Avoid accidentally using the host's native 'as' command."

Harden dependency on generated sources.

Previously if a library has custom generated headers in
LOCAL_GENERATED_SOURCES and export its include path with
LOCAL_EXPORT_C_INCLUDE_DIRS, there is almost no way for the users of the
library to set up dependency of their object files on the generated
headers.
This change makes the generated sources dependency of the library's
export_includes, which is guaranteed generated before client code gets
compiled.

Also we added proto-generated cpp files to my_generated_sources so that
we can deal solely with $(my_generated_sources). Because many
Android.mks assume the generted .pb.hs are in $(generated_sources_dir)
instead of $(intermediates), we have to generate the source files in
$(generated_sources_dir) and make a copy in $(intermediates).

Bug: 28622149
Change-Id: I73b21443fa706f3735faf16356ed8c08fbfecca6

Merge "Only pass NINJA_ARGS to the main ninja compile"

Only pass NINJA_ARGS to the main ninja compile

This way commands like "-t query <target>" will work against the main
build, instead of failing to find the target during the initial soong
build and stopping.

Change-Id: I9b6bd6ac431b95e12db69ec7f272669b9d292761

Avoid accidentally using the host's native 'as' command.

When invoking clang for the host to assemble .S files, the -B flag
would not be provided, which allowed the host prebuilt clang to
use an 'as' from the native environment. Most of the time this
"just works", but some newer 'as' versions cause problems with
the older prebuilt toolchain, for example by generating
unsupported relocation types.

To avoid this problem, simply use the -B flag to tell clang to
invoke the assembler from the correct prebuilt gcc prefix.

Change-Id: I18ea4f37ae637b652cfd7321c41929f8be075342
Signed-off-by: Alistair Strachan <alistair.strachan@imgtec.com>

Merge "JAR signing logic for the apksigner-core library."

Merge "SHA-256 with ECDSA supported only on API Level 21 and higher."

Merge "Update prebuilt build tools path"

JAR signing logic for the apksigner-core library.

apksigner-code library will offer a high-level primitive (future
commit) for signing APKs. This is meant to be used by
build/tools/signapk and Android Studio's APK builder/signer.

This commit adds a lower-level JAR signing (aka v1 signing) code which
will be used by the future APK signing abstraction exposed by this
library.

All classes added by this commit are internal (i.e., implementation
details of this library). Clients of this library should not be using
these classes.

Bug: 26516150
Change-Id: I5cecd435e63aab206d63868be5e0d0e289e7c423

Merge "Pass SANTIIZE_HOST and SANITIZE_TARGET to soong"

Update prebuilt build tools path

Build tools have been moved from prebuilts/sdk/tools to
prebuilts/build-tools.

Bug: 27857138
Change-Id: I60be42c197d420897dab77808c25818c9d2e81df

Merge "Update RS to use latest Clang-2812033 prebuilts as well."

SHA-256 with ECDSA supported only on API Level 21 and higher.

Turns out APK signatures using SHA-256 with ECDSA are accepted only by
platforms with API Level 21 and higher, not 18 and higher.

Bug: 28296599

Change-Id: I3fab5be17bf3a9bdbf4d84d90d51448027c7e761

Merge "Update path to reverse_path.py"

Merge "Separate logic for alg selection for OTA and APK signing."

Update path to reverse_path.py

Change-Id: I98902e94a99fae7f9e738a872a83acb98d32c781

Merge "old-cts: Add testng and libcoreoj test support"

Merge "Initialize an uninitialized field in ijar"

Initialize an uninitialized field in ijar

The upstream patch was merged:
https://github.com/bazelbuild/bazel/commit/a5004430338bc72817c7

Bug: 28347190
Change-Id: I9b8b9bc830bd16299b94e8c92c22dba8aa36affb

Merge "Fix google-explicit-constructor warnings."

Merge "Suppress google-* checks in vendor modules."

Update RS to use latest Clang-2812033 prebuilts as well.

Change-Id: I62e294e2b8c882c235a6ac7518fa352acd46e055

Suppress google-* checks in vendor modules.

Too many warnings in vendor code that we cannot fix yet.

Bug: http://b/27779618
Change-Id: I8b65b1fd55c4e4d0dadf0617ab25962809237309

Fix google-explicit-constructor warnings.

Bug: 28341362
Change-Id: I72bdd1df09cea91743aa89dab4cb0b9db2657e2d

Merge "zipalign supports -p also when checking alignment."

zipalign supports -p also when checking alignment.

This updates the usage banner of zipalign to state that the -p switch
is supported in check alignment mode.

Change-Id: I119026b0e09e5a2528646e88a9b58dbb79c0c17c

Merge "Switch to clang-2812033."

Merge "Use strip mode mini-debug-info by default except on mips."

Merge "Warn if there is file with unknown suffix in Java module's sources."

Use strip mode mini-debug-info by default except on mips.

Bug: 27923447
Change-Id: I818dea44f126155b4b9b3cd929823d8eda1a1174

old-cts: Add testng and libcoreoj test support

Bug: 27521545
Change-Id: I2a954401ce47604987a437a2741bcab252d32707

Warn if there is file with unknown suffix in Java module's sources.

This helps catch extra ) at the end of LOCAL_SRC_FILES.

Bug: 28389144
Change-Id: I0ab536b5bb47338ebf5bdf531835d58f527ccf67

Merge "ccache: Allow external setting of CCACHE_COMPILERCHECK variable"

Switch to clang-2812033.

Bug: http://b/25291096
Change-Id: I630b7e8a682e3c3b82ad9837b664c1155497618f

Merge "Add tidy.mk to set up global default checks."

Add tidy.mk to set up global default checks.

* Default checks include only google* minus google-readability*.
* Some google-* checks are disabled for external projects.
* Each project can add more or disable checks through LOCAL_TIDY_CHECKS.

Bug: http://b/27779618
Change-Id: I83eed73bd2bddaace565a6dde532fb2036b4fac4

Merge "target_files_diff: Fix the issue with file type change."

target_files_diff: Fix the issue with file type change.

When a file is switched from a regular file to a symlink, we should skip
the comparasion.

Bug: 28373409
Change-Id: I8fef00ab9f2d6f811fde1cadf595e8bd46af2dfd
(cherry picked from commit f31a6deeeeb896cc516c2f2f91ceff1fd0702938)

Separate logic for alg selection for OTA and APK signing.

The rules for which digest algorithms are accepted by the Android
platform for APK signatures and OTA update package signatures are
different. For example, the set of digest algorithms accepted for APK
signatures depends on the signing key algorithm and the platform's
API Level. Whereas the set of digest algorithms accepted for OTA
update package signatures by Recovery depends on the list produced
by the build system, which in turn produces the list based on the
key algorithm and digest used in the signing certificate.

To reflect this reality, this refactoring CL explicitly separates
signapk's logic for choosing the digest algorithm to use for v1
signing from its logic for choosing the digest algorithm to use for
OTA update package signing.

Bug: 28296599
Change-Id: Ic7aa77e89622d727e985f8749071284746be7f45

Merge "make croot slightly more useful"

make croot slightly more useful

Have croot take an argument of a directory to end up in,
so we can jump around the tree even faster.

Change-Id: Ieb6a8d47fee0412006a11192b29ed44604961312

Merge "Switch mips64 back to NDK r10."

Switch mips64 back to NDK r10.

The NDK doesn't support mips32r6, and the update of prebuilts/ndk to
r11 doesn't have the hack that r10 did. Revert back to r10, until we
decide on a more appropriate solution.

Change-Id: I7891603d8ccbb20398aad893b62c1debf353ef41

Merge "Update the path to clean_header.py on the documentation."

Update the path to clean_header.py on the documentation.

Bug: None
Change-Id: I8064c67b6066613b51a581ec67476797690418ae

Merge changes I6e98fc65,Ia8665e7c

* changes:
  Remove bootclasspath handling for Jack
  Remove static libraries from Jack classpath

Remove bootclasspath handling for Jack

Bootclasspath libraries are already added in LOCAL_JAVA_LIBRARIES by
java.mk and host_dalvik_java_library.mk meaning that bootclasspath
handling was just doing a duplicate work and adding duplicated entries
to the classpath.

Also fix order of bootclasspath libraries for host.

Bug: 28307907
Change-Id: I6e98fc651a127435c029de65285dbf2cb04844af

Merge "Call clang-tidy based on WITH_TIDY* variables."

Call clang-tidy based on WITH_TIDY* variables.

* Call clang-tidy before every C/C++ compilation if
  (1) clang-tidy is found at $(PATH_TO_CLANG_TIDY)
  (2) $(my_clang) is true
  (3) LOCAL_TIDY is 1 or true, or
      LOCAL_TIDY is undefined and WITH_TIDY is 1 or true.
* clang-tidy is called with -checks=$(my_tidy_checks),
  which has default '-*,google*,-google-readability*'
  and can be overwritten by WITH_TIDY_CHECKS.
* LOCAL_TIDY_CHECKS is appended to $(my_tidy_checks)
* Extra flags are passed to clang-tidy through
  WITH_TIDY_FLAGS or LOCAL_TIDY_FLAGS.
* To quickly find and fix clang-tidy warnings, set $(WITH_TIDY_ONLY)
  to 1 or true to skip compilation of C/C++ files.
* Add a PHONY tidy_only target,
  which includes all $(cpp_objects) and $(c_objects).
* The 'mm' and 'mmm' functions are changed to call make with
  the 'tidy_only' target when WITH_TIDY_ONLY is true or 1.
  In that case, only clang-tidy is called for C and C++ files.

Bug: http://b/27779618
Change-Id: I8adcfff217d68af49849b79aacee7d7654cafb1b

Remove static libraries from Jack classpath

Those libraries are already imported (or added to the classpath in the
case of the check command) meaning that they were all duplicated.
In addition to complicating the build this was also slowing down the
compilation.

Bug: 28307907
Change-Id: Ia8665e7c5ad8b567bd02de7839fa62e67a5668f7

Merge "Add input dependencies to .img targets"

Merge "Add normalize_path.py to prerequisites"

Merge "Allow to build native tests for translation arch only."

Allow to build native tests for translation arch only.

- To build a native test for translation arch only, use:
  LOCAL_MODULE_TARGET_ARCH := <translation arch>
- Also disable building .odex for translation arch for Java libraries.

Bug: 27526885
Change-Id: I063e8876781c4424da7abebf1b9b7cb842ce205f
(cherry-pick from commit d90eb21cd79fef3cc9566524d823cdf210799fcd)

Merge "Make jack_check_timestamp depend on setup-jack-server"

Make jack_check_timestamp depend on setup-jack-server

Some builds were failing with:
[  3% 2226/61362] /bin/bash out/target/common/obj/JAVA_LIBRARIES/core-all_intermediates/jack.check.timestamp.rsp
FAILED: /bin/bash out/target/common/obj/JAVA_LIBRARIES/core-all_intermediates/jack.check.timestamp.rsp
No Jack server running. Try 'jack-admin start-server'

While jack-admin was running concurrently:
[  3% 2226/61362] /bin/bash -c "(prebuilts/sdk/tools/jack-admin stop-server 2>&1 || (exit 0) ) && (prebuilts/sdk/tools/jack-admin kill-server 2>&1 || (exit 0) ) && (prebuilts/sdk/tools/jack-admin uninstall-server 2>&1 || (exit 0) ) && (prebuilts/sdk/tools/jack-admin install-server prebuilts/sdk/tools/jack-launcher.jar prebuilts/sdk/tools/jack-server-4.8.ALPHA.jar  2>&1 || (exit 0) ) && (mkdir -p \"/buildbot/dist_dirs/git_nyc-dev-mac-sdk_phone_armv7-sdk/2779793/logs/jack/\" ) && (JACK_SERVER_VM_ARGUMENTS=\"-Dfile.encoding=UTF-8 -XX:+TieredCompilation -Dcom.android.jack.server.log.file=/buildbot/dist_dirs/git_nyc-dev-mac-sdk_phone_armv7-sdk/2779793/logs/jack/jack-server-%u-%g.log\" prebuilts/sdk/tools/jack-admin start-server 2>&1 || exit 0 ) && (prebuilts/sdk/tools/jack-admin update server prebuilts/sdk/tools/jack-server-4.8.ALPHA.jar 4.8.ALPHA 2>&1 || exit 0 ) && (prebuilts/sdk/tools/jack-admin update jack prebuilts/sdk/tools/jacks/jack-2.28.RELEASE.jar 2.28.RELEASE || exit 47; prebuilts/sdk/tools/jack-admin update jack prebuilts/sdk/tools/jacks/jack-3.26.ALPHA.jar 3.26.ALPHA || exit 47; prebuilts/sdk/tools/jack-admin update jack prebuilts/sdk/tools/jacks/jack-3.27.BETA.jar 3.27.BETA || exit 47; prebuilts/sdk/tools/jack-admin update jack prebuilts/sdk/tools/jacks/jack-3.30.BETA.jar 3.30.BETA || exit 47 )"
Stopping background server
Killing background server
No Jack server to kill
Removing jack server from "/Users/android-build/.jack-server"
Installing jack server in "/Users/android-build/.jack-server"
Launching Jack server java -XX:MaxJavaStackTraceDepth=-1 -Djava.io.tmpdir=/buildbot/tmp -Dfile.encoding=UTF-8 -XX:+TieredCompilation -Dcom.android.jack.server.log.file=/buildbot/dist_dirs/git_nyc-dev-mac-sdk_phone_armv7-sdk/2779793/logs/jack/jack-server-%u-%g.log -cp /Users/android-build/.jack-server/launcher.jar com.android.jack.launcher.ServerLauncher

(cherry picked from commit febe2bcc217b3dc546ea7bbf0361261a7b482b17)

Change-Id: I406afc87b4f7dda49406c4e1674430d223914e8d

Merge "Enable asan/ubsan for mips"

Merge "Don't reset LOCAL_*MODULE_STEM."

Don't reset LOCAL_*MODULE_STEM.

By resetting we lose LOCAL_*MODULE_STEM values for the second include
of the *_internal.mk.
We don't need to reset because we now store the default value to a
temporary variable my_*module_stem in configure_module_stem.mk.

Bug: 27775991
Change-Id: I36d1ff3d177818677fb38bdb3d340dd2ff34c404

Merge "Make sure platform libraries are built, regardless of webview.apk"

Make sure platform libraries are built, regardless of webview.apk

Prebuilt WebView is missing for mips64 architecture. Allow device
to boot without it, by making sure platform support libraries are
part of the system image.

WebView APK can then be installed separately.

Change-Id: Iabbb5e6a4778b7542d24bb4f789a7be96232e50c

Add input dependencies to .img targets

They should have build/tools/releasetools/*.py as their
prerequisites.

Bug: 27954979
Change-Id: I51595fc91caaad38be3e47befb5df7ac2683bf14