Merge "Make room for AVB hashtree and metadata."
am: 70209ad9f0

Change-Id: Ib9da55a7dd11d94f2044493ed932069de6c6eb74

Merge "Make room for AVB hashtree and metadata."

Merge "Accept environment variables DEFAULT_*_TIDY_CHECKS"
am: 4b4b2da13d

Change-Id: I61b05ed9a74875c43ef268d67ee9e2e5d494c2ce

Merge "Accept environment variables DEFAULT_*_TIDY_CHECKS"

Make room for AVB hashtree and metadata.

While the system.img images currently built with AVB support verify
correctly, mounting the filesystem content fails. This is because
'avbtool add_hashtree_footer' used to claim some of the unused /
DONT_CARE space for stashing the verity tables and this resulting in the
mapped device ending up being smaller causing the mount failure.

Fix this by leaving enough room for AVB hashtree and metadata before
building the image. This is achieved by moving the AVB hashtree support
into build_image.py and using a just added '--calc_max_image_size'
option to 'avbtool add_hashtree_footer' to figure out how much space to
leave out.

This depends on https://android-review.googlesource.com/#/c/281821/

Bug: 31264226
Test: Mounting dm-verity set up from system.img now works.

Merged-In: I4c5de1004c1059f8c582e76b3b8517d427aa1a87

Change-Id: I945a5f1f6782791736cd319f216cfa6b448fb04d

Merge "Enable toc optimization for host builds"
am: 5d8c73e373

Change-Id: I0dae6e9a2d7e759b8c3860d3b4e7a85f04f5aecb

Merge "Enable toc optimization for host builds"

Accept environment variables DEFAULT_*_TIDY_CHECKS

* Define DEFAULT_GLOBAL_TIDY_CHECKS/DEFAULT_EXTERNAL_VENDOR_TIDY_CHECKS
  only if it is not already defined.

Bug: http://b/27779618
Test: build with WITH_TIDY=1 and define those variables.
Change-Id: I201c9da3769d6ef658a75d4a1bf42ec6816d4069

Merge "Fix for non-empty a[name] tags in openJdk based javadocs."
am: a8c8dadd09

Change-Id: Ide86ed97b14d3c34c6210b9ea9d24b8f3733c090

Merge "Fix for non-empty a[name] tags in openJdk based javadocs."

Fix for non-empty a[name] tags in openJdk based javadocs.

openJdk based android javadoc contains <a name=... tags
that are non-empty. Currently they are being hidden,
causing badly formatted pages for some java.* classes
(missing text and random whitespace blocks).

This change makes the existing a[name] hiding rule
apply only to empty tags.

Test: make docs
Bug: 31700998
Change-Id: Ifa75bbabe308d7aed0cce6165c1113e5a382a121
(cherry picked from commit a7edd92c457879f2719afe6b5d119886b869182f)

Enable toc optimization for host builds

The toc optimization had been disabled for host builds to ensure that
the timestamp of the final binary changed whenever its implementation
changed, in order to support rerunning host tools that were modified
during incremental builds.  However, only the final install rule must be
re-run to update the timestamp, and not the link rule.

Update the shared library install dependencies to use normal
dependencies instead of order-only dependencies for host modules, and
then enable the the toc optimization for host modules.  If the
implementation of a library changes it will be reinstalled, and
libraries or binaries that depend on it will also be reinstalled.

Bug: 26015464
Test: m -j; touch art/disassembler/disassembler_x86.cc; m -j, verify
      out/host/linux-x86/bin/oatdump is updated
Change-Id: I0a14decc1994eb55ad269d841943aef66e320c63

Merge "Propagate signals through makeparallel"
am: e0f42b41f6

Change-Id: Ia68f218edd5e57f82bea3269a8fb863077e28082

Merge "exec makeparallel"
am: cf8afef2eb

Change-Id: I77aaad7879d65b233e17a90f0196021105596c6e

Merge "Revert "Remove -d keepdepfile from ninja command line""
am: 6548b54dfd

Change-Id: I82aa023b881f277d419fdcdf09cd510b804217c2

Merge "Propagate signals through makeparallel"

Merge "exec makeparallel"

Merge "Revert "Remove -d keepdepfile from ninja command line""

Propagate signals through makeparallel

Set up a signal handler in makeparallel that will forward SIGHUP,
SIGINT, SIGQUIT, and SIGTERM to the child process.

Bug: 31907490
Test: m -j & killall make; pgrep -a ninja
Test: make makeparallel_test
Change-Id: I306e5335ed1b2c7056804d5da377a2f283877f30

exec makeparallel

bash doesn't kill children when it receives SIGTERM.  Since makeparallel
is the last command run by the shell, run it with exec to replace the
shell with makeparallel so make can send the signal directly to
makeparallel.

Bug: 31907490
Test: m -j & killall make; pgrep -a makeparallel
Change-Id: If8aeb51ec224234da5f05eae3382ce77f48a57e2

Revert "Remove -d keepdepfile from ninja command line"

This reverts commit 4aca5715523d1b8a85abde00d7ccc2989c90a96b.

Test: builds
Change-Id: Iddb3517a4596e84404db1738fa95eb15f435a42d

Merge "Optimize rebuilds by reducing $(shell) usage"
am: f009531772

Change-Id: I765a59826d058867abe8dd7a851ed06936fd4321

Merge "Optimize rebuilds by reducing $(shell) usage"

Optimize rebuilds by reducing $(shell) usage

$(shell) isn't particularly fast in Kati, and they have to be executed
both when reading the makefiles and determining whether the ninja file
needs to be regenerated.

Right now, the regen time is mostly hidden because we run them in
parallel. We've also configured it to ignore any commands that contain
"echo", "date", or the output directory. That happens to remove most
commands that contain side effects, so running them in parallel is fine.

But the side effects contain some important things, like the clean up
necessary when switching products. So I'm removing those filters, and
then we'll need to run the shell commands in sequence, since there will
be side-effects. That makes regen take longer though, so use pure-Make
implementations instead of $(shell) where possible.

This set of changes reduces aosp/master aosp_arm64-eng build $(shell)
usage and time by 2/3:

*kati*: func shell time: 3.135095 / 709
*kati*: func shell time: 1.067331 / 236

Bug: 30947985
Test: Manual test lines for math functions
Test: Compare build-aosp_arm64.ninja before/after
Change-Id: I4fc9d6318957992921972994f277c17918e7e1eb

Merge "Remove LOCAL_CTS_GTEST_LIST_EXECUTABLE"
am: 847d965b9e

Change-Id: Iab6362844a327f559a5471605ba176e075703a72

Merge "Remove LOCAL_CTS_GTEST_LIST_EXECUTABLE"

Merge "releasetools: Clean up sign_target_files_apks.py."
am: ad49deb5e6

Change-Id: I9ffb1325d349e82bd08b5d0ee99db640a11a36bd

Merge "releasetools: Clean up sign_target_files_apks.py."

Merge "Use DEFAULT_EXTERNAL_VENDOR_TIDY_CHECKS for vendor/google_devices"
am: 3d38042a00

Change-Id: I0f25786d7ef6e860093ce7c4760269f77065170a

Merge "Use DEFAULT_EXTERNAL_VENDOR_TIDY_CHECKS for vendor/google_devices"

releasetools: Clean up sign_target_files_apks.py.

Remove the obsolete workaround for API 24. Also make it pylint clean.

Test: 1. Sign a target_files.zip and get identical results.
      2. `pylint --rcfile=pylintrc sign_target_files_apks.py` gives 10.00/10.

Change-Id: I21736f959c5182486fd8ccebea9bbc594edef9fb

Use DEFAULT_EXTERNAL_VENDOR_TIDY_CHECKS for vendor/google_devices

Many source files under vendor/google_devices
are old third party code with too many clang-tidy
misc-macro-parentheses warnings.

Test: build with WITH_TIDY=1
Change-Id: I79248af3ece9c7a4436b8cf5e6c25f224fd8201b

Merge "releasetools: Fix the reference to OPTIONS.info_dict."
am: 0a5b59e78b

Change-Id: Id4f6669baa861f606d960bc9bb371c6ef728aa36

Merge "releasetools: Fix the reference to OPTIONS.info_dict."

Remove LOCAL_CTS_GTEST_LIST_EXECUTABLE

The one user has now been removed, so this is no longer necessary.

Test: None
Change-Id: I8fb9e7b90f664af616368685d81f8b10d0687306

releasetools: Fix the reference to OPTIONS.info_dict.

sign_target_files_apks.py calls common.GetBootableImage() but without
calling 'OPTIONS = common.OPTIONS' first. In common.GetBootableImage(),
we should use the local info_dict parameter instead of OPTIONS.info_dict.

Test: sign_target_files_apks.py generates signed-TF.zip successfully.

Change-Id: Ia3d32b88691c26e5fb98feea709e3e3c3eb70fdb

Merge "Add LOCAL_EXPORT_C_INCLUDE_DEPS"
am: 1c0b5eaf83

Change-Id: I356a040d02e2838fada7ae8472078579b516e8b0

Merge "Add LOCAL_EXPORT_C_INCLUDE_DEPS"

Add LOCAL_EXPORT_C_INCLUDE_DEPS

This shouldn't be necessary for most makefiles, since we add
$(LOCAL_GENERATED_SOURCES) to this already included, but for prebuilts
that aren't actually prebuilts (Soong modules), we need to pass
dependencies so that the generated headers are built before being used.

Bug: 31742855
Test: Use, inspect build-*.ninja
Change-Id: I8d9f675af639d3f40780d48a016fc079a82531c2

Merge "Update for new Android Verified Boot (AVB)."
am: 8ee6d119d1

Change-Id: I4445455b1b16c6c920c39d7a1d66520eeda385cf

Merge "Update for new Android Verified Boot (AVB)."

Update for new Android Verified Boot (AVB).

This updates the build system for the new Android Verified Boot
codebase. As this is based on Brillo Verified Boot, this change replaces
the existing BVB support.

Android Verified Boot is enabled by the BOARD_AVB_ENABLE variable

 BOARD_AVB_ENABLE := true

This will make the build system create vbmeta.img which will contain a
hash descriptor for boot.img, a hashtree descriptor for system.img, a
kernel-cmdline descriptor for setting up dm-verity for system.img and
append a hash-tree to system.img.

Additionally, the descriptors are left in boot.img and system.img so a
third party can create their own vbmeta.img file linking - using the
option --chain_partition - to these images. If this is not needed
footers can be erased using the 'avbtool erase_footer' command. It's
also harmless to just leave them in the images.

By default, the algorithm SHA256_RSA4096 is used with a test key from
the AVB source directory. This can be overriden by the
BOARD_AVB_ALGORITHM and BOARD_AVB_KEY_PATH variables to use e.g. a
4096-bit RSA key and SHA-512:

 BOARD_AVB_ALGORITHM := SHA512_RSA4096
 BOARD_AVB_KEY_PATH := /path/to/rsa_key_4096bits.pem

To prevent rollback attacks, the rollback index should be increased on a
regular basis. The rollback index can be set with the
BOARD_AVB_ROLLBACK_INDEX variable:

 BOARD_AVB_ROLLBACK_INDEX := 5

If this is not set, the rollback index defaults to 0.

The variable BOARD_AVB_MAKE_VBMETA_IMAGE_ARGS can be used to specify
additional options passed to 'avbtool make_vbmeta_image'. Typical
options to be used here include '--prop', '--prop_from_file', and
'--chain_partition'.

The variable BOARD_AVBTOOL_BOOT_ADD_HASH_FOOTER_ARGS can be used to
specify additional options passed to 'avbtool add_hash_footer' for
boot.img. Typical options to be used here include '--hash_algorithm' and
'--salt'.

The variable BOARD_AVBTOOL_SYSTEM_ADD_HASHTREE_FOOTER_ARGS can be used
to specify additional options passed to 'avbtool add_hashtree_footer'
for systems.img. Typical options to be used here include
'--hash_algorithm', '--salt', and '--block_size'.

BUG=31264226
TEST=Manually tested on edison-eng by inspecting {boot, system,
  vbmeta}.img in out/ directory as well as their counterparts in
  the IMAGES/ directory of edision-target_files-eng.zeuthen.zip

Merged-In: Ic9a61cfc65c148b12996e57f04da5432eef6b982

Change-Id: I97042655bca15e7eac899f12c5bada2f6184d307

Merge "Only run warn.py's main function if it is the main program."
am: 312c310f7c

Change-Id: I4b2c7dce195e62172a81154e261ced167d997ab5

Merge "Only run warn.py's main function if it is the main program."

Merge "Switch to using clang-3289846."
am: 7ec2a39c3f

Change-Id: I67851b34b3c901d8bab93c9ba6f5456eca2aba91

Merge "Switch to using clang-3289846."

Only run warn.py's main function if it is the main program.

Test: run warn.py --byproject build.log
Change-Id: I155cce8c952d6d8a02c8e1809bf61a46c847c26e

Merge "Fix pylint warning and refactor project_list."
am: 6784a3fcdd

Change-Id: I6ddc536af0c9ebf735ed14032d98880ed4f2175b

Merge "Fix pylint warning and refactor project_list."

Merge "Analyze unchanged blocks in odex files."
am: 6e12b72966

Change-Id: Ic99c7293f6887ee8a4e3ad4e66ca9140e7dbeba9

Merge "Analyze unchanged blocks in odex files."

Switch to using clang-3289846.

Bug: http://b/30252254
Test: Built/boot platform using latest prebuilts.
Change-Id: I7c9357a99afec323fd766e93b5d5e941e9e06244

Merge "Fix Google pylint warnings."
am: aa5f2ccde2

Change-Id: Ide1a5bffa1745737142ffde982268addd8c253bb

Fix pylint warning and refactor project_list.

Bug: 31377083
Test: run warn.py --byproject build.log
Change-Id: Id442cf6608bf5c14784063c05f5ff0b731f17486

Merge "Fix Google pylint warnings."

Merge "Remove WITH_SYNTAX_CHECK"
am: c114bd9dbf

Change-Id: I9e6c2a9c6aa48e27efe9b32d496ca21f47d4a447

Merge "Remove WITH_SYNTAX_CHECK"

Fix Google pylint warnings.

* Rename 'severity' to 'Severity'.
* Fix bad line indentations and space.

Test: run warn.py --byproject build.log
Change-Id: I33d701cca408b5ca4715be8d44c890942b7d132a

Merge "Add buttons to group warning by project or severity."
am: 9796175d0f

Change-Id: I4d016ce0450870351a0454314f43d0cf75487993

Merge "Add buttons to group warning by project or severity."

Merge "Enable LOCAL_SANITIZE:=cfi and add LOCAL_SANITIZE_DIAG."
am: 2358c55d70

Change-Id: Ib36748ff1fe5f8bad82b37d27f9d1a94d5a8e0ee

Merge "Enable LOCAL_SANITIZE:=cfi and add LOCAL_SANITIZE_DIAG."

Merge "Remove spaces from DEFAULT_TIDY_HEADER_DIRS"
am: f69e48b30b

Change-Id: I63e8c0dc06332c620b16fdb27b396b39ad2d44cf

Merge "Remove spaces from DEFAULT_TIDY_HEADER_DIRS"

Remove WITH_SYNTAX_CHECK

It's no longer used. The majority of the platform is on clang anyways.

Test: m -j
Change-Id: I4fb4375eaad2469e169d34c47ae3fe2a0540aeec

Merge "build: add hwservicemanager to the core packages"
am: 69bd0bf22a

Change-Id: Icd688e7e59c95ae91787c9f35e5c3d814062b1ce

Merge "build: add hwservicemanager to the core packages"

Remove spaces from DEFAULT_TIDY_HEADER_DIRS

I'm preparing to move this to Soong, and it's simpler to compare if the
spaces are removed here (to match the other lists in this file).

Test: WITH_TIDY=true; compare build.ninja before and after change
Change-Id: Ib27a19a36ebb1132300a8c1eeace1202685dfc4c

Add buttons to group warning by project or severity.

* Add more project patterns.
* Add more top level comments for global variables and functions.
* Resequence severity numbers to match the dump order.
* Emit warning messages and tables to static HTML JavaScript arrays.
* Replace old static HTML table dumper functions with
  new dynamic HTML JavaScript to generate sections of warnings.
* Warning messages are grouped into sections by severity or projects.
* Better descriptions for SKIP warning patterns.
* Replace output function with print.

Bug: 31377083
Test: run warn.py --byproject build.log
Change-Id: I7b44ef6223d5b2f1aa31655a5a47d854f9a1dedc

Merge "Fix Google pylint warnings."
am: bcd229277a

Change-Id: Ia7948dfee4dbb48957c4e0ab4b5517e4d9cff71e

build: add hwservicemanager to the core packages

b/31458381
b/31240290

Test: passing build and runtime tests

Change-Id: I294c70d93d23ada94ff1175f2d3babd5b836eeee
Signed-off-by: Iliyan Malchev <malchev@google.com>

Merge "Fix Google pylint warnings."

Fix Google pylint warnings.

* Rename variables and functions to follow Google coding style.
* Fix line indentations to follow Google coding style.
* Add module and function docstrings.
* Change shebang line to avoid pylint warning.
* Suppress some pylint warnings to avoid too many changes at once.
* Fix typos.

Test: run warn.py --byproject build.log
Change-Id: I569961981b562e35cb5609a96cd5ebb40a80829c

Analyze unchanged blocks in odex files.

In BBOTA, we generate patches based on _all_ the blocks of a pair of
input files (src and tgt). For security incremental OTAs, one common
pattern is that only a few blocks are changed in odex files (e.g.
headers). We don't really need to stash/patch the unchanged blocks.

This CL analyzes the unchanged blocks in odex files and computes the
diff for the changed blocks only. It reduces the OTA install time by
about 25% to 40% in our experiments, by paying an increase of 5% to 30%
OTA generation time cost.

Bug: 31570716
Test: Generate an incremental and apply on device.

Change-Id: If842c1afeff6894a3d27eb60b7e8f65a179b7977

Merge "Recognize new warning messages."
am: b0553ca65b

Change-Id: Ic2f262f62121e19e1daba9a0a3c95fd6ebcc2b1a

Merge "link_type check: Support modules installed into /data"
am: 8870658397

Change-Id: I73b1dcc5296c2ed3b3dec9d5be0adb3645fd5ded

link_type check: Support modules installed into /data
am: 3594cee467

Change-Id: I3735c05d317aa5c125471c7e91124cd45ebe4a98

Merge "Recognize new warning messages."

Merge "link_type check: Support modules installed into /data"

Recognize new warning messages.

* -Wunnamed-type-template-args and -W#pragma-messages

Test: run warn.py with build.log.
Change-Id: I36277e001081604f92a4d9c92f9a0b5d3f0ee5e5

Merge "Pass userdebug/eng variant to Soong"
am: 19f24492db

Change-Id: Ic13d60a9bf2c036f3d1babcecda6c5b50c5e9a69

Merge "Pass userdebug/eng variant to Soong"

Merge "Simplify warn.py and output of warning count table and tablerow."
am: eac773047f

Change-Id: I25da893dc7add3c92fda9fe003a2cd23f9971e36

Merge "Simplify warn.py and output of warning count table and tablerow."

Pass userdebug/eng variant to Soong

Test: Run build with eng/userdebug/user and check the soong.variables
Change-Id: I7cd71a94e92526b6cc61303b13b7bc593cbbfc3a

Simplify warn.py and output of warning count table and tablerow.

* Use a loop to initialize empty 'members' and 'option' of warnpatterns.
* Create severity.{color,columnheader,header} from an attributes list.
* Compute totalbyproject and totalbyseverity from a constructor.
* Skip all-zero rows and columns in the warning count table.
* Remove redundant spaces and newlines in tablerow output.

Test: run through build.log files
Change-Id: I4d3fa4ecd92e1afab91d85b7535d03f8696e83d8

link_type check: Support modules installed into /data

Test: compare build.ninja before/after, look at warnings.html
Change-Id: I1b78748dd80b73d2601b2adf0aaac8a6b2b350d5

Merge changes from topic 'jack-d-b3-as-stable'
am: 52eafee87a

Change-Id: I7e4fb947fe8f2c5ea8d1091583c468f8c9ca3d35

Fix bad JACK_PLUGIN variable
am: 16243bdbec

Change-Id: Ic0c8dfc081ce1bc0a267474bf1ce7d3ca3dfbb03

Add support for Jack plugin
am: 53b7fbbe78

Change-Id: Idec54986c0afe10973c464c6edb533321441eea7

Merge changes from topic 'jack-d-b3-as-stable'

* changes:
  Fix bad JACK_PLUGIN variable
  Add support for Jack plugin

Merge "Package up proguard jack_dictionary"
am: f7d1a6d75f

Change-Id: Ia426e7d0fea6d0c6fc610d9d9fed20c9d2159ed6

Merge "Package up proguard jack_dictionary"

Fix bad JACK_PLUGIN variable

Changed to LOCAL_JACK_PLUGIN.

(cherry picked from commit 17924b136cb5bfc60d138e8c7e5c18a90b5965c3)

Test: Manually tested by some manual activations of the coverage plugin.
Change-Id: I1be4aaa502103fc308d35a5672dc4fe5900c4ebe

Add support for Jack plugin

And ensure compatibility with coverage plugin.

(cherry picked from commit 862bb84d37e3e6ca61080de58f206e512e09d4e0)

Bug: 28876950
Test: Manually tested by some manual activations of the coverage plugin.
Change-Id: I804558a501825357bf0812de626d2957eedbdc13

Merge "Replace usages of my_register_name with my_all_targets"
am: 077d9d5fe7

Change-Id: I7e833dab3ff53e8524a227038c8de92e8e67393c

Merge "Replace usages of my_register_name with my_all_targets"

Replace usages of my_register_name with my_all_targets

A few module types add extra dependencies on $(my_register_name), move
them to $(my_all_targets) so that they are built for mm and mma too.

Bug: 31526036
Test: mmm framework
Change-Id: I2e594ce771451a99691739b963f4ce517e9dd595

Package up proguard jack_dictionary

Bug: 31182185
Test: m dist in an unbundled branch
Change-Id: I7ee1ba076cfa03f294f8231f6bdd8fa8df5557af

Merge "Add targets for building individual modules using javac"
am: cb6f7c2d86

Change-Id: Ic529ef16ed95c88bd32c68b050d2b784a6d6cf71