Merge "Convert -j to a reasonable parallelism for kati"

Merge "Add crash_dump and tombstoned products."

Convert -j to a reasonable parallelism for kati

When running makeparallel in non-ninja mode, which is used when running
kati with USE_GOMA=true, convert -j to a reasonable parallelism value
the same way ninja does.

Bug: 34392351
Test: make -C build/make/tools/makeparallel makeparallel_test
Change-Id: I9aee4dd2a3b0f2b1c2c10087be83f7b2b06f4368

Merge "Revert "SELinux: split property_contexts into platform and non-platform components.""

Revert "SELinux: split property_contexts into platform and non-platform components."

This reverts commit c5ffdd4bb44bae3ad67ecea745f79b0a05015708.

Change-Id: I4c5fa6c68cbf0124117153660a2fd363f72388b6

Merge "SELinux: split property_contexts into platform and non-platform components."

SELinux: split property_contexts into platform and non-platform components.

Bug: 33746484
Test: Successfully boot with original service and property contexts.
      Successfully boot with split serivce and property contexts.

Change-Id: I1f218ca842407d30650b8987ded6679672171091
Signed-off-by: Sandeep Patil <sspatil@google.com>

Merge "SELinux: split service_contexts into platform and non-platform components."

Add crash_dump and tombstoned products.

Bug: http://b/30705528
Change-Id: I3f6c98f6f907f93e082db085a122557fc8488c83

Merge "Pass flash erase & logical block size to mke2fs"

SELinux: split service_contexts into platform and non-platform components.

Bug: 33746484
Test: Successfully boot with original service and property contexts.
      Successfully boot with split serivce and property contexts.

Change-Id: I6fec8d9b3023de09d69198c9e72311a1f03fe844
Signed-off-by: Sandeep Patil <sspatil@google.com>

Merge "releasetools: Replace print stmt with print()."

Merge "releasetools: Delete the obsolete --aslr_mode/-a flag."

releasetools: Replace print stmt with print().

So that it's compatible with Python 3.

Test: pylint --pylint=pylintrc

Change-Id: If06c135a492c94bedd713c8cbdf03155a502d5cd

releasetools: Delete the obsolete --aslr_mode/-a flag.

It was added in commit 96be7205dce97977909e93b73f48779fcce3bc65
("Working ASLR implementation.") in 2010, and removed in commit
1807e700a568d57901b835370d1b1ae05c3dbb0f ("don't generate retouch
commands in OTA scripts") in 2012.

Remove the obsolete --aslr_mode flag.

Test: ota_from_target_files.py still works (by generating incremental
      and full OTAs respectively).

Change-Id: I6d8e62730ac192f3574d484c4a4b9b43b4ee0a9e

Merge "Include CarrierDefaultApp to the img"

Pass flash erase & logical block size to mke2fs

This information can be used to tune ext4 stripe and stride in the
userdata partition for better performance

Test: Build & flash userdata, confirm correct stripe & stride values
Bug: 33243520
Merged-In: Ia97cdd2d0239c3484b895fce49299f692ef911d8
Change-Id: Ia97cdd2d0239c3484b895fce49299f692ef911d8
Signed-off-by: Connor O'Brien <connoro@google.com>

Include CarrierDefaultApp to the img

Bug: 30958215
Test: Manual test
Change-Id: I67e235028b73513954b7d5f4fe2623700d176e87

Merge "Add java.time packages to whitelist."

Merge "Add mk file parsers to support build variables required by system/bt"

Add mk file parsers to support build variables required by system/bt

* BtConfigIncludeDir: Path to device specific config headers
                      BOARD_BLUETOOTH_BDROID_BUILDCFG_INCLUDE_DIR
* BTHcilpIncluded: Path to Hcilp headers
                   BOARD_BLUETOOTH_BDROID_HCILP_INCLUDED
* BtHciUseMct: Whether MCT is used
               BLUETOOTH_HCI_USE_MCT

Bug: 32958753
Test: Code compilation, no user visible effects

Change-Id: I94cad65c77464e5b467abee05951ddfd35b9f27d

Merge "Don't run find on directories that don't exist"

Don't run find on directories that don't exist

$(shell find vendor) causes a warning in AOSP where vendor doesn't
exist.

Test: m -j, no warning
Change-Id: I28916594e0720c53823a3d9ed99b8af1d356af23

Add java.time packages to whitelist.

Bug: 28832222
Test: builds
Change-Id: I5a77f519f51eca93c34e4697b92a92bf72f4eda9

Merge "Move rs/scriptc to rs/script_api/include."

Merge "embedded.mk: add android.hidl.memory@1.0-impl"

Merge "Split seapp_contexts into plat and nonplat components."

Merge "Makefile: Pack e2fsdroid into otatools.zip."

Move rs/scriptc to rs/script_api/include.

Test: Compiled ImageProcessing_jb

Change-Id: Icf05a603671499665d2f31a8989fa69585a6f834

embedded.mk: add android.hidl.memory@1.0-impl

Bug: 34134179
Test: both 32 and 64 bit versions of this file are on the device after a
clean build.

Change-Id: I75ab12246c2c44e39b5e863dfec98dc72a36fbbe

Makefile: Pack e2fsdroid into otatools.zip.

e2fsdroid is needed to create ext4 images with mke2fs. Also pack both
sets of mke2fs and make_ext4fs tools into otatools.zip. Because we use
the latest otatools.zip to create OTAs, which needs to handle
target_files.zip using either of them.

Bug: 34126605
Test: `m otatools-package` and check it has e2fsdroid and make_ext4fs.
Test: Use otatools.zip to sign a TF.zip that defines
      TARGET_USES_MKE2FS={true,false}.

Change-Id: I9967e4f078cbe912914c6c511681cba82356ae8e

Merge "Allow goldfish-setup to take wake locks"

Allow goldfish-setup to take wake locks

Change-Id: I6a5db8586168e47e974a82afd2e75fd858aa5750

Merge "Build split file_contexts."

Merge "TARGET_RECOVERY_UPDATER_LIBS should not be used with AB updates"

Split seapp_contexts into plat and nonplat components.

Bug: 33746381
Test: Device boots with no extra denials.
Change-Id: Ib403be429562f5e22ed4dd042fb04b0795b558db

Build split file_contexts.

Bug: 31363362
Test: Device uses new file_contexts files for labeling decisions.
Change-Id: I33c3297a2ec806f4b9f5dd25f3dd20c4b1001641
Signed-off-by: Sandeep Patil <sspatil@google.com>

TARGET_RECOVERY_UPDATER_LIBS should not be used with AB updates

Also mark these variables as readonly so that later Android.mk cannot
change them.

Bug: 33607778
Test: build/tools/kati_all_products.sh -j12
Change-Id: I5f9a4df02bfdfd56549728f074bbb3fc251edb3d

Merge changes from topic 'fsconfig2-fixups'

* changes:
  fsconfig: fix pylint warning
  fsconfig: fix style formating with yapf

Merge changes from topic 'build-vts-zip'

* changes:
  delete vts.mk (which is moved to test/vts)
  include VTS packaging task files

delete vts.mk (which is moved to test/vts)

Test: m -j vts
Change-Id: I3ab29e59b6f77f3ac92bbfe7a6f7a8f36b2ba3bd
(cherry picked from commit a942dc8433c4e02bdfe0313471bcac8fef318fde)

include VTS packaging task files

Test: m -j vts
Change-Id: I8737412bf4e7b5c2db32325105e7c588949b959d
(cherry picked from commit 199a710f73d9522b599ff75b8dc8ea54e7fcf6e0)

fsconfig: fix pylint warning

Fix pylint warning:
W:292,47: Cell variable lineno defined in loop (cell-var-from-loop)

For the closure function that prints the error message, we actually
want the value of modified lineno within the closure.

Test: run unit tests

Change-Id: I7d08184563d347c826ca1af7558fb8e378f151e1
Signed-off-by: William Roberts <william.c.roberts@intel.com>

fsconfig: fix style formating with yapf

A few changes got introduced that yapf re-styles. To make it easy,
keep this file formated to:

yapf -i --style=google fs_config_generator.py

Test: run unit tests

Change-Id: I3160b92d7fd07a4d315dde59f1d20fe4c7587da1
Signed-off-by: William Roberts <william.c.roberts@intel.com>

Merge "Define TARGET_OUT_VENDOR_APPS_PRIVILEGED for 2nd arch"

Merge "fs_config: Fix oem range parsing"

Merge "blockimgdiff.py: Clean up stash id computation in BBOTA v3+."

Merge "Remove option for non-pic dex preopt."

fs_config: Fix oem range parsing

Addresses the following build error:
  "value" not in valid range [], got: 2901 for: "AID_ABC" file:\
  "device/somc/abc/config.fs"

that happens when parsing device/somc/abc/config.fs:
  [AID_ABC]
  value: 2901

The problem is that the AID.PREFIX is 'AID_' so the _OEM_RANGE
expression is searching for AID__OEM_RESERVED, which never
exists. Drop the extra '_'.

Change-Id: I8a1556731e14e49cef66e3e91121e4be23a308e0
Test: ./build/tools/fs_config/fs_config_generator.py fsconfig --aid-header=system/core/include/private/android_filesystem_config.h device/somc/abc/config.fs

blockimgdiff.py: Clean up stash id computation in BBOTA v3+.

Only BBOTA v2 needs to maintain a pool of available 'stash slot id'.
BBOTA v3+ uses the hash of the stashed blocks as the slot id, which
doesn't need the id pool anymore.

Bug: 33694544
Test: Generate v2 and v4 incrementals w/ and w/o the CL. They produce
      the same packages respectively.
Change-Id: I8121af5b6b1bee98c3639d54a00b06fd12e378e8

Merge "Revert "Revert "Merge changes from topic 'fsconfig-2'"""

Merge "Update pathmap.mk for renderscript support library migration"

Update pathmap.mk for renderscript support library migration

Bug: 30255901
Change-Id: I213baaf4c76a7e5b8d20168624b74eb61582d215
(cherry picked from commit 49f03349c818de16be3a0c74f6dc07c85b94b7b0)

Merge "Remove --ignore_dirty=$(OUT_DIR)/% from Kati flags"

Remove --ignore_dirty=$(OUT_DIR)/% from Kati flags

We really should be re-running Kati when a file in here changes, since
it may actually affect the result. The general problem we've run into is
when there are two kati output files that are clean according to the
current rules, but if they actually ran we'd force an installclean.

This also had the side-effect of not running shell commands that touched
$OUT_DIR, like writing files using $(shell echo ... >out/...), now those
may be run.

This will cause Kati to re-read the makefiles more often -- twice when a
CleanSpec.mk changes, twice when switching products on the same device.
Basically every time we read the old state, do something about it, and
write out the new state, we need to rerun the next time so we aren't
continuously cleaning up what changed.

Bug: 30947985
Test: Manual, switching between configurations; enable --regen_debug
Change-Id: I888f9f8295f318f8214b2c79525cf94f457a5a8b

Merge "Fix incremental builds with AAPT2"

Merge "embedded.mk: +android.hidl.memory@1.0-service"

Fix incremental builds with AAPT2

When we removed the src/ directory, the R.stamp file was removed -- with
AAPT, this triggers src/android/Manifest.java to be regenerated. But
AAPT2 only uses the R.stamp file as a timestamp to find the
Manifest.java file, not to create it.

So add a new CleanSpec.mk to fix the builds by removing the target that
AAPT2 uses to generate the src/android/Manifest.java file.

Test: None
Change-Id: If56f326ad701f7f92aa7c8aeda57e92d9c62cff9

Merge "Support non-gtest NATIVE_TESTS"

Merge "Remove generated java source post clean logic"

embedded.mk: +android.hidl.memory@1.0-service

This is the service that provides shared memory for hidl/treble
processes.

Bug: 32185232
Test: builds
Change-Id: I79162a781daad7aa704f4ee071fef0bbdea59a18

Remove generated java source post clean logic

Just move the proto and renderscript sources into their own directories
-- the entire directory is wiped if the file list changes since the
command line will change. So we can just enable/disable pulling sources
from those directories based on whether there were files in the list or
not.

Bug: 30947985
Test: m -j java
Test: Remove a proto file from a java lib, ensure the generated source
      is not included.
Change-Id: If7529979de6fa62a651933a3a974f47b033851d6

Merge "Revert "Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set."""

Revert "Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set.""

This reverts commit 823172e209ab92dbae6dd5a4ef750f73dbfc5aa8.

Test: build.ninja for any target doesnt change, unless
BOARD_VNDK_VERSION is turned on in BoardConfig.mk
Change-Id: I4e1baaf5a2251de20f71a47096ce53e23d7e2d80

Support non-gtest NATIVE_TESTS

We've had this in Soong for a while, but never supported it in Make.

Bug: 33819328
Test: Change LOCAL_GTEST on a module, check m -j ... showcommands
Change-Id: Id8f4b9908c82c05d9a986a38945b33bac578e991

Merge "HOST_OUT_EXECUTABLES path is not needed in misc_info file"

Merge "otatools: added missing shared library for make_ext4fs"

Merge "logpersist: introduce split to logcat and logpersist domains"

logpersist: introduce split to logcat and logpersist domains

logcat_exec transition to logpersist from init with perms

Test: compile
Bug: 30566487
Change-Id: I0cea55f71be011e921841ef9d3e1283f11606f36

Merge "Add ART_USE_READ_BARRIER to product variables."

HOST_OUT_EXECUTABLES path is not needed in misc_info file

HOST_OUT_EXECUTABLES is already added to the PATH variable,
so it is not needed to add the path info for binaries in
misc_info.txt and <partition>_image_info.txt.

Earlier the mkuserimg item in the build_image dictionary is
hardcoded to "mkuserimg.sh", but now it is customized for
mkuserimg.sh and mkuserimg_mke2fs.sh, and maintained in
dictionary "ext_mkuserimg=$(MKEXTUSERIMG)" in misc_info.txt
and <partition>_image_info.txt, where it is used in the
build_image script while creating the images.

The problem here is the value for this key is set to build
path of the file mkuserimg file
$(HOST_OUT_EXECUTABLES)/mkuserimg.sh,
i.e. out/host/linux_x86/bin/mkuserimg.sh,
there by standalone signing the images using otatools is
not working as the executables are packed in bin folder.

Test: tools/releasetools/sign_target_files_apks
    -p <extracted ota-tools.zip folder>
    --extra_signapk_args=-f /etc/opt/cert_data.dat
    -v
    --replace_verity_private_key ~/build/target/product/security/verity
    --replace_verity_public_key ~/build/target/product/security/verity.x509.pem
    -k <key maping>
    <input target files zip>
    <output target files zip>

Change-Id: I57af1025ec38f3794f779c49faa0bf965afc6a5d

otatools: added missing shared library for make_ext4fs

Added the missing shared library libpcre2.so for make_ext4fs
in the otatools.zip.
Standalone signing the images with otatools zip is not working
due to missing library for make_ext4fs.

Test: tools/releasetools/sign_target_files_apks
    -p <extracted ota-tools.zip folder>
    --extra_signapk_args=-f /etc/opt/cert_data.dat
    -v
    --replace_verity_private_key ~/build/target/product/security/verity
    --replace_verity_public_key ~/build/target/product/security/verity.x509.pem
    -k <key maping>
    <input target files zip>
    <output target files zip>

Change-Id: I4fc71a1c710f3075bb3bdb90d915538526004ee6

Add ART_USE_READ_BARRIER to product variables.

Bug: 33492005
Test: top-level build for angler.
Change-Id: I12aa2e18487c16423223f110b6dfb0d6dff1e7e8

Merge "blockimgdiff.py: Add a test case for ReviseStashSize()."

blockimgdiff.py: Add a test case for ReviseStashSize().

Bug: 33687949
Test: python -m unittest test_blockimgdiff
Change-Id: I31e42648d2c0e60b941908c098ce5ccc967861ca

Remove option for non-pic dex preopt.

Test: make checkbuild, aosp_bullhead-userdebug boots.
Bug: 33192586

Change-Id: I4dd179fac33d777fb10cc85a99ff68c3b0d0e03d

Revert "Revert "Merge changes from topic 'fsconfig-2'""

This reverts commit fad4b4b715be25e874829345a14219716fc8c157.

Incorporating the following fixes:

1.

fsconfig: fix fs_config_* build for discovered headers

When android_file system_config.h is picked up from the device
directory, neither TARGET_FS_CONFIG_GEN or TARGET_ANDROID_FILESYSTEM_CONFIG_H
are specified. Thus, the build is not generating the required fs_config_files
and fs_config_dirs.

Test: Ensure that make fs_config_files works, and produces the same output as before
      Build the system image and mount it as a loop back and dump the file system
      capabilities with getcap. Verify that output to the supplied
      android_file system_config.h

From the loopback of the system.img mount, from CWD system/bin:
$ getcap *
cnss-daemon = cap_net_bind_service+ep
hostapd = cap_net_admin,cap_net_raw+ep
imsdatadaemon = cap_net_bind_service+ep
ims_rtp_daemon = cap_net_bind_service+ep
logd = cap_setgid,cap_audit_control,cap_syslog+ep
mm-qcamera-daemon = cap_sys_nice+ep
pm-service = cap_net_bind_service+ep
run-as = cap_setgid,cap_setuid+ep
surfaceflinger = cap_sys_nice+ep
webview_zygote32 = cap_setgid,cap_setuid,cap_setpcap+ep
webview_zygote64 = cap_setgid,cap_setuid,cap_setpcap+ep

Compared to the android_filesystem_config.h:
    { 00700, AID_CAMERA,    AID_SHELL,     (1ULL << CAP_SYS_NICE), "system/bin/mm-qcamera-daemon" },
    { 00755, AID_SYSTEM,    AID_SYSTEM,    (1ULL << CAP_NET_BIND_SERVICE), "system/bin/pm-service" },
    { 00755, AID_SYSTEM,    AID_SYSTEM,    (1ULL << CAP_NET_BIND_SERVICE), "system/bin/imsdatadaemon" },
    { 00755, AID_SYSTEM,    AID_RADIO,     (1ULL << CAP_NET_BIND_SERVICE), "system/bin/ims_rtp_daemon" },
    { 00755, AID_SYSTEM,    AID_SYSTEM,    (1ULL << CAP_NET_BIND_SERVICE), "system/bin/cnss-daemon"},

2.

fsconfig: fix error message for duplicate AID

Fixes:
    raise ValueError('Duplicate aid value "%u" for %s' % value,
TypeError: %u format: a number is required, not str

and

    raise ValueError('Duplicate aid value "%s" for %s' % value,
TypeError: not enough arguments for format string

3.

fsconfig: add test for duplicate ranges

Add a test for duplicate range detection.

4.

fsconfig: skip AID_APP, AID_USER and all ranges

Do not output AID_APP, AID_USER and ranges. A range
is defined as ending with AID_ and ending in _START or
_END.

5.

fsconfig: test for skip AID_APP, AID_USER and all ranges

Test against AIDs that caused the bionic tests to fail.

Change-Id: I95569a9ccc83bd3231f8a6f395532cc2de316bd2
Signed-off-by: William Roberts <william.c.roberts@intel.com>

Merge "Revert "Add build dependencies for split sepolicy files.""

Revert "Add build dependencies for split sepolicy files."

This reverts commit 086189145caa9b154d02aa3a888a8815bb60a0d5.

Change-Id: Idfd210d1f16eefcedda6154b0361611f53c5158f

Merge "Add build dependencies for split sepolicy files."

Merge "releasetools: Fix the computation in ReviseStashSize()."

Add build dependencies for split sepolicy files.

Add build targets for split sepolicy files so they'll appear in the root dir for
on-device compilation.  nonplat_sepolicy will eventually be removed as it should
be provided by a different partition.  Also replace sepolicy.recovery with the
appropriate split components.

Bug: 31363362
Test: Policy builds on-device and boots.
Change-Id: I017dabe6940c3cd20de6c00bb5253274d5a9269b

Merge "Add default NetworkRecommendation to core.mk"

releasetools: Fix the computation in ReviseStashSize().

We compute the max stashed_blocks in ReviseStashSize(), prior to calling
WriteTransfers(), to avoid running out of space due to stashing.

There is a bug when computing the to-be-freed stashed blocks, where we
wrongly free the space _before_ executing the transfer command. This leads
to a script failure where the max stash size violates the max allowed
size in WriteTransfers().

Note that this bug doesn't affect already generated packages. It's only
an underestimate in ReviseStashSize(). The check in WriteTransfers() has
been correct to ensure the max stash size.

Bug: 33687949
Test: Successfully generated incremental OTA which failed previously.
Change-Id: I4f4f043c6f521fce81ca5286e6156f22d99bf7f7

Add default NetworkRecommendation to core.mk

This makes the apk avaiable on all devices and can be overridden on a
per-product basis using LOCAL_OVERRIDES_PACKAGES.

BUG: 33224286
Test: Verified with lunch aosp_bullhead-userdebug; make

Change-Id: Ib345193caa4431b6405294bd8759d93349335814

Merge "aapt no longer needed for signing APKs"

Merge "Remove unused get-package-min-sdk-version-int"

Merge "Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set.""

Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set."

This reverts commit 2b6c204c73b97147ec00484904ee6f4bc003cb15.

Change-Id: I60a042f2ed0c767ec3a45c31ee1b99d43891efaa

Remove unused get-package-min-sdk-version-int

The only user of get-package-min-sdk-version-int was signapk. signapk
no longer needs to be provided with the APK's minSdkVersion though.

(cherry picked from commit e185da21ca07006c5ced90e1577c0682566428de)
Test: make clean && make

Change-Id: I6867a004aec0f3752cbbc99cc30e02ca5404b3c4

aapt no longer needed for signing APKs

signapk now auto-detects the APK's minSdkVersion, removing the need to
run aapt dump badging during APK signing.

Test: make clean && make
Change-Id: Ifc74292a9900443d053e437b50b540c8d0b33dbd

Merge "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set."

Merge "Split mac_permissions.xml into plat and non-plat components."

Split mac_permissions.xml into plat and non-plat components.

Bug: 31363362
Test: Bullhead and Sailfish both build and boot w/out new denials.
Change-Id: Id7e29ec09510741c4e925231401a6de81704fbf0

Merge "Remove variables exported by Soong"

Merge "Don't clean generated java sources when AIDL list changes"

Don't clean generated java sources when AIDL list changes

AIDL doesn't generate into the intermediate src directory, we pass exact
aidl->java files to the compiler. So there is no need to clean the
intermediate src directory when the aidl file list changes for a module.

Test: None, just code inspection
Change-Id: I01feff7cc399ac5b88b83333a1ac86928d0a81e6

Merge "Identify non-local EXPORT_C_INCLUDE_DIRS in soong_to_convert"

Remove variables exported by Soong

LLVM_RELEASE_VERSION is unused from envsetup.sh and during product
config loading.  LLVM_PREBUILTS_VERSION is still used in envsetup.sh, so
needs to stay.

Delay reading core/clang/config.mk until after Soong's variables are
read so that we don't need a copy of LLVM_PREBUILTS_BASE.

Test: Compare build-aosp_flounder.ninja
Change-Id: I85b5836a2230838c8f3766fb19c6108fc5c9ca50

Merge "Faster auto-detection of APK's minSdkVersion"