fsconfig: fix pylint warning
am: 4165c635b8

Change-Id: Ic417993b369e152754887ed48b087fc2f5eea0c9

fsconfig: fix style formating with yapf
am: 820421c9b5

Change-Id: Ib23e0fb880903881efa34f243889a203026a80d3

Merge changes from topic 'build-vts-zip'
am: d0c693ff64

Change-Id: Ic2b1d3165c4da7d89080f3016286a4a7ed815b2b

delete vts.mk (which is moved to test/vts)
am: 18a316c161

Change-Id: I1853517cff9d3697143b8c5c2fd6459e502040c4

include VTS packaging task files
am: b74649d027

Change-Id: I94d3ceb03b7815b49291ca127fdd41a8affca8fe

Merge changes from topic 'build-vts-zip'

* changes:
  delete vts.mk (which is moved to test/vts)
  include VTS packaging task files

delete vts.mk (which is moved to test/vts)

Test: m -j vts
Change-Id: I3ab29e59b6f77f3ac92bbfe7a6f7a8f36b2ba3bd
(cherry picked from commit a942dc8433c4e02bdfe0313471bcac8fef318fde)

include VTS packaging task files

Test: m -j vts
Change-Id: I8737412bf4e7b5c2db32325105e7c588949b959d
(cherry picked from commit 199a710f73d9522b599ff75b8dc8ea54e7fcf6e0)

fsconfig: fix pylint warning

Fix pylint warning:
W:292,47: Cell variable lineno defined in loop (cell-var-from-loop)

For the closure function that prints the error message, we actually
want the value of modified lineno within the closure.

Test: run unit tests

Change-Id: I7d08184563d347c826ca1af7558fb8e378f151e1
Signed-off-by: William Roberts <william.c.roberts@intel.com>

fsconfig: fix style formating with yapf

A few changes got introduced that yapf re-styles. To make it easy,
keep this file formated to:

yapf -i --style=google fs_config_generator.py

Test: run unit tests

Change-Id: I3160b92d7fd07a4d315dde59f1d20fe4c7587da1
Signed-off-by: William Roberts <william.c.roberts@intel.com>

Merge "Define TARGET_OUT_VENDOR_APPS_PRIVILEGED for 2nd arch"
am: 1a4a0a4539

Change-Id: Ic1bee5c763d5375c676f96db273d3126c85dd85b

Merge "Define TARGET_OUT_VENDOR_APPS_PRIVILEGED for 2nd arch"

Merge "fs_config: Fix oem range parsing"
am: ce6c8e629f

Change-Id: I74d198a2638b875233859a1c7ff723b04b47a353

Merge "fs_config: Fix oem range parsing"

Merge "blockimgdiff.py: Clean up stash id computation in BBOTA v3+."
am: 7cfc591596

Change-Id: Ifaf7f387b840d9f3e59bdbf93beab41a245f7ed5

Merge "blockimgdiff.py: Clean up stash id computation in BBOTA v3+."

Merge "Remove option for non-pic dex preopt."
am: c184ef515c

Change-Id: If76f8195ecb8b914fdea259de2e80ebebb5ebfe3

Merge "Remove option for non-pic dex preopt."

fs_config: Fix oem range parsing

Addresses the following build error:
  "value" not in valid range [], got: 2901 for: "AID_ABC" file:\
  "device/somc/abc/config.fs"

that happens when parsing device/somc/abc/config.fs:
  [AID_ABC]
  value: 2901

The problem is that the AID.PREFIX is 'AID_' so the _OEM_RANGE
expression is searching for AID__OEM_RESERVED, which never
exists. Drop the extra '_'.

Change-Id: I8a1556731e14e49cef66e3e91121e4be23a308e0
Test: ./build/tools/fs_config/fs_config_generator.py fsconfig --aid-header=system/core/include/private/android_filesystem_config.h device/somc/abc/config.fs

blockimgdiff.py: Clean up stash id computation in BBOTA v3+.

Only BBOTA v2 needs to maintain a pool of available 'stash slot id'.
BBOTA v3+ uses the hash of the stashed blocks as the slot id, which
doesn't need the id pool anymore.

Bug: 33694544
Test: Generate v2 and v4 incrementals w/ and w/o the CL. They produce
      the same packages respectively.
Change-Id: I8121af5b6b1bee98c3639d54a00b06fd12e378e8

Merge "Revert "Revert "Merge changes from topic 'fsconfig-2'"""
am: 5f60b74297

Change-Id: Ib88d2780ee2a7ba0b070087cc1ed8921f4247100

Revert "Revert "Merge changes from topic 'fsconfig-2'""
am: 2d7c86dfea

Change-Id: I825336a18f7d7525bb49dd65d24ddccbfef84ba5

Merge "Revert "Revert "Merge changes from topic 'fsconfig-2'"""

Merge "Update pathmap.mk for renderscript support library migration"
am: cafc7efee0

Change-Id: Ic85e61e12524b46073a0fd3b092eb42bc6d5c283

Merge "Update pathmap.mk for renderscript support library migration"

Update pathmap.mk for renderscript support library migration

Bug: 30255901
Change-Id: I213baaf4c76a7e5b8d20168624b74eb61582d215
(cherry picked from commit 49f03349c818de16be3a0c74f6dc07c85b94b7b0)

Update pathmap.mk for renderscript support library migration

Bug: 30255901
Change-Id: I213baaf4c76a7e5b8d20168624b74eb61582d215
(cherry picked from commit 49f03349c818de16be3a0c74f6dc07c85b94b7b0)

Merge "Remove --ignore_dirty=$(OUT_DIR)/% from Kati flags"
am: fb2efba189

Change-Id: I63dd0ac17a099ac6da5e8e63be280983e042a839

Merge "Remove --ignore_dirty=$(OUT_DIR)/% from Kati flags"

Remove --ignore_dirty=$(OUT_DIR)/% from Kati flags

We really should be re-running Kati when a file in here changes, since
it may actually affect the result. The general problem we've run into is
when there are two kati output files that are clean according to the
current rules, but if they actually ran we'd force an installclean.

This also had the side-effect of not running shell commands that touched
$OUT_DIR, like writing files using $(shell echo ... >out/...), now those
may be run.

This will cause Kati to re-read the makefiles more often -- twice when a
CleanSpec.mk changes, twice when switching products on the same device.
Basically every time we read the old state, do something about it, and
write out the new state, we need to rerun the next time so we aren't
continuously cleaning up what changed.

Bug: 30947985
Test: Manual, switching between configurations; enable --regen_debug
Change-Id: I888f9f8295f318f8214b2c79525cf94f457a5a8b

Merge "Fix incremental builds with AAPT2"
am: d25d80e193

Change-Id: Iaee5e4d0588fcf15c73005f3ca68c5db51dcc5b7

Merge "embedded.mk: +android.hidl.memory@1.0-service"
am: c1a11ec83f

Change-Id: Ib83eb02579543c0ad4b0954c9632cc26cd568d85

Merge "Fix incremental builds with AAPT2"

Merge "embedded.mk: +android.hidl.memory@1.0-service"

Fix incremental builds with AAPT2

When we removed the src/ directory, the R.stamp file was removed -- with
AAPT, this triggers src/android/Manifest.java to be regenerated. But
AAPT2 only uses the R.stamp file as a timestamp to find the
Manifest.java file, not to create it.

So add a new CleanSpec.mk to fix the builds by removing the target that
AAPT2 uses to generate the src/android/Manifest.java file.

Test: None
Change-Id: If56f326ad701f7f92aa7c8aeda57e92d9c62cff9

Merge "Support non-gtest NATIVE_TESTS"
am: 561b0a3753

Change-Id: I2da6eb4db2e4ee03b2699c60540f79b580a1fad0

Merge "Support non-gtest NATIVE_TESTS"

Merge "Remove generated java source post clean logic"
am: f57aa792c3

Change-Id: I03b0b0368cd3e5500d60981c06135490af8eb3a9

Merge "Remove generated java source post clean logic"

embedded.mk: +android.hidl.memory@1.0-service

This is the service that provides shared memory for hidl/treble
processes.

Bug: 32185232
Test: builds
Change-Id: I79162a781daad7aa704f4ee071fef0bbdea59a18

Remove generated java source post clean logic

Just move the proto and renderscript sources into their own directories
-- the entire directory is wiped if the file list changes since the
command line will change. So we can just enable/disable pulling sources
from those directories based on whether there were files in the list or
not.

Bug: 30947985
Test: m -j java
Test: Remove a proto file from a java lib, ensure the generated source
      is not included.
Change-Id: If7529979de6fa62a651933a3a974f47b033851d6

Merge "Revert "Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set."""
am: 0c29ffb74d

Change-Id: Idd3792357787a0265aca742fd82439dad394a2e7

Revert "Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set.""
am: 43a7f0c765

Change-Id: Ie5bfee7624066314f3446c8eeb5e7d202702016e

Merge "Revert "Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set."""

Revert "Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set.""

This reverts commit 823172e209ab92dbae6dd5a4ef750f73dbfc5aa8.

Test: build.ninja for any target doesnt change, unless
BOARD_VNDK_VERSION is turned on in BoardConfig.mk
Change-Id: I4e1baaf5a2251de20f71a47096ce53e23d7e2d80

Support non-gtest NATIVE_TESTS

We've had this in Soong for a while, but never supported it in Make.

Bug: 33819328
Test: Change LOCAL_GTEST on a module, check m -j ... showcommands
Change-Id: Id8f4b9908c82c05d9a986a38945b33bac578e991

Merge "HOST_OUT_EXECUTABLES path is not needed in misc_info file"
am: 376c0146b3

Change-Id: I97065c6e4e0a6d90dde92b96deb97f520b83c21b

Merge "HOST_OUT_EXECUTABLES path is not needed in misc_info file"

Merge "otatools: added missing shared library for make_ext4fs"
am: 0ced0a1f50

Change-Id: I6586f71273ff21a6f9ca44cfba6808248e62bd3b

Merge "otatools: added missing shared library for make_ext4fs"

Merge "logpersist: introduce split to logcat and logpersist domains"
am: 04f2cbd92a

Change-Id: I58f23b14630913eebe8ada09fa23c8ed9fbd90b0

Merge "logpersist: introduce split to logcat and logpersist domains"

logpersist: introduce split to logcat and logpersist domains

logcat_exec transition to logpersist from init with perms

Test: compile
Bug: 30566487
Change-Id: I0cea55f71be011e921841ef9d3e1283f11606f36

Merge "Add ART_USE_READ_BARRIER to product variables."
am: e34819ccce

Change-Id: Iaa92156d93110ddfd1a95f677bc02abc6dbcb5c5

Merge "Add ART_USE_READ_BARRIER to product variables."

HOST_OUT_EXECUTABLES path is not needed in misc_info file

HOST_OUT_EXECUTABLES is already added to the PATH variable,
so it is not needed to add the path info for binaries in
misc_info.txt and <partition>_image_info.txt.

Earlier the mkuserimg item in the build_image dictionary is
hardcoded to "mkuserimg.sh", but now it is customized for
mkuserimg.sh and mkuserimg_mke2fs.sh, and maintained in
dictionary "ext_mkuserimg=$(MKEXTUSERIMG)" in misc_info.txt
and <partition>_image_info.txt, where it is used in the
build_image script while creating the images.

The problem here is the value for this key is set to build
path of the file mkuserimg file
$(HOST_OUT_EXECUTABLES)/mkuserimg.sh,
i.e. out/host/linux_x86/bin/mkuserimg.sh,
there by standalone signing the images using otatools is
not working as the executables are packed in bin folder.

Test: tools/releasetools/sign_target_files_apks
    -p <extracted ota-tools.zip folder>
    --extra_signapk_args=-f /etc/opt/cert_data.dat
    -v
    --replace_verity_private_key ~/build/target/product/security/verity
    --replace_verity_public_key ~/build/target/product/security/verity.x509.pem
    -k <key maping>
    <input target files zip>
    <output target files zip>

Change-Id: I57af1025ec38f3794f779c49faa0bf965afc6a5d

otatools: added missing shared library for make_ext4fs

Added the missing shared library libpcre2.so for make_ext4fs
in the otatools.zip.
Standalone signing the images with otatools zip is not working
due to missing library for make_ext4fs.

Test: tools/releasetools/sign_target_files_apks
    -p <extracted ota-tools.zip folder>
    --extra_signapk_args=-f /etc/opt/cert_data.dat
    -v
    --replace_verity_private_key ~/build/target/product/security/verity
    --replace_verity_public_key ~/build/target/product/security/verity.x509.pem
    -k <key maping>
    <input target files zip>
    <output target files zip>

Change-Id: I4fc71a1c710f3075bb3bdb90d915538526004ee6

Add ART_USE_READ_BARRIER to product variables.

Bug: 33492005
Test: top-level build for angler.
Change-Id: I12aa2e18487c16423223f110b6dfb0d6dff1e7e8

Merge "blockimgdiff.py: Add a test case for ReviseStashSize()."
am: f967849693

Change-Id: Ibb1ffeb5c5e13578b4669c5525d270c4f3b7175d

Merge "blockimgdiff.py: Add a test case for ReviseStashSize()."

blockimgdiff.py: Add a test case for ReviseStashSize().

Bug: 33687949
Test: python -m unittest test_blockimgdiff
Change-Id: I31e42648d2c0e60b941908c098ce5ccc967861ca

Remove option for non-pic dex preopt.

Test: make checkbuild, aosp_bullhead-userdebug boots.
Bug: 33192586

Change-Id: I4dd179fac33d777fb10cc85a99ff68c3b0d0e03d

Revert "Revert "Merge changes from topic 'fsconfig-2'""

This reverts commit fad4b4b715be25e874829345a14219716fc8c157.

Incorporating the following fixes:

1.

fsconfig: fix fs_config_* build for discovered headers

When android_file system_config.h is picked up from the device
directory, neither TARGET_FS_CONFIG_GEN or TARGET_ANDROID_FILESYSTEM_CONFIG_H
are specified. Thus, the build is not generating the required fs_config_files
and fs_config_dirs.

Test: Ensure that make fs_config_files works, and produces the same output as before
      Build the system image and mount it as a loop back and dump the file system
      capabilities with getcap. Verify that output to the supplied
      android_file system_config.h

From the loopback of the system.img mount, from CWD system/bin:
$ getcap *
cnss-daemon = cap_net_bind_service+ep
hostapd = cap_net_admin,cap_net_raw+ep
imsdatadaemon = cap_net_bind_service+ep
ims_rtp_daemon = cap_net_bind_service+ep
logd = cap_setgid,cap_audit_control,cap_syslog+ep
mm-qcamera-daemon = cap_sys_nice+ep
pm-service = cap_net_bind_service+ep
run-as = cap_setgid,cap_setuid+ep
surfaceflinger = cap_sys_nice+ep
webview_zygote32 = cap_setgid,cap_setuid,cap_setpcap+ep
webview_zygote64 = cap_setgid,cap_setuid,cap_setpcap+ep

Compared to the android_filesystem_config.h:
    { 00700, AID_CAMERA,    AID_SHELL,     (1ULL << CAP_SYS_NICE), "system/bin/mm-qcamera-daemon" },
    { 00755, AID_SYSTEM,    AID_SYSTEM,    (1ULL << CAP_NET_BIND_SERVICE), "system/bin/pm-service" },
    { 00755, AID_SYSTEM,    AID_SYSTEM,    (1ULL << CAP_NET_BIND_SERVICE), "system/bin/imsdatadaemon" },
    { 00755, AID_SYSTEM,    AID_RADIO,     (1ULL << CAP_NET_BIND_SERVICE), "system/bin/ims_rtp_daemon" },
    { 00755, AID_SYSTEM,    AID_SYSTEM,    (1ULL << CAP_NET_BIND_SERVICE), "system/bin/cnss-daemon"},

2.

fsconfig: fix error message for duplicate AID

Fixes:
    raise ValueError('Duplicate aid value "%u" for %s' % value,
TypeError: %u format: a number is required, not str

and

    raise ValueError('Duplicate aid value "%s" for %s' % value,
TypeError: not enough arguments for format string

3.

fsconfig: add test for duplicate ranges

Add a test for duplicate range detection.

4.

fsconfig: skip AID_APP, AID_USER and all ranges

Do not output AID_APP, AID_USER and ranges. A range
is defined as ending with AID_ and ending in _START or
_END.

5.

fsconfig: test for skip AID_APP, AID_USER and all ranges

Test against AIDs that caused the bionic tests to fail.

Change-Id: I95569a9ccc83bd3231f8a6f395532cc2de316bd2
Signed-off-by: William Roberts <william.c.roberts@intel.com>

Merge "Revert "Add build dependencies for split sepolicy files.""
am: cbdc0bd096

Change-Id: Ie73ea2b943a153422e0373ef291f7306747e5420

Merge "Revert "Add build dependencies for split sepolicy files.""

Revert "Add build dependencies for split sepolicy files."

This reverts commit 086189145caa9b154d02aa3a888a8815bb60a0d5.

Change-Id: Idfd210d1f16eefcedda6154b0361611f53c5158f

Merge "Add build dependencies for split sepolicy files."
am: 298f9b5925

Change-Id: I8e8ef53b98d4341deab6f5ddb54cac6f30329e9c

Merge "Add build dependencies for split sepolicy files."

Merge "releasetools: Fix the computation in ReviseStashSize()."
am: 9cc98767ad

Change-Id: I2fbadc053c017b3a52cc2856f9b86511b8cb6a44

Merge "releasetools: Fix the computation in ReviseStashSize()."

Add build dependencies for split sepolicy files.

Add build targets for split sepolicy files so they'll appear in the root dir for
on-device compilation.  nonplat_sepolicy will eventually be removed as it should
be provided by a different partition.  Also replace sepolicy.recovery with the
appropriate split components.

Bug: 31363362
Test: Policy builds on-device and boots.
Change-Id: I017dabe6940c3cd20de6c00bb5253274d5a9269b

Merge "Add default NetworkRecommendation to core.mk"
am: 95f616b960

Change-Id: Ice21caa64e01e15911d9f5979cd0db345e5686f1

Merge "Add default NetworkRecommendation to core.mk"

releasetools: Fix the computation in ReviseStashSize().

We compute the max stashed_blocks in ReviseStashSize(), prior to calling
WriteTransfers(), to avoid running out of space due to stashing.

There is a bug when computing the to-be-freed stashed blocks, where we
wrongly free the space _before_ executing the transfer command. This leads
to a script failure where the max stash size violates the max allowed
size in WriteTransfers().

Note that this bug doesn't affect already generated packages. It's only
an underestimate in ReviseStashSize(). The check in WriteTransfers() has
been correct to ensure the max stash size.

Bug: 33687949
Test: Successfully generated incremental OTA which failed previously.
Change-Id: I4f4f043c6f521fce81ca5286e6156f22d99bf7f7

Add default NetworkRecommendation to core.mk

This makes the apk avaiable on all devices and can be overridden on a
per-product basis using LOCAL_OVERRIDES_PACKAGES.

BUG: 33224286
Test: Verified with lunch aosp_bullhead-userdebug; make

Change-Id: Ib345193caa4431b6405294bd8759d93349335814

Merge "aapt no longer needed for signing APKs"
am: 3cfff7386f

Change-Id: I95e90f0c4e31fe79bb72a302bec2d89885959533

Merge "Remove unused get-package-min-sdk-version-int"
am: 5a1ba84c30

Change-Id: Id5b5c1a36f6fe6ef85f9cee12a7e49dacd416801

Merge "aapt no longer needed for signing APKs"

Merge "Remove unused get-package-min-sdk-version-int"

Merge "Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set.""
am: e4be608d2f

Change-Id: I236dd4c28d4bbe65fc51fb3fbd599a3a23129b14

Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set."
am: 823172e209

Change-Id: If6249d3b311089ea342fb873288ad38c12bc53d1

Merge "Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set.""

Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set."

This reverts commit 2b6c204c73b97147ec00484904ee6f4bc003cb15.

Change-Id: I60a042f2ed0c767ec3a45c31ee1b99d43891efaa

Remove unused get-package-min-sdk-version-int

The only user of get-package-min-sdk-version-int was signapk. signapk
no longer needs to be provided with the APK's minSdkVersion though.

(cherry picked from commit e185da21ca07006c5ced90e1577c0682566428de)
Test: make clean && make

Change-Id: I6867a004aec0f3752cbbc99cc30e02ca5404b3c4

aapt no longer needed for signing APKs

signapk now auto-detects the APK's minSdkVersion, removing the need to
run aapt dump badging during APK signing.

Test: make clean && make
Change-Id: Ifc74292a9900443d053e437b50b540c8d0b33dbd

Merge "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set."
am: b777f169f8

Change-Id: I7d0c58f2c1be9084b8a78a7fa32c9dab6eb31756

Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set.
am: 2b6c204c73

Change-Id: Iea702c06134f40b312c795ce13d41fa94bc62e15

Merge "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set."

Merge "Split mac_permissions.xml into plat and non-plat components."
am: b8888197c6

Change-Id: Id0785ec8105d31cb8dd21780be3552588c4ce9e8

Split mac_permissions.xml into plat and non-plat components.
am: 15171f641e

Change-Id: Ic2ad780d79f58d8fcffffcae7e3aaefda5b4be4f

Merge "Split mac_permissions.xml into plat and non-plat components."

Split mac_permissions.xml into plat and non-plat components.

Bug: 31363362
Test: Bullhead and Sailfish both build and boot w/out new denials.
Change-Id: Id7e29ec09510741c4e925231401a6de81704fbf0

Merge "Remove variables exported by Soong"
am: f61205d5c7

Change-Id: I2140a80261c0062e220656e6017b3142d486176f

Merge "Remove variables exported by Soong"

Merge "Don't clean generated java sources when AIDL list changes"
am: e9c4079e91

Change-Id: I854de56628e16c12a771f18423274e5409ee374b

Merge "Don't clean generated java sources when AIDL list changes"

Don't clean generated java sources when AIDL list changes

AIDL doesn't generate into the intermediate src directory, we pass exact
aidl->java files to the compiler. So there is no need to clean the
intermediate src directory when the aidl file list changes for a module.

Test: None, just code inspection
Change-Id: I01feff7cc399ac5b88b83333a1ac86928d0a81e6

Merge "Identify non-local EXPORT_C_INCLUDE_DIRS in soong_to_convert"
am: d3cc4950f8

Change-Id: Ie22b04f74b035bfbe1985dbb1f5bc82e43d50e4a

Merge "Identify non-local EXPORT_C_INCLUDE_DIRS in soong_to_convert"

Remove variables exported by Soong

LLVM_RELEASE_VERSION is unused from envsetup.sh and during product
config loading.  LLVM_PREBUILTS_VERSION is still used in envsetup.sh, so
needs to stay.

Delay reading core/clang/config.mk until after Soong's variables are
read so that we don't need a copy of LLVM_PREBUILTS_BASE.

Test: Compare build-aosp_flounder.ninja
Change-Id: I85b5836a2230838c8f3766fb19c6108fc5c9ca50