Merge changes from topic 'fsconfig2-fixups' am: abf3dbe248
am: 2fe7f7a402

Change-Id: If119f71509b9e11668d526ce965880271d004487

fsconfig: fix pylint warning am: 4165c635b8
am: 3f9be0b6ae

Change-Id: Iad144edd409640385a69ce0f5c35048d30a494f9

fsconfig: fix style formating with yapf am: 820421c9b5
am: 529b397e83

Change-Id: Ie42a5e8732a8c963334c5e3a5d38a232dccd75a5

Merge changes from topic 'fsconfig2-fixups'
am: abf3dbe248

Change-Id: I0149e85d05c3fb60f8ab0e878a3a8172a1edaede

fsconfig: fix pylint warning
am: 4165c635b8

Change-Id: Ic417993b369e152754887ed48b087fc2f5eea0c9

fsconfig: fix style formating with yapf
am: 820421c9b5

Change-Id: Ib23e0fb880903881efa34f243889a203026a80d3

Merge changes from topic 'fsconfig2-fixups'

* changes:
  fsconfig: fix pylint warning
  fsconfig: fix style formating with yapf

Merge changes from topic 'build-vts-zip' am: d0c693ff64
am: a50ead8336

Change-Id: I409e26a885e5361a23c6bbae9c8fc994e45f7fcd

delete vts.mk (which is moved to test/vts) am: 18a316c161
am: ed61c29cfd

Change-Id: If7f214225e07c3b5789d2d79b808c432c92fee27

include VTS packaging task files am: b74649d027
am: 33f6d707fa

Change-Id: Ia84408c4ea3215acefd3f666525df397d868fc52

Merge changes from topic 'build-vts-zip'
am: d0c693ff64

Change-Id: Ic2b1d3165c4da7d89080f3016286a4a7ed815b2b

delete vts.mk (which is moved to test/vts)
am: 18a316c161

Change-Id: I1853517cff9d3697143b8c5c2fd6459e502040c4

include VTS packaging task files
am: b74649d027

Change-Id: I94d3ceb03b7815b49291ca127fdd41a8affca8fe

Merge changes from topic 'build-vts-zip'

* changes:
  delete vts.mk (which is moved to test/vts)
  include VTS packaging task files

delete vts.mk (which is moved to test/vts)

Test: m -j vts
Change-Id: I3ab29e59b6f77f3ac92bbfe7a6f7a8f36b2ba3bd
(cherry picked from commit a942dc8433c4e02bdfe0313471bcac8fef318fde)

include VTS packaging task files

Test: m -j vts
Change-Id: I8737412bf4e7b5c2db32325105e7c588949b959d
(cherry picked from commit 199a710f73d9522b599ff75b8dc8ea54e7fcf6e0)

fsconfig: fix pylint warning

Fix pylint warning:
W:292,47: Cell variable lineno defined in loop (cell-var-from-loop)

For the closure function that prints the error message, we actually
want the value of modified lineno within the closure.

Test: run unit tests

Change-Id: I7d08184563d347c826ca1af7558fb8e378f151e1
Signed-off-by: William Roberts <william.c.roberts@intel.com>

fsconfig: fix style formating with yapf

A few changes got introduced that yapf re-styles. To make it easy,
keep this file formated to:

yapf -i --style=google fs_config_generator.py

Test: run unit tests

Change-Id: I3160b92d7fd07a4d315dde59f1d20fe4c7587da1
Signed-off-by: William Roberts <william.c.roberts@intel.com>

Merge "Define TARGET_OUT_VENDOR_APPS_PRIVILEGED for 2nd arch" am: 1a4a0a4539
am: 82e3d0d007

Change-Id: I65daac2e70657ae651a705d3768555ab1b727d05

Merge "Define TARGET_OUT_VENDOR_APPS_PRIVILEGED for 2nd arch"
am: 1a4a0a4539

Change-Id: Ic1bee5c763d5375c676f96db273d3126c85dd85b

Merge "Define TARGET_OUT_VENDOR_APPS_PRIVILEGED for 2nd arch"

Merge "fs_config: Fix oem range parsing" am: ce6c8e629f
am: c16a64b832

Change-Id: Iafb13daaa210eea2c19e11eb1d9b2d94a5d047bb

Merge "fs_config: Fix oem range parsing"
am: ce6c8e629f

Change-Id: I74d198a2638b875233859a1c7ff723b04b47a353

Merge "fs_config: Fix oem range parsing"

Merge "blockimgdiff.py: Clean up stash id computation in BBOTA v3+." am: 7cfc591596
am: 74b665fef1

Change-Id: I4d9b7eb0c73faee8c7044690750560840fa4d820

Merge "blockimgdiff.py: Clean up stash id computation in BBOTA v3+."
am: 7cfc591596

Change-Id: Ifaf7f387b840d9f3e59bdbf93beab41a245f7ed5

Merge "blockimgdiff.py: Clean up stash id computation in BBOTA v3+."

Merge "Remove option for non-pic dex preopt." am: c184ef515c
am: ffb29d7497

Change-Id: I15c5c9f03f33a02a7f39e781e5e945fe5c74f4bd

Merge "Remove option for non-pic dex preopt."
am: c184ef515c

Change-Id: If76f8195ecb8b914fdea259de2e80ebebb5ebfe3

Merge "Remove option for non-pic dex preopt."

fs_config: Fix oem range parsing

Addresses the following build error:
  "value" not in valid range [], got: 2901 for: "AID_ABC" file:\
  "device/somc/abc/config.fs"

that happens when parsing device/somc/abc/config.fs:
  [AID_ABC]
  value: 2901

The problem is that the AID.PREFIX is 'AID_' so the _OEM_RANGE
expression is searching for AID__OEM_RESERVED, which never
exists. Drop the extra '_'.

Change-Id: I8a1556731e14e49cef66e3e91121e4be23a308e0
Test: ./build/tools/fs_config/fs_config_generator.py fsconfig --aid-header=system/core/include/private/android_filesystem_config.h device/somc/abc/config.fs

blockimgdiff.py: Clean up stash id computation in BBOTA v3+.

Only BBOTA v2 needs to maintain a pool of available 'stash slot id'.
BBOTA v3+ uses the hash of the stashed blocks as the slot id, which
doesn't need the id pool anymore.

Bug: 33694544
Test: Generate v2 and v4 incrementals w/ and w/o the CL. They produce
      the same packages respectively.
Change-Id: I8121af5b6b1bee98c3639d54a00b06fd12e378e8

Merge "Revert "Revert "Merge changes from topic 'fsconfig-2'""" am: 5f60b74297
am: 71f582ac30

Change-Id: If090fbd6fef18dbed6258d58c7aa45d6ace27e14

Revert "Revert "Merge changes from topic 'fsconfig-2'"" am: 2d7c86dfea
am: feb4f2e54a

Change-Id: I5e6d138662e8f21f85e77466f897ffab9afd0f2d

Merge "Revert "Revert "Merge changes from topic 'fsconfig-2'"""
am: 5f60b74297

Change-Id: Ib88d2780ee2a7ba0b070087cc1ed8921f4247100

Revert "Revert "Merge changes from topic 'fsconfig-2'""
am: 2d7c86dfea

Change-Id: I825336a18f7d7525bb49dd65d24ddccbfef84ba5

Merge "Revert "Revert "Merge changes from topic 'fsconfig-2'"""

Merge "Update pathmap.mk for renderscript support library migration" am: cafc7efee0
am: 7621a86097

Change-Id: I9adc6741d91caf5c575c11070b2277a50c3dc940

Merge "Update pathmap.mk for renderscript support library migration"
am: cafc7efee0

Change-Id: Ic85e61e12524b46073a0fd3b092eb42bc6d5c283

Merge "Update pathmap.mk for renderscript support library migration"

Update pathmap.mk for renderscript support library migration
am: b78260919d

Change-Id: Ic8bdcfa3e55cb6b1f501efbff9aee9304811f41f

Update pathmap.mk for renderscript support library migration

Bug: 30255901
Change-Id: I213baaf4c76a7e5b8d20168624b74eb61582d215
(cherry picked from commit 49f03349c818de16be3a0c74f6dc07c85b94b7b0)

Update pathmap.mk for renderscript support library migration

Bug: 30255901
Change-Id: I213baaf4c76a7e5b8d20168624b74eb61582d215
(cherry picked from commit 49f03349c818de16be3a0c74f6dc07c85b94b7b0)

Merge "Update pathmap.mk for renderscript support library migration" into nyc-mr1-dev-plus-aosp

Merge "Remove --ignore_dirty=$(OUT_DIR)/% from Kati flags" am: fb2efba189
am: 952d5adcde

Change-Id: I57b99cf8d157dbcf8f10e8d1d4b56a8529d1354f

Merge "Remove --ignore_dirty=$(OUT_DIR)/% from Kati flags"
am: fb2efba189

Change-Id: I63dd0ac17a099ac6da5e8e63be280983e042a839

Merge "Remove --ignore_dirty=$(OUT_DIR)/% from Kati flags"

Update pathmap.mk for renderscript support library migration

Bug: 30255901
Change-Id: I213baaf4c76a7e5b8d20168624b74eb61582d215
(cherry picked from commit 49f03349c818de16be3a0c74f6dc07c85b94b7b0)

Remove --ignore_dirty=$(OUT_DIR)/% from Kati flags

We really should be re-running Kati when a file in here changes, since
it may actually affect the result. The general problem we've run into is
when there are two kati output files that are clean according to the
current rules, but if they actually ran we'd force an installclean.

This also had the side-effect of not running shell commands that touched
$OUT_DIR, like writing files using $(shell echo ... >out/...), now those
may be run.

This will cause Kati to re-read the makefiles more often -- twice when a
CleanSpec.mk changes, twice when switching products on the same device.
Basically every time we read the old state, do something about it, and
write out the new state, we need to rerun the next time so we aren't
continuously cleaning up what changed.

Bug: 30947985
Test: Manual, switching between configurations; enable --regen_debug
Change-Id: I888f9f8295f318f8214b2c79525cf94f457a5a8b

Merge "Fix incremental builds with AAPT2" am: d25d80e193
am: b99d4b9e55

Change-Id: Ia623c9d0dddd26478174044c83c3eab34edc322b

Merge "embedded.mk: +android.hidl.memory@1.0-service" am: c1a11ec83f
am: fbeb6b5f8f

Change-Id: I4ceba4ea994f9c9304f7c54c16cf373f0170ac22

Merge "Fix incremental builds with AAPT2"
am: d25d80e193

Change-Id: Iaee5e4d0588fcf15c73005f3ca68c5db51dcc5b7

Merge "embedded.mk: +android.hidl.memory@1.0-service"
am: c1a11ec83f

Change-Id: Ib83eb02579543c0ad4b0954c9632cc26cd568d85

Merge "Fix incremental builds with AAPT2"

Merge "embedded.mk: +android.hidl.memory@1.0-service"

Fix incremental builds with AAPT2

When we removed the src/ directory, the R.stamp file was removed -- with
AAPT, this triggers src/android/Manifest.java to be regenerated. But
AAPT2 only uses the R.stamp file as a timestamp to find the
Manifest.java file, not to create it.

So add a new CleanSpec.mk to fix the builds by removing the target that
AAPT2 uses to generate the src/android/Manifest.java file.

Test: None
Change-Id: If56f326ad701f7f92aa7c8aeda57e92d9c62cff9

Merge "Support non-gtest NATIVE_TESTS" am: 561b0a3753
am: 1ef5112475

Change-Id: I7c16881f0efb637bf13a0af1e4c89640d7e218e6

Merge "Support non-gtest NATIVE_TESTS"
am: 561b0a3753

Change-Id: I2da6eb4db2e4ee03b2699c60540f79b580a1fad0

Merge "Support non-gtest NATIVE_TESTS"

Merge "Remove generated java source post clean logic" am: f57aa792c3
am: 5208e4f473

Change-Id: I18c9cf7fa19346e08d25d9fcba3b5538a7bf1127

Merge "Remove generated java source post clean logic"
am: f57aa792c3

Change-Id: I03b0b0368cd3e5500d60981c06135490af8eb3a9

Merge "Remove generated java source post clean logic"

embedded.mk: +android.hidl.memory@1.0-service

This is the service that provides shared memory for hidl/treble
processes.

Bug: 32185232
Test: builds
Change-Id: I79162a781daad7aa704f4ee071fef0bbdea59a18

Remove generated java source post clean logic

Just move the proto and renderscript sources into their own directories
-- the entire directory is wiped if the file list changes since the
command line will change. So we can just enable/disable pulling sources
from those directories based on whether there were files in the list or
not.

Bug: 30947985
Test: m -j java
Test: Remove a proto file from a java lib, ensure the generated source
      is not included.
Change-Id: If7529979de6fa62a651933a3a974f47b033851d6

Merge "Revert "Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set.""" am: 0c29ffb74d
am: 01fa928500

Change-Id: Iec4bb1e049e1c531744a3aeeed074488e22a3e34

Revert "Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set."" am: 43a7f0c765
am: b3ada4048f

Change-Id: Iebc8f31f1d8bd5fab5557a706f8d2d25d97e507a

Merge "Revert "Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set."""
am: 0c29ffb74d

Change-Id: Idd3792357787a0265aca742fd82439dad394a2e7

Revert "Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set.""
am: 43a7f0c765

Change-Id: Ie5bfee7624066314f3446c8eeb5e7d202702016e

Merge "Revert "Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set."""

Revert "Revert "Extends VNDK support in Make by setting LOCAL_USE_VNDK for modules going into vendor partition, except when they already have LOCAL_SDK_VERSION set.""

This reverts commit 823172e209ab92dbae6dd5a4ef750f73dbfc5aa8.

Test: build.ninja for any target doesnt change, unless
BOARD_VNDK_VERSION is turned on in BoardConfig.mk
Change-Id: I4e1baaf5a2251de20f71a47096ce53e23d7e2d80

Support non-gtest NATIVE_TESTS

We've had this in Soong for a while, but never supported it in Make.

Bug: 33819328
Test: Change LOCAL_GTEST on a module, check m -j ... showcommands
Change-Id: Id8f4b9908c82c05d9a986a38945b33bac578e991

Merge "HOST_OUT_EXECUTABLES path is not needed in misc_info file" am: 376c0146b3
am: 7def52bfe8

Change-Id: I4473d91d021fc17bd3412bae0967a68dc7283aff

Merge "HOST_OUT_EXECUTABLES path is not needed in misc_info file"
am: 376c0146b3

Change-Id: I97065c6e4e0a6d90dde92b96deb97f520b83c21b

Merge "HOST_OUT_EXECUTABLES path is not needed in misc_info file"

Merge "otatools: added missing shared library for make_ext4fs" am: 0ced0a1f50
am: 372a877659

Change-Id: I5cc501bd8f78cb4b1611bbc7e0e3b0a58bfd91f4

Merge "otatools: added missing shared library for make_ext4fs"
am: 0ced0a1f50

Change-Id: I6586f71273ff21a6f9ca44cfba6808248e62bd3b

Merge "otatools: added missing shared library for make_ext4fs"

Merge "logpersist: introduce split to logcat and logpersist domains" am: 04f2cbd92a
am: 76b36cfb98

Change-Id: Iec4ad75f0cd7d7171b506df7ea529a8152e3f4f5

Merge "logpersist: introduce split to logcat and logpersist domains"
am: 04f2cbd92a

Change-Id: I58f23b14630913eebe8ada09fa23c8ed9fbd90b0

Merge "logpersist: introduce split to logcat and logpersist domains"

Merge "Add ART_USE_READ_BARRIER to product variables." am: e34819ccce
am: f9e277e1fe

Change-Id: I4a0addd85f0e1dcc98250a60084f88be118276cc

logpersist: introduce split to logcat and logpersist domains

logcat_exec transition to logpersist from init with perms

Test: compile
Bug: 30566487
Change-Id: I0cea55f71be011e921841ef9d3e1283f11606f36

Merge "Add ART_USE_READ_BARRIER to product variables."
am: e34819ccce

Change-Id: Iaa92156d93110ddfd1a95f677bc02abc6dbcb5c5

Merge "Add ART_USE_READ_BARRIER to product variables."

HOST_OUT_EXECUTABLES path is not needed in misc_info file

HOST_OUT_EXECUTABLES is already added to the PATH variable,
so it is not needed to add the path info for binaries in
misc_info.txt and <partition>_image_info.txt.

Earlier the mkuserimg item in the build_image dictionary is
hardcoded to "mkuserimg.sh", but now it is customized for
mkuserimg.sh and mkuserimg_mke2fs.sh, and maintained in
dictionary "ext_mkuserimg=$(MKEXTUSERIMG)" in misc_info.txt
and <partition>_image_info.txt, where it is used in the
build_image script while creating the images.

The problem here is the value for this key is set to build
path of the file mkuserimg file
$(HOST_OUT_EXECUTABLES)/mkuserimg.sh,
i.e. out/host/linux_x86/bin/mkuserimg.sh,
there by standalone signing the images using otatools is
not working as the executables are packed in bin folder.

Test: tools/releasetools/sign_target_files_apks
    -p <extracted ota-tools.zip folder>
    --extra_signapk_args=-f /etc/opt/cert_data.dat
    -v
    --replace_verity_private_key ~/build/target/product/security/verity
    --replace_verity_public_key ~/build/target/product/security/verity.x509.pem
    -k <key maping>
    <input target files zip>
    <output target files zip>

Change-Id: I57af1025ec38f3794f779c49faa0bf965afc6a5d

otatools: added missing shared library for make_ext4fs

Added the missing shared library libpcre2.so for make_ext4fs
in the otatools.zip.
Standalone signing the images with otatools zip is not working
due to missing library for make_ext4fs.

Test: tools/releasetools/sign_target_files_apks
    -p <extracted ota-tools.zip folder>
    --extra_signapk_args=-f /etc/opt/cert_data.dat
    -v
    --replace_verity_private_key ~/build/target/product/security/verity
    --replace_verity_public_key ~/build/target/product/security/verity.x509.pem
    -k <key maping>
    <input target files zip>
    <output target files zip>

Change-Id: I4fc71a1c710f3075bb3bdb90d915538526004ee6

Add ART_USE_READ_BARRIER to product variables.

Bug: 33492005
Test: top-level build for angler.
Change-Id: I12aa2e18487c16423223f110b6dfb0d6dff1e7e8

Merge "blockimgdiff.py: Add a test case for ReviseStashSize()." am: f967849693
am: a10cd259fc

Change-Id: Ib8102e58f5c5df97550aa200a392ff4e0d567f00

Merge "blockimgdiff.py: Add a test case for ReviseStashSize()."
am: f967849693

Change-Id: Ibb1ffeb5c5e13578b4669c5525d270c4f3b7175d

Merge "blockimgdiff.py: Add a test case for ReviseStashSize()."

blockimgdiff.py: Add a test case for ReviseStashSize().

Bug: 33687949
Test: python -m unittest test_blockimgdiff
Change-Id: I31e42648d2c0e60b941908c098ce5ccc967861ca

Remove option for non-pic dex preopt.

Test: make checkbuild, aosp_bullhead-userdebug boots.
Bug: 33192586

Change-Id: I4dd179fac33d777fb10cc85a99ff68c3b0d0e03d

Revert "Revert "Merge changes from topic 'fsconfig-2'""

This reverts commit fad4b4b715be25e874829345a14219716fc8c157.

Incorporating the following fixes:

1.

fsconfig: fix fs_config_* build for discovered headers

When android_file system_config.h is picked up from the device
directory, neither TARGET_FS_CONFIG_GEN or TARGET_ANDROID_FILESYSTEM_CONFIG_H
are specified. Thus, the build is not generating the required fs_config_files
and fs_config_dirs.

Test: Ensure that make fs_config_files works, and produces the same output as before
      Build the system image and mount it as a loop back and dump the file system
      capabilities with getcap. Verify that output to the supplied
      android_file system_config.h

From the loopback of the system.img mount, from CWD system/bin:
$ getcap *
cnss-daemon = cap_net_bind_service+ep
hostapd = cap_net_admin,cap_net_raw+ep
imsdatadaemon = cap_net_bind_service+ep
ims_rtp_daemon = cap_net_bind_service+ep
logd = cap_setgid,cap_audit_control,cap_syslog+ep
mm-qcamera-daemon = cap_sys_nice+ep
pm-service = cap_net_bind_service+ep
run-as = cap_setgid,cap_setuid+ep
surfaceflinger = cap_sys_nice+ep
webview_zygote32 = cap_setgid,cap_setuid,cap_setpcap+ep
webview_zygote64 = cap_setgid,cap_setuid,cap_setpcap+ep

Compared to the android_filesystem_config.h:
    { 00700, AID_CAMERA,    AID_SHELL,     (1ULL << CAP_SYS_NICE), "system/bin/mm-qcamera-daemon" },
    { 00755, AID_SYSTEM,    AID_SYSTEM,    (1ULL << CAP_NET_BIND_SERVICE), "system/bin/pm-service" },
    { 00755, AID_SYSTEM,    AID_SYSTEM,    (1ULL << CAP_NET_BIND_SERVICE), "system/bin/imsdatadaemon" },
    { 00755, AID_SYSTEM,    AID_RADIO,     (1ULL << CAP_NET_BIND_SERVICE), "system/bin/ims_rtp_daemon" },
    { 00755, AID_SYSTEM,    AID_SYSTEM,    (1ULL << CAP_NET_BIND_SERVICE), "system/bin/cnss-daemon"},

2.

fsconfig: fix error message for duplicate AID

Fixes:
    raise ValueError('Duplicate aid value "%u" for %s' % value,
TypeError: %u format: a number is required, not str

and

    raise ValueError('Duplicate aid value "%s" for %s' % value,
TypeError: not enough arguments for format string

3.

fsconfig: add test for duplicate ranges

Add a test for duplicate range detection.

4.

fsconfig: skip AID_APP, AID_USER and all ranges

Do not output AID_APP, AID_USER and ranges. A range
is defined as ending with AID_ and ending in _START or
_END.

5.

fsconfig: test for skip AID_APP, AID_USER and all ranges

Test against AIDs that caused the bionic tests to fail.

Change-Id: I95569a9ccc83bd3231f8a6f395532cc2de316bd2
Signed-off-by: William Roberts <william.c.roberts@intel.com>

Merge "Revert "Add build dependencies for split sepolicy files."" am: cbdc0bd096
am: 5e8be7b822

Change-Id: I6b1e6db6a505f8a65879228dc8fa9b1863724ca1

Merge "Revert "Add build dependencies for split sepolicy files.""
am: cbdc0bd096

Change-Id: Ie73ea2b943a153422e0373ef291f7306747e5420

Merge "Revert "Add build dependencies for split sepolicy files.""

Revert "Add build dependencies for split sepolicy files."

This reverts commit 086189145caa9b154d02aa3a888a8815bb60a0d5.

Change-Id: Idfd210d1f16eefcedda6154b0361611f53c5158f

Merge "Add build dependencies for split sepolicy files." am: 298f9b5925
am: bc1832f381

Change-Id: Ic0a40500003afdd54e1a68cfec2937ae0f2aee06

Merge "Add build dependencies for split sepolicy files."
am: 298f9b5925

Change-Id: I8e8ef53b98d4341deab6f5ddb54cac6f30329e9c

Merge "Add build dependencies for split sepolicy files."