Merge "libfscrypt: support setting v2 encryption policies"
am: c5f7c38480

Change-Id: Ief71f4a70e9e2c2be5524a44795c793cf5bd311b

Merge "libfscrypt: support setting v2 encryption policies"

Merge "Make cppreopts.sh deal with new layout"
am: cf29d5254c

Change-Id: Ie9db469d29e292d3b44daaea2b274b0b37603920

Merge "Make cppreopts.sh deal with new layout"

Merge "simpleperf: add app tests in python test."
am: 955434d2fc

Change-Id: I308992609af219fd6774dce78af75e55efa9f180

Merge "simpleperf: add app tests in python test."

simpleperf: add app tests in python test.

Also fix log overwrite in TestLogger.

Bug: 141882072
Test: run test.py TestRecordingRealApps*.
Change-Id: I0e85224c40a66dbbd1caab5ff0bb48852712a06e

Make cppreopts.sh deal with new layout

.odex and .vdex files on system_other are being moved to a subdir
with the name of their source partition. Update cppreopts to
recognize this and pass the right source path to preopt2cachename.

Bug: 141707536
Test: manually verify name of dalvik-cache files post boot
Test: dumpsys package [system-package]; verify reason=prebuilt
Change-Id: Icb5b5307ad42b7c899e11212843ce4b96b015958

Merge "simpleperf: add tests recording real apps."
am: 0edad652cf

Change-Id: If81e6c1fde20f8160741a997cac01bcdc32b9dc2

Merge "simpleperf: add tests recording real apps."

simpleperf: add tests recording real apps.

This is to test failures more likely to be reproduced when recording real apps.

Bug: 141882072
Test: run simpleperf_unit_test on both arm64 and x86.
Change-Id: I20da128b6721c32c0205341a16f63414510753c9

libfscrypt: support setting v2 encryption policies

Update libfscrypt to support setting v2 encryption policies.  For this,
the ioctl to use is still FS_IOC_SET_ENCRYPTION_POLICY; we just need to
pass it a slightly different structure.

v2 policies support the same encryption modes and flags as v1 policies,
but internally they use a more standard, secure, and flexible KDF.  Due
to this, some future features will be supported by v2 policies only.

Other notes:

- Use 16 byte filenames padding for all v2 policies.  There's no need to
  use the legacy 4 bytes padding.

- Unlike v1 policies, setting a v2 policy requires CAP_FOWNER if the key
  hasn't been installed.  This isn't an issue for Android, however --
  Android always installs the keys first, and even if it didn't,
  policies are only set by init and vold, which have CAP_FOWNER.

Bug: 140500999
Test: tested as series; see If64028d8580584b2c33c614cabd5d6b93657f608
Change-Id: I325f75fd3e59d6f00a5c66938b99b127981183a5

Merge changes from topic "logwrapper-api-update"
am: 0888874bb4

Change-Id: I118a28b210927073703edb04dabf6c5bba935e27

Merge changes from topic "logwrapper-api-update"

* changes:
  Update system/extras for logwrapper
  puncture_fs: convert to C++ and update for logwrapper

Update system/extras for logwrapper

Test: build
Change-Id: I60bd71671ef18b62f3d4152e3061133eafa935f8

puncture_fs: convert to C++ and update for logwrapper

This was logwrapper's last C dependency to convert it to C++ for the
incoming updates.

Test: builds
Change-Id: I71feb31032b6b4c8c7147d2111f9a685c0351e4b

Merge "lpdump: print partitions in super in order"
am: 16e39c46b8

Change-Id: I8fe5244a52cfdd1246c30c0f71e1f074562ac678

Merge "lpdump: print partitions in super in order"

lpdump: print partitions in super in order

Easier to understand where are all the extents.
Test: run it

Change-Id: I88511fe4ed0d23882872c7434422f0a42cd3ee1f

Merge "simpleperf: fix location addresses in generated pprof files."
am: 1720053bc5

Change-Id: If7485b6ccc4bf0ee62bad60399173ff235697f18

Merge "simpleperf: fix location addresses in generated pprof files."

simpleperf: fix location addresses in generated pprof files.

The address of a location in pprof proto files should be within memory
range of the corresponding mapping. But in pprof_proto_generator.py,
it is written as the virtual address in elf file.

Bug: 141026312
Test: run test.py TestPprofProtoGenerator*
Change-Id: I3bc13548477b6b6069f712035b7177cc4bd60c80

Merge "mkuserimg_mke2fs.py: Package mke2fs.conf"
am: 61c47892cc

Change-Id: I94d95f31f20aee43aed60d3ce24646d44598b74d

Merge "mkuserimg_mke2fs.py: Package mke2fs.conf"

Merge "simpleperf: output text format for autofdo in inject cmd."
am: 9ad7a2597f

Change-Id: Id4f07251dead2f2eb6e9d2ac6b5001a7952fcb73

Merge "simpleperf: split test progress and log of test.py."
am: 15f2323247

Change-Id: I8dab2e230054c793f4acdc8f8638314b2320d699

Merge "simpleperf: output text format for autofdo in inject cmd."

Merge "simpleperf: split test progress and log of test.py."

simpleperf: split test progress and log of test.py.

Currently test.py outputs both test progress and log in stderr,
making output hard to parse. So only keep test progress in
stderr, and move verbose log to test_python_{2,3}.log.

Since we keep test logs, continue testing even when some tests fail.

Also move deprecated assertEquals to assertEqual.

Bug: 140958894
Test: run test.py.
Change-Id: I11c168cbc934055b47a3df44fc6d568824282702

simpleperf: output text format for autofdo in inject cmd.

Also add --binary option to selected binaries for generating data.
Because AutoFDO only accepts one binary input.

Test it manually with a simple example as below:
1. on device, run `./simpleperf record -e cs-etm:u ./etm_test_multi_thread`.
2. on device, run `./simpleperf inject --binary test_loop_b`.
3. on host, run `adb pull /data/local/tmp/perf_inject.data`.
4. on host, run `./create_llvm_prof -binary=libetm_test_loop_b.so
-profile=perf_inject.data -profiler=text -out=a`.

And create_llvm_prof can generate output successfully.

Bug: 141013987
Test: run simpleperf_unit_test.
Change-Id: Iacc0e3ed4cc47c91d5764e7b0394718436211514

Merge "Add support for scudo native allocator."
am: c63affea9a

Change-Id: I934cbfa3f5c940aed1cdbd49acab45e629335108

Merge "Add support for scudo native allocator."

Merge "Add vbmake to build super_vbmeta.img"
am: 1c23735731

Change-Id: I44de5a5c1c67e3d23a10a9b18d1e03c52fcabd93

Merge "Add vbmake to build super_vbmeta.img"

mkuserimg_mke2fs.py: Package mke2fs.conf

Depending on the environment where mkuserimg_mke2fs.py is used, it's
difficult to locate the configuration file mke2fs.conf.  To avoid
potential issues, let's just package mke2fs.conf with
mkuserimg_mke2fs.py.

Bug: 112937752
Change-Id: I9eb911fc9357e65a666bafd3089461cac8289008

Add support for scudo native allocator.

Bug: 137795072

Test: Unit tests pass.
Test: Ran memory_replay and verified that RSS is non-zero.
Change-Id: I266b9d4e4d1c1a3011acc47f9891a2b65979d870

Merge "simpleperf: use path in binary_cache in pprof_proto_generator.py."
am: f0988974b0

Change-Id: Ia602ea561bf73d39691bcb21918efe3aebe577dc

Merge "simpleperf: use path in binary_cache in pprof_proto_generator.py."

simpleperf: use path in binary_cache in pprof_proto_generator.py.

Pprof needs to know binary paths to show their disassembly code.
So support it by generating path in binary_cache instead of
path on Android device.

Bug: 141026312
Test: run test.py.
Change-Id: Ied2913b99d884bfa57ab9440ae1684b1d9d6a31d

Merge "simpleperf: fix build id in pprof_proto_generator.py."
am: 939a46d25c

Change-Id: I694d9b6f0621103a3309d91b6accd831b26adc5d

Merge "simpleperf: fix build id in pprof_proto_generator.py."

simpleperf: fix build id in pprof_proto_generator.py.

Simpleperf stores padded build id in perf.data, but pprof needs
real build ids in proto file. So we need to convert from padded
build ids to real build ids.

Bug: 141026312
Test: run test.py.
Change-Id: I7f4454343fd80f77364b67ec729cfba478925029

Merge "Add a per-boot-key policy reference"
am: 8b3bcfa42b

Change-Id: If3093b98587a1f81ce3affbacff0d022faf4788b

Merge "Add a per-boot-key policy reference"

Add a per-boot-key policy reference

Bug: 140882488
Test: Booted twice, checked logs to ensure encryption
    is different each time, adb created files in directory.
Change-Id: I5c962edb316d160dd09c0df893912c6b257d7810

Merge "lpdump: Fix slot handling on retrofit devices."
am: 18dea93474

Change-Id: Ibeb8c81fc888bc99b15eb8dd027bddf903d71b66

Merge "lpdump: Fix slot handling on retrofit devices."

Merge "verity: Do not increment data when it is nullptr."
am: 49558ddfbd

Change-Id: I91e75c5e35eba10d44a1814e580c51459fcafb2b

Merge "verity: Do not increment data when it is nullptr."

Merge changes from topic "protobuf-3.9.1"
am: dfe1e15650

Change-Id: I8e2bb0d9c095b9aa9f6f435d31c8b4770437f8dc

Adapt to google::protobuf::int64 type change and scoped_ptr removal
am: 43b95eae1e

Change-Id: I7771ad00341e37660c4803bcb33ab4afa2331404

Merge changes from topic "protobuf-3.9.1"

* changes:
  libjsonpb: fix tests for new protobuf version
  Adapt to google::protobuf::int64 type change and scoped_ptr removal

Merge "Create per-uid GCOV_PREFIX dir in the getenv wrapper"
am: 54451c0c7b

Change-Id: Ibc3d667bf1cc6ec5bf0e8e7ec109143c8fbc2aa3

Merge "Create per-uid GCOV_PREFIX dir in the getenv wrapper"

Create per-uid GCOV_PREFIX dir in the getenv wrapper

Bug: http://b/116873221

With https://reviews.llvm.org/D65245, the profile runtime assumes that
the directory ${GCOV_PREFIX} is already created.  Before returning from
the getenv wrapper, create the per-uid ${GCOV_PREFIX}.

Test: cuttlefish builds and boots with new Clang.
Change-Id: I276e1a92b3cb18ee85bb4451159b131d8ebca4a2

Merge changes from topics "lpdump-all", "lpdump-bugreport"
am: 2cf1c60a8c

Change-Id: I96ddbe6cf8a067230f638f8db2c89e6647795272

Merge changes from topics "lpdump-all", "lpdump-bugreport"

* changes:
  lpdump: Add an --all command to dump all metadata slots.
  lpdump: Refactor how lpdump reads metadata.

lpdump: Fix slot handling on retrofit devices.

On retrofit devices, use the correct super partition when none is
explicitly specified.

Bug: 140204341
Test: manual test
Change-Id: I2753024bd2e7dfdf9d19916f30c1b2bd6b5ee289

lpdump: Add an --all command to dump all metadata slots.

Note that this will not correctly dump all slots on retrofit devices.

Bug: 140204341
Test: lpdump --all
Change-Id: Icb8d8619202221f0c5fc8848abc7172d0b4dafd3

verity: Do not increment data when it is nullptr.

Address a segfault introduced in
d6dc877032c65768b3c6737156d3142f32cc9984

As soon as leftover_ becomes non-empty, the data pointer is incremented
and will now be an invalid pointer in case it was null previously.
The subsequent check in HashBlocks() will now encounter a non-null data
ptr and pass it to HashBlock(), triggering a segfault.

Test: Manually build and boot an image on which this crashed before.
Test: build_verity_tree_test
Change-Id: I324ff6103c9d35fb290c4e96fb5009ee365a0249
Signed-off-by: MarijnS95 <marijns95@gmail.com>
(cherry picked from commit c82514bd034f214b16d273b10c676dd63a9e603b)

Add vbmake to build super_vbmeta.img

vbmake constructs the super_vbmeta.img with given vbmeta images.

Bug: 137054296
Test: m libvbmeta_test
Test: ./out/host/linux-x86/nativetest/libvbmeta_test/libvbmeta_test
Change-Id: Ic76baa6daa1e58a22b62bdc4f25eb12c8d9004e4

Merge qt-r1-dev-plus-aosp-without-vendor (5817612) into stage-aosp-master

No content change.

Bug: 135460123
Change-Id: I9f7a8d2543c671439b7bc53af638716ebbd060c0
Merged-In: I96bc50d90bef5cbe55acbb773436fe21129e25ab

Merge "Remove libhwbinder/libhidltransport deps"
am: 96974c3401

Change-Id: I96bc50d90bef5cbe55acbb773436fe21129e25ab

Merge "Remove libhwbinder/libhidltransport deps"

lpdump: Refactor how lpdump reads metadata.

This patch prepares lpdump for the addition of an "--all" option to dump
all metadata slots.

 - The slot and super partition name are now determined ahead of time,
   rather than as part of reading metadata.
 - The custom IPartitionOpener has been removed as it served no purpose.
 - The -e option has been removed in favor of IsEmptySuperImage().
 - Metadata spew has been factored into a separate function.

Bug: 140204341
Test: manual test
Change-Id: I810a5f042870f7e072a8939bebe99b8707235f43

Merge changes I51ee7070,I499a70a9
am: 59e1ab234c

Change-Id: I86d5c8b423f26c3a965bedad59753d374d137306

Merge changes I51ee7070,I499a70a9

* changes:
  libfscrypt: simplify fscrypt_policy_ensure()
  libfscrypt: remove some hardcoded definitions

[automerger skipped] Merge "DO NOT MERGE - Merge Android 10 into master"
am: 3342738e82 -s ours
am skip reason: subject contains skip directive

Change-Id: I9e2672405aa2f59974a08b52107ff7aaaefda422

Adapt to google::protobuf::int64 type change and scoped_ptr removal

Protobuf 3.9.1 redefines google::protobuf::int64 from long long to
int64_t, which is sometimes long and sometimes long long.  Use
PRId64 to print it.

scoped_ptr has been removed, use std::unique_ptr instead.

Bug: 117607748
Test: m checkbuild
Change-Id: Idfcaba262c27cf2b895a0a6ded8394c8465547e8
Merged-In: Idfcaba262c27cf2b895a0a6ded8394c8465547e8

libjsonpb: fix tests for new protobuf version

Bug: 117607748
Test: atest --host libjsonpbverify_test
Change-Id: I5ce89c330d769fac10d8092734a37c26694587a2
Merged-In: I5ce89c330d769fac10d8092734a37c26694587a2

Remove libhwbinder/libhidltransport deps

Since these were combined into libhidlbase.

Bug: 135686713
Test: build only (libhwbinder/libhidltransport are empty)
Change-Id: Iea42841e537a16a302b6d425faf2c6bd511c6bad

[automerger skipped] DO NOT MERGE - Merge Android 10 into master
am: cbe369529b -s ours
am skip reason: subject contains skip directive

Change-Id: I76cba1e4ee0e5be64c5a16d00c691159f9022fed

libfscrypt: simplify fscrypt_policy_ensure()

fscrypt_policy_ensure() sets an encryption policy if the directory is
empty, otherwise it verifies the existing encryption policy.

However, it's unnecessary to actually implement this logic in userspace,
because this is the behavior of the FS_IOC_SET_ENCRYPTION_POLICY ioctl
already.  See the documentation:
https://www.kernel.org/doc/html/latest/filesystems/fscrypt.html#setting-an-encryption-policy

Therefore, just call FS_IOC_SET_ENCRYPTION_POLICY and handle errors
appropriately.

This makes the code shorter and less racy, and it also fixes the issue
where if files were created in the directory before an encryption policy
is set, the error message was confusing:

    Failed to get encryption policy for $dir: No data available

Now it's:

    Failed to set encryption policy of $dir to ...: Directory not empty

Test: booted after factory reset, checked log, rebooted, checked log
      again.
Change-Id: I51ee70706bc9ccb216ccefd7bdfbbfc57faae14d

libfscrypt: remove some hardcoded definitions

FS_ENCRYPTION_MODE_ADIANTUM and FS_POLICY_FLAG_DIRECT_KEY are in
Bionic's <linux/fs.h> now, so there's no need to define them in
libfscrypt anymore.

Test: compiled
Change-Id: I499a70a9f8fd3445098a1dd799b1aefe0fa374ce

Merge "simpleperf: support profiling art interpreter on linux host."
am: 749f0bac4a

Change-Id: Iac4e835efe67677c36aa1a29ab4eebc8a41d7633

Merge "DO NOT MERGE - Merge Android 10 into master"

Merge "simpleperf: support profiling art interpreter on linux host."

simpleperf: support profiling art interpreter on linux host.

Bug: 140300587
Test: run simpleperf_unit_test.
Test: run simpleperf on host.
Change-Id: Ia2e21cabf2661c82bb611c525d5277b1e4d13a23

DO NOT MERGE - Merge Android 10 into master

Bug: 139893257
Change-Id: I35ce2edc54690d76c26efed846e232ff223ebb4e

Merge "Add support for new taskstats v9 functionality"
am: 9229017530

Change-Id: Ifc4601aa55c3475e726470189c3b56613fdc47c8

Merge "Add support for new taskstats v9 functionality"

Merge "simpleperf: switch to llvm-symbolizer."
am: f626973b9a

Change-Id: Iba347945d89f95967815e58809b90d667e0df8d5

Merge "simpleperf: switch to llvm-symbolizer."

simpleperf: switch to llvm-symbolizer.

Bug: 74395415
Test: run test.py.
Change-Id: I4cc0013735bedcfd18813428e4892049277c38ff

Merge "Refactor code with single trace parser."
am: 7ac993ce67

Change-Id: Iff4618349bce7e22456bf004b861daafcc0328f6

Merge "Refactor code with single trace parser."

Refactor code with single trace parser.

This is the first step towards adding a new way to benchmark the
traces. This new way would be a way to add all threads running at once.

Also to try and make it possible to do the faster runs that jmgao had
done a while ago.

Modified the code so that it's possible for memory_replay to play
the zip file, no need to unzip the trace files.

Add a single parser for the trace files.

Remove as many possible allocation points in the system. This allows
the traces to be run as pure as possible.

Added new unit tests to cover new code.

Bug: 137795072

Test: All unit tests pass.
Test: Ran select traces using the old version and the new version.
Test: Both get nearlyt he same RSS, but slightly different VA space
Test: due to the new version avoiding allocations at all costs.
Test: Ran the trace benchmarks and verified that the old version and the
Test: new version produce nearly the same numbers.
Change-Id: I8e8a28436f23b09eba57772c62bb0b866d874437

Merge "simpleperf: add --include-filter in record cmd."
am: 178d1d48bf

Change-Id: Ib04498c4d08229a815bb24d65048fde1f6d97b42

Merge "simpleperf: add --include-filter in record cmd."

simpleperf: add --include-filter in record cmd.

It is to only record selected binaries in cs-etm tracing.

Bug: 135204414
Test: run simpleperf_unit_test.

Change-Id: I5dae729aee1642d9384ee9bb88ee8cb25950131a

Merge "Update lpdump to recognize LP_PARTITION_ATTR_UPDATED."
am: 3562ed57ed

Change-Id: I193a78d01e2066a2f07b8d83906cd0a839957a8c

Merge "Update lpdump to recognize LP_PARTITION_ATTR_UPDATED."

Update lpdump to recognize LP_PARTITION_ATTR_UPDATED.

Bug: 139154795
Test: lpdump after update
Change-Id: I4cbfe80c15cfa0afe3e9d37e3f8818016e57daa2

Merge "Move fscrypt_init_extensions into system/core"
am: 39e92468ad

Change-Id: I14922f2abc8ca1644fdedcdb51a3d5409df54f58

Merge "If the rollback directories won't encrypt, wipe them"
am: 43ce86f084

Change-Id: Ib592f2e3fc0215dea881df16adf85569354edc30

Merge "Move fscrypt_init_extensions into system/core"

Merge "If the rollback directories won't encrypt, wipe them"

Move fscrypt_init_extensions into system/core

Bug: 140027478
Test: treehugger
Change-Id: I296ce6d1272816c237e1ad213fbdef9f6fafb44f

If the rollback directories won't encrypt, wipe them

/data/rollback and /data/rollback-observer used to be created
unencrypted by system-server. If they are unencrypted and have
content, force them to be encrypted by wiping their contents.

Bug: b/139193659
Test: Put content in these directories, then reboot and see it wiped.
Cherrypicked-from: 58a49c3ae59d250cc1db49ce5a2678bf19bb92c3
Change-Id: I0320eb645ebe86965928acbacc8ad01dae2d5ba5
Merged-In: I0320eb645ebe86965928acbacc8ad01dae2d5ba5

Merge "simpleperf: fix is_elf_file."
am: abde21870e

Change-Id: Ie8001786fec5cb09e2ce76d9fe4b882b2ff18b0a