Merge "lpdump: log warning message."

lpdump: log warning message.

Warning messages were placed in the output stream as well.
Put them in logcat so that stdout is always a valid JSON
string.

Test: lpdump --json on walleye
Bug: 126233777
Change-Id: If313eeaee9c347c498818f53decdf092328f142c

Merge "Convert more of system/extras to Android.bp"

Convert more of system/extras to Android.bp

See build/soong/README.md for more information about Soong.

Bug: 122331914
Test: cd system/extras; mma
Test: treehugger
Change-Id: Ic1cf293df2c848c7476ca93c150106a4a3cd849c

Merge "Change checkpoint_gc to run until threshold is met"

Merge changes from topic "lpdumpd"

* changes:
  suspend_stress: depend on libbase
  lpdump: Add --json option
  Make lpdump possible without root.
  lpdump: refactor to use std::ostream

Change checkpoint_gc to run until threshold is met

Run until garbage collection is done to prevent long boot times while
f2fs checkpointing runs garbage collection

Test: Apply update, or run /vendor/bin/checkpoint_gc UNUSED 1
Bug: 123367711
Change-Id: I4481b9179a819621dd77f5088778950e49d73ff3

suspend_stress: depend on libbase

It links to libcutils statically.
Test: builds

Change-Id: Ia1ddc848777f67b4aae3abfb901f84e38d397f62

lpdump: Add --json option

This option outputs in JSON format. In addition, it emits information
like usage data on mounted file systems, and block size of super block
devices.

Test: `lpdump --json` on host and device
Bug: 126233777

Change-Id: Iad68eb3932f317637e07cd692cdebe71e52db769

Make lpdump possible without root.

Test: adb unroot && adb shell lpdump
Bug: 126233777

Change-Id: Ie559072fe53fee43d7c4a9e8f97a89d979e5b9bc

Merge "Do not use --exclude-libs linker flag for Windows"

lpdump: refactor to use std::ostream

... so that the output stream / error stream can be
replaced with stringstream later.

Test: lpdump
Bug: 126233777
Change-Id: I837554b0289a5d669f0f89d35e7da1b79dd33b28

Merge "Allowing product-specific fstab.postinstall"

Merge "libjsonverify: allow option for missing files."

libjsonverify: allow option for missing files.

When 'optional' is set to true:
- If file is missing, test pass (with logs)
- If file is present but empty, test fails
- If file is present but in wrong format, test fails

Test: vts_processgroup_validate_test
Bug: 123664216
Change-Id: Ib6640c3c1ce159c5cac068042af564d98c9bbb1f

Merge "Rename data/pkg_staging to data/app-staging"

Rename data/pkg_staging to data/app-staging

Test: n/a
Bug: 126330086

Change-Id: I73367a60c23ca17d0557253bea25279c104e1e53
Merged-In: I73367a60c23ca17d0557253bea25279c104e1e53

Merge "DO NOT MERGE - Skip PPRL.190305.001 into master"

DO NOT MERGE - Skip PPRL.190305.001 into master

Bug: 127812889
Change-Id: I58060ed58fb41b540f42431bb994b6370a53812c

Do not use --exclude-libs linker flag for Windows

Bug: http://b/110800681

This flag is not supported by lld, and probably has no effect on Windows
with the binutils linkers.

Test: Build with lld
Change-Id: I1ca242bf0a004695a101b5b5c068867c69ea9f33

Allowing product-specific fstab.postinstall

To allow mount system_other with different file systems, mount options,
or verity settings, we need to put the fstab into /product and keep
the /system/etc/fstab.postinstall generic.

Device can add the following into device/*/BoardConfig.mk to use
the fstab from /product:

PRODUCT_PRODUCT_PROPERTIES += \
    ro.postinstall.fstab.prefix=/product

PRODUCT_COPY_FILES += \
    $(LOCAL_PATH)/fstab.postinstall:$(TARGET_COPY_OUT_PRODUCT)/etc/fstab.postinstall

In the $(LOCAL_PATH)/fstab.postinstall:
/dev/block/by-name/system /postinstall ext4   ro,nosuid,nodev,noexec  slotselect_other,avb_keys=/product/etc/avb/system_other.avbpubkey

[serial log]:
init: Overriding previous 'ro.' property' ro.postinstall.fstab.prefix':'/system' with new value '/product'
init: processing action (ro.postinstall.fstab.prefix=/product && sys.cppreopt=requested) from (/system/etc/init/cppreopts.rc:27)
init: [libfs_avb]Returning avb_handle for '/postinstall' with status: Success
init: [libfs_avb]Built verity table: '1 /dev/block/by-name/system_a
/dev/block/by-name/system_a 4096 4096 709501 709501 sha1
71941953c7b61238a1779e55f8dbba2eab6c702a 0b7840796a7be
6ecadffaf6fc2f085400c9a0c78 10 use_fec_from_device
/dev/block/by-name/system_a fec_roots 2 fec_blocks 715089 fec_start
715089 restart_on_corruption ignore_zero_blocks
...
init: Command 'mount_all /product/etc/fstab.postinstall'
action=ro.postinstall.fstab.prefix=/product && sys.cppreopt=requested
(/system/etc/init/cppreopts.rc:28) took 109ms and succeeded

[logcat log]:
cppreopts: Copied file from /postinstall/priv-app/... to /data/dalvik-cache/arm64/...
...
1750  1750 I PackageManager: cppreopts took 21976 ms

Bug: 112103720
Test: factory reset and boot device, checks cppreopt logs
Change-Id: If826ac45804be085b48a50cab6741960658dc09f

Merge "Use unique_ptr for Maps object."

Merge "Add a postinstall script for GC on F2FS"

Add a postinstall script for GC on F2FS

This script is intended to run on F2FS checkpointing devices.
It triggers garbage collection for a period of time to make
mounting with checkpoint=disable smoother.

Test: Set this script as a postinstall script on vendor
Bug: 123367711
Change-Id: I87e143a2004da5852654688c3c8773510b7073ae

Merge "simpleperf: make app api available for profileable apps."

simpleperf: make app api available for profileable apps.

Add api-prepare cmd to prepare recording via app api.
Add api-collect cmd to collect recording data generated by app api. The
recording data is compressed into a zip file.
The two added cmds support both debuggable apps and profileable apps.
Move api_app_profiler.py to api_profiler.py. And use the two added cmds in it.

Also improve app_api code:
1. Fix finding simpleperf.
2. Use time based output filenames.

Bug: 123717243
Test: test manually, will add run python tests later.

Change-Id: I88c20578d01a84bc20ea72276f2cab0f3c4d9109

Merge "simpleperf: add test for a problem recording user stack."

Merge "simpleperf: fix 32-bit simpleperf_unit_test."

Merge "simpleperf: fix showing a misleading msg."

simpleperf: fix 32-bit simpleperf_unit_test.

Previously simpleperf_unit_test links with libLLVM_android,
which doesn't have 32-bit version on device. This makes
32-bit simpleperf_unit_test fail. So switch it to static llvm
libs.

Bug: none
Test: build and run simpleperf_unit_test.
Change-Id: I23dcf647c6a7e37a8126315bf0417d4de283f05d

simpleperf: add test for a problem recording user stack.

Also fix a line in another test.

Bug: 113127950
Test: run simpleperf_unit_test.
Change-Id: Id7fd20cdc441734a8d39255fecfbd8fe9021274e

simpleperf: fix showing a misleading msg.

Bug: none
Test: run simpleperf manually.
Test: run simpleperf_unit_test.
Change-Id: I848d6508b8acecdba3be2d2fc1ce15be4e2a368b

Merge "libfscrypt: Do not encrypt the "gsi" folder."

Use unique_ptr for Maps object.

Change-Id: I727832857834c527c17bac532253aaac60e1b314

Merge "Fix build error of generating fec data"

libfscrypt: Do not encrypt the "gsi" folder.

On FBE devices without metadata encryption, GSI images must not be
encrypted, since they are written using normal write() calls rather than
going through device-mapper.

Bug: 126249541
Test: GSI works on FBE device without metadata encryption
Change-Id: Ie14be778eb4a7f18dd8ea33a044ba86f909f3cce

Merge "Fix libdexfile dependencies to avoid direct dependency on libdexfile_external."

Merge "cppreopts: remove DAC capabilities"

cppreopts: remove DAC capabilities

Define service for cppreopts.sh in order to drop DAC capabilities for
for it and its children. Capabilities were already blocked by SELinux
so this does not cause a functional change, but rather shifts the
blocking mechanism to the DAC capability check which fails less
noisily. Otherwise, this change is intended to preserve the previous
behavior and uses "exec_start" to presever the blocking behavior of
"exec".

This prevents an selinux denial which is causing occasional presubmit
failures:
avc: denied { sys_resource } for comm="preopt2cachenam" capability=24
scontext=u:r:preopt2cachename:s0 tcontext=u:r:preopt2cachename:s0
tclass=capability permissive=0

Bug: 79414024
Test: Boot a phone with the cppreopts feature. Verify no logcat errors and all
the files are copied to the location given by preopt2cachename.
Change-Id: If630b53d32c3c0414939b1f8db8d486406003567

Fix libdexfile dependencies to avoid direct dependency on libdexfile_external.

It should be dlopen'ed lazily by libdexfile_support now.

Test: mmma system/extras/simpleperf
Test: atest simpleperf_unit_test
  (1 failure in cpu_offline test, but that happens even without this CL)
Bug: 124827589
Bug: 123186083
Change-Id: Ibeb37b130f0081965b986622794f60ec75cd2e17

Fix build error of generating fec data

When we make the fec data for spare images, we will check each
chunk the length of spare image but not the total length.
If the libspare sends the data which is not a multiple of 4096,
there is an error.

We have reproduced it using our image.

The data is send by
https://android.googlesource.com/platform/system/core/+/fca4a9c27950a4a4281de0f413280cff9f4da653/libsparse/output_file.cpp#272

, and is checked by
https://android.googlesource.com/platform/system/extras/+/29bf737e56e10c2742f1e14fe9f07184d59bbcc0/verity/fec/image.cpp#179

If the to_write in first link is equal INT_MAX, the assert in second
link will be failed.

Test: use fec to product fec data successfully
      ./fec --encode --roots 2 system.img fecdata

Change-Id: Ib1e310a32bcda8acb3785d3784537d84fd439732

Merge "su: fix the command line syntax."

su: fix the command line syntax.

Test: `su --help`
Change-Id: I08f2e897b6d472f1748574aa162555ac8adfc05e

Merge "simpleperf: add api_app_profiler.py."

Merge "simpleperf: Add Java/C++ API to control simpleperf in app code."

simpleperf: add api_app_profiler.py.

It is used to help the API controlling simpleperf in app code.

Bug: 123717243
Test: run api_app_profiler.py to help profile app CppApi and JavaApi.
Change-Id: I1ada2ad9fbf040816db999632f4300c496c63a58

simpleperf: Add Java/C++ API to control simpleperf in app code.

Also add JavaApi app to test the Java API, and CppApi App to test
the C++ API.
Also expose help msgs for options used in the API.

Bug: 123717243
Test: run apps manually and verify the generated profiling data.
Change-Id: I64c9de82b3f7eb3d76c6aff0703e12ce33233e49

Merge changes from topic "libprocessgroup_json"

* changes:
  Add libjsonpbverify.
  Add libjsonpbparse.

Merge "Rename /data/staging to /data/pkg_staging."

Rename /data/staging to /data/pkg_staging.

Bug: 122999313
Test: n/a
Change-Id: I4f9086ac5ded56e1a8ba4e97f449f502b88f7634

Merge "simpleperf: Adjust callback for procinfo::ReadProcessMaps"

Merge "memcpy-perf: obsoleted by bionic/benchmarks' string benchmarks."

Add libjsonpbverify.

- libjsonpbverify is a helper library that a gtest can link against
  when checking JSON files against their protobuf schema.

- Add unittests to ensure these validation functions are correct.
  (libjsonpbverify_test)

- Add tests to mitigate discrepancies of behavior between libjsoncpp
  and libprocessgroup. (libjsonpbverify_test)

- Add tests to impose additional restrictions on proto3 files when
  using them as JSON schema.

Test: libjsonpbverify_test

Bug: 123664216
Change-Id: I1e6257c9a25fd8d10fad103f3b74f7e1c6fad8a6

Add libjsonpbparse.

- libjsonpbparse is intended to be used in client parsing code,
  but due to libprotobuf versions it can't be used yet. Hence,
  libprocessgroup continue to use libjsoncpp.

Test: builds
Bug: 123664216
Change-Id: I01b08a0e6ba1110f2f3398ddde9333622153dc9a

memcpy-perf: obsoleted by bionic/benchmarks' string benchmarks.

Test: N/A
Change-Id: If10d22c971f9d86ca2383de6699af55e9bf3b345

Merge "simpleperf: prepare for adding user api."

simpleperf: prepare for adding user api.

In record cmd, add --stdio-controls-profiling option to
pause/resume profiling. It reads cmds from stdin,
and writes replies to stdout.
Add --log-to-android-buffer option to show simpleperf
logs in logcat.

Bug: 123717243
Test: run simpleperf through user api manually.
Test: run simpleperf_unit_test.

Change-Id: I6c32c669d003cbd670a45e6fd31f764656837111

Merge changes from topic "wipe"

* changes:
  wipe: guarantee zeros after wipe out partitions
  ext4_utils: build by C++

wipe: guarantee zeros after wipe out partitions

Stale data in the partition can bypass formatting by fs_mgr and cause filesystem
unmountable.

Bug: 122989894
Change-Id: Id2aa4baefeb8308ce14eeaa7790a1aab35e522aa
Signed-off-by: Jaegeuk Kim <jaegeuk@google.com>

ext4_utils: build by C++

With this patch, we can use many library functions.

Bug: 122989894
Change-Id: I761a93d3f6460529a99086e33803e96f1a307079
Signed-off-by: Jaegeuk Kim <jaegeuk@google.com>

Merge "simpleperf: fix symbolization in multi-executable-segments libraries."

Merge "Add "instant app" boilerplate"

simpleperf: Adjust callback for procinfo::ReadProcessMaps

Bug: 123532375
Test: Builds

Change-Id: Ib1988cba9f2c5707d7f528fe53565a3448150973
Signed-off-by: Sandeep Patil <sspatil@google.com>

Snap for 5180536 from 9ec7ba8443caa905c2ebdf6eadd5e6148a348d37 to pi-platform-release

Change-Id: I671a68c64e83cb3e88bb12586858f7c41e5b18ed

Merge "simpleperf: fix time report in report_sample.py."

simpleperf: fix time report in report_sample.py.

Bug: none
Test: run report_sample.py.
Change-Id: If7a0913f464e41b9af0dbaa46a88327dde290558

simpleperf: fix symbolization in multi-executable-segments libraries.

Apps may run with libraries with multiple executable segments.
Symbolization ip addresses in these libraries need to use map.pgoff.

The old formula converting ip to vaddr_in_file:
  vaddr_in_file = ip - map.start + min_executable_vaddr

The new formula converting ip to vaddr_in_file:
  offset_in_file = ip - map.start + map.pgoff
  vaddr_in_file = offset_in_file - file_offset_of_min_executable_vaddr
  + min_executable_vaddr

Bug: 124056476
Test: run simpleperf_unit_test.
Test: use simpleperf to profile facebook app, ip addresses hitting libc.so
Test: and libart.so are symbolized correctly.
Change-Id: I5fd3ed822a916c4d04a9868d6d209c43ee190c5b

Merge "Link libart statically to perfprofd to avoid a dynamic dependency on it."

Merge "cppreopts: Move to sh_binary"

Merge "Move to C++ Fstab class"

Add "instant app" boilerplate

Test: build
Bug: 123366017
Change-Id: Iee201980e62e0ad2f4e9b1ae018e8002a0a44119

Move to C++ Fstab class

Test: treehugger
Change-Id: I6de8debc6756a831b3cdda8767b72c94a318ed9b

cppreopts: Move to sh_binary

Change-Id: Ie2b1401aa750a1a445daf80b13944a2ca0549c50

Merge "simpleperf: make atest happy."

simpleperf: make atest happy.

Bug: none
Test: run atest system/extras/simpleperf.
Change-Id: I21d69dcda8293f66e469aa5320099c6bdfa872e5

Merge "simpleperf: change the way running cts test."

simpleperf: change the way running cts test.

To test profiling debuggable apps, simpleperf cts test sets default
app package name for all tests. But it has below problems:
1. It is not explicit in the code of each test, thus harder to maintain.
2. It doesn't profile an app process, thus can't test profiling Java code.
3. Some tests are not suitable to run with app package name and have to
   disable app package name manually. This will be true for more tests
   if testing profileable apps.

So this CL changes the way running cts tests:
1. Remove default app package name, so all tests by default run in
   shell context.
2. Add explict tests to test profiling debuggable apps and profileable
   apps.

Bug: 118835348
Test: run CtsSimpleperfTestCases.

Change-Id: I7eacaf0dc66357dbb339a6e6d4c5ca694afa2619

Merge "inferno: add --system_wide option."

Merge "simpleperf: fix mac build."

simpleperf: fix mac build.

Bug: none
Test: build simpleperf on mac.
Change-Id: I9d839fc9779321aa5007e745d4aeaba48bb9fc53

Merge "Add android::fs_mgr namespace for new Fstab code"

Link libart statically to perfprofd to avoid a dynamic dependency on it.

Test: mmma system/extras/perfprofd
Bug: 113373927
Change-Id: I16d10a6c634541b19886ccd57cf7be0c015d82c1

Add android::fs_mgr namespace for new Fstab code

Test: treehugger

Change-Id: I6ed1afb59eed03ca5a7d06a697ac8b04e74f494d

Merge "simpleperf: fix mac build."

Merge "libpagemap: Remove it."

simpleperf: fix mac build.

Bug: none
Test: build.
Change-Id: I297e8cf9cbd55fd54b64402fd259bfe0b19bffff

Merge "Move to new Fstab class"

Move to new Fstab class

Test: treehugger
Change-Id: I1873022abde51b71b49e8d89bdaada044530987a

inferno: add --system_wide option.

Bug: 123587305
Test: run "inferno.sh --system_wide -t 10".
Change-Id: I0240e9a341c9f05298e819e155da426cebd4a810

Merge "simpleperf: update test record_cmd.no_dump_symbols."

libpagemap: Remove it.

Bug: 113035067
Test: lunch aosp_blueline-userdebug; m -j

Change-Id: Id3b99876fea86d9fb74877d7d238241b718fc4dc
Signed-off-by: Sandeep Patil <sspatil@google.com>

Merge "simpleperf: remove code not in use."

simpleperf: update test record_cmd.no_dump_symbols.

Bug: none
Test: run simpleperf_unit_test.
Change-Id: I1c068971f5d250603f57a866235e134dfb29e8f2

simpleperf: remove code not in use.

Bug: none
Test: run simpleperf_unit_test.

Change-Id: I012e84713988adba83cb5ce81e809e792eff27c3

Merge "simpleperf: move to Android.bp."

Merge "boot_signer should support boot header version 2"

boot_signer should support boot header version 2

Boot Image header version two modifies the boot image
format to include DTB.

Test: make
Bug: 111136242

Change-Id: Icfc1fce695d0e19ff15a1d74afd00b9b88cccf7e

simpleperf: move to Android.bp.

Bug: 72403367
Test: build
Test: run simpleperf_unit_test.
Test: run CtsSimpleperfTestCases.

Change-Id: I384189a7f58b65a22f0916d51a7d3a2a45cafa82

Merge "Remove direct dependency on the internal libdexfile library."

Merge "simpleperf: Use simpleperf_app_runner to profile profileable apps."