Fix build error of generating fec data

When we make the fec data for spare images, we will check each
chunk the length of spare image but not the total length.
If the libspare sends the data which is not a multiple of 4096,
there is an error.

We have reproduced it using our image.

The data is send by
https://android.googlesource.com/platform/system/core/+/fca4a9c27950a4a4281de0f413280cff9f4da653/libsparse/output_file.cpp#272

, and is checked by
https://android.googlesource.com/platform/system/extras/+/29bf737e56e10c2742f1e14fe9f07184d59bbcc0/verity/fec/image.cpp#179

If the to_write in first link is equal INT_MAX, the assert in second
link will be failed.

Test: use fec to product fec data successfully
      ./fec --encode --roots 2 system.img fecdata

Change-Id: Ib1e310a32bcda8acb3785d3784537d84fd439732

Merge "simpleperf: add api_app_profiler.py."

Merge "simpleperf: Add Java/C++ API to control simpleperf in app code."

simpleperf: add api_app_profiler.py.

It is used to help the API controlling simpleperf in app code.

Bug: 123717243
Test: run api_app_profiler.py to help profile app CppApi and JavaApi.
Change-Id: I1ada2ad9fbf040816db999632f4300c496c63a58

simpleperf: Add Java/C++ API to control simpleperf in app code.

Also add JavaApi app to test the Java API, and CppApi App to test
the C++ API.
Also expose help msgs for options used in the API.

Bug: 123717243
Test: run apps manually and verify the generated profiling data.
Change-Id: I64c9de82b3f7eb3d76c6aff0703e12ce33233e49

Merge changes from topic "libprocessgroup_json"

* changes:
  Add libjsonpbverify.
  Add libjsonpbparse.

Merge "Rename /data/staging to /data/pkg_staging."

Rename /data/staging to /data/pkg_staging.

Bug: 122999313
Test: n/a
Change-Id: I4f9086ac5ded56e1a8ba4e97f449f502b88f7634

Merge "simpleperf: Adjust callback for procinfo::ReadProcessMaps"

Merge "memcpy-perf: obsoleted by bionic/benchmarks' string benchmarks."

Add libjsonpbverify.

- libjsonpbverify is a helper library that a gtest can link against
  when checking JSON files against their protobuf schema.

- Add unittests to ensure these validation functions are correct.
  (libjsonpbverify_test)

- Add tests to mitigate discrepancies of behavior between libjsoncpp
  and libprocessgroup. (libjsonpbverify_test)

- Add tests to impose additional restrictions on proto3 files when
  using them as JSON schema.

Test: libjsonpbverify_test

Bug: 123664216
Change-Id: I1e6257c9a25fd8d10fad103f3b74f7e1c6fad8a6

Add libjsonpbparse.

- libjsonpbparse is intended to be used in client parsing code,
  but due to libprotobuf versions it can't be used yet. Hence,
  libprocessgroup continue to use libjsoncpp.

Test: builds
Bug: 123664216
Change-Id: I01b08a0e6ba1110f2f3398ddde9333622153dc9a

memcpy-perf: obsoleted by bionic/benchmarks' string benchmarks.

Test: N/A
Change-Id: If10d22c971f9d86ca2383de6699af55e9bf3b345

Merge "simpleperf: prepare for adding user api."

simpleperf: prepare for adding user api.

In record cmd, add --stdio-controls-profiling option to
pause/resume profiling. It reads cmds from stdin,
and writes replies to stdout.
Add --log-to-android-buffer option to show simpleperf
logs in logcat.

Bug: 123717243
Test: run simpleperf through user api manually.
Test: run simpleperf_unit_test.

Change-Id: I6c32c669d003cbd670a45e6fd31f764656837111

Merge changes from topic "wipe"

* changes:
  wipe: guarantee zeros after wipe out partitions
  ext4_utils: build by C++

wipe: guarantee zeros after wipe out partitions

Stale data in the partition can bypass formatting by fs_mgr and cause filesystem
unmountable.

Bug: 122989894
Change-Id: Id2aa4baefeb8308ce14eeaa7790a1aab35e522aa
Signed-off-by: Jaegeuk Kim <jaegeuk@google.com>

ext4_utils: build by C++

With this patch, we can use many library functions.

Bug: 122989894
Change-Id: I761a93d3f6460529a99086e33803e96f1a307079
Signed-off-by: Jaegeuk Kim <jaegeuk@google.com>

Merge "simpleperf: fix symbolization in multi-executable-segments libraries."

Merge "Add "instant app" boilerplate"

simpleperf: Adjust callback for procinfo::ReadProcessMaps

Bug: 123532375
Test: Builds

Change-Id: Ib1988cba9f2c5707d7f528fe53565a3448150973
Signed-off-by: Sandeep Patil <sspatil@google.com>

Merge "simpleperf: fix time report in report_sample.py."

simpleperf: fix time report in report_sample.py.

Bug: none
Test: run report_sample.py.
Change-Id: If7a0913f464e41b9af0dbaa46a88327dde290558

simpleperf: fix symbolization in multi-executable-segments libraries.

Apps may run with libraries with multiple executable segments.
Symbolization ip addresses in these libraries need to use map.pgoff.

The old formula converting ip to vaddr_in_file:
  vaddr_in_file = ip - map.start + min_executable_vaddr

The new formula converting ip to vaddr_in_file:
  offset_in_file = ip - map.start + map.pgoff
  vaddr_in_file = offset_in_file - file_offset_of_min_executable_vaddr
  + min_executable_vaddr

Bug: 124056476
Test: run simpleperf_unit_test.
Test: use simpleperf to profile facebook app, ip addresses hitting libc.so
Test: and libart.so are symbolized correctly.
Change-Id: I5fd3ed822a916c4d04a9868d6d209c43ee190c5b

Merge "Link libart statically to perfprofd to avoid a dynamic dependency on it."

Merge "cppreopts: Move to sh_binary"

Merge "Move to C++ Fstab class"

Add "instant app" boilerplate

Test: build
Bug: 123366017
Change-Id: Iee201980e62e0ad2f4e9b1ae018e8002a0a44119

Move to C++ Fstab class

Test: treehugger
Change-Id: I6de8debc6756a831b3cdda8767b72c94a318ed9b

cppreopts: Move to sh_binary

Change-Id: Ie2b1401aa750a1a445daf80b13944a2ca0549c50

Merge "simpleperf: make atest happy."

simpleperf: make atest happy.

Bug: none
Test: run atest system/extras/simpleperf.
Change-Id: I21d69dcda8293f66e469aa5320099c6bdfa872e5

Merge "simpleperf: change the way running cts test."

simpleperf: change the way running cts test.

To test profiling debuggable apps, simpleperf cts test sets default
app package name for all tests. But it has below problems:
1. It is not explicit in the code of each test, thus harder to maintain.
2. It doesn't profile an app process, thus can't test profiling Java code.
3. Some tests are not suitable to run with app package name and have to
   disable app package name manually. This will be true for more tests
   if testing profileable apps.

So this CL changes the way running cts tests:
1. Remove default app package name, so all tests by default run in
   shell context.
2. Add explict tests to test profiling debuggable apps and profileable
   apps.

Bug: 118835348
Test: run CtsSimpleperfTestCases.

Change-Id: I7eacaf0dc66357dbb339a6e6d4c5ca694afa2619

Merge "inferno: add --system_wide option."

Merge "simpleperf: fix mac build."

simpleperf: fix mac build.

Bug: none
Test: build simpleperf on mac.
Change-Id: I9d839fc9779321aa5007e745d4aeaba48bb9fc53

Merge "Add android::fs_mgr namespace for new Fstab code"

Link libart statically to perfprofd to avoid a dynamic dependency on it.

Test: mmma system/extras/perfprofd
Bug: 113373927
Change-Id: I16d10a6c634541b19886ccd57cf7be0c015d82c1

Add android::fs_mgr namespace for new Fstab code

Test: treehugger

Change-Id: I6ed1afb59eed03ca5a7d06a697ac8b04e74f494d

Merge "simpleperf: fix mac build."

Merge "libpagemap: Remove it."

simpleperf: fix mac build.

Bug: none
Test: build.
Change-Id: I297e8cf9cbd55fd54b64402fd259bfe0b19bffff

Merge "Move to new Fstab class"

Move to new Fstab class

Test: treehugger
Change-Id: I1873022abde51b71b49e8d89bdaada044530987a

inferno: add --system_wide option.

Bug: 123587305
Test: run "inferno.sh --system_wide -t 10".
Change-Id: I0240e9a341c9f05298e819e155da426cebd4a810

Merge "simpleperf: update test record_cmd.no_dump_symbols."

libpagemap: Remove it.

Bug: 113035067
Test: lunch aosp_blueline-userdebug; m -j

Change-Id: Id3b99876fea86d9fb74877d7d238241b718fc4dc
Signed-off-by: Sandeep Patil <sspatil@google.com>

Merge "simpleperf: remove code not in use."

simpleperf: update test record_cmd.no_dump_symbols.

Bug: none
Test: run simpleperf_unit_test.
Change-Id: I1c068971f5d250603f57a866235e134dfb29e8f2

simpleperf: remove code not in use.

Bug: none
Test: run simpleperf_unit_test.

Change-Id: I012e84713988adba83cb5ce81e809e792eff27c3

Merge "simpleperf: move to Android.bp."

Merge "boot_signer should support boot header version 2"

boot_signer should support boot header version 2

Boot Image header version two modifies the boot image
format to include DTB.

Test: make
Bug: 111136242

Change-Id: Icfc1fce695d0e19ff15a1d74afd00b9b88cccf7e

simpleperf: move to Android.bp.

Bug: 72403367
Test: build
Test: run simpleperf_unit_test.
Test: run CtsSimpleperfTestCases.

Change-Id: I384189a7f58b65a22f0916d51a7d3a2a45cafa82

Merge "Remove direct dependency on the internal libdexfile library."

Merge "simpleperf: Use simpleperf_app_runner to profile profileable apps."

Remove direct dependency on the internal libdexfile library.

It breaks Runtime APEX packaging, and for shared libs it's pulled in
indirectly through libdexfile_external anyway.

Test: mmma system/extras/simpleperf
Bug: 119632407
Bug: 72403367
Change-Id: Ie5a130280b3c36190d0a9778873b17e256d7a0a5

simpleperf: Use simpleperf_app_runner to profile profileable apps.

Simpleperf uses run-as to run in apps' context to profile debuggable
apps. In Android Q, we want to profile <profileable shell="true"> apps.
To support that, do below changes:
1. Add simpleperf_app_runner, which is similar to run-as, but is limited
to only run simpleperf commands in profileable apps.
2. Add code using simpleperf_app_runner inside simpleperf, so it doesn't
change current interface of using simpleperf.

Bug: 118835348
Test: run simpleperf manually.
Test: run simpleperf_unit_test.

Change-Id: I85a8e3c80fe0e3ccdee97de38be968cbccd1d263

Merge "system/extras: Delete ksmutils"

Merge "ext4.h: add EXT4_FEATURE_RO_COMPAT_VERITY"

ext4.h: add EXT4_FEATURE_RO_COMPAT_VERITY

Add VERITY constant to ext4_utils.

Bug: 117437571
Test: bootable for phone projects
Change-Id: I77cab3594223df860345266fdbf568c02734c1a8

system/extras: Delete ksmutils

We want to remove libpagemap. ksmutils is the only C code that needs it
right now. Remove it instead of doing the C++ rewrite, cause it's not
worth it since we don't even recommend enabling ksm for Android anymore.

Bug: 111694435
Test: none

Change-Id: I4c4e82d9febecb3103660ff5dbe1adb7b3bc3452
Signed-off-by: Sandeep Patil <sspatil@google.com>

Merge "pagemap/tools: remove all pagemap based tools"

pagemap/tools: remove all pagemap based tools

Bug: 111694435
Test: builds
Test: showmap and procrank exist on userdebug builds.

Change-Id: I3fb63d3adeedd7dece843cbc38e1667f4309bfd3
Signed-off-by: Sandeep Patil <sspatil@google.com>

Merge "Remove LOCAL_MODULE_TAGS := debug"

Remove LOCAL_MODULE_TAGS := debug

Instead, su has been added to PRODUCT_PACKAGES_DEBUG in
build/make/target/product/base_system.mk

memeater didn't appear to have anything that needed it in every eng
build, so I've just removed the tag. If it's necessary, add it to the
list above.

I removed LOCAL_MODULE_TAGS and LOCAL_MODULE_PATH from libsimpleperf, as
static libraries are not impacted by either setting.

Test: treehugger
Change-Id: Iec2610bdb4452f955b0baf5d817e99a2ebf15594

Merge "simpleperf: split simpleperf build on target."

Merge "simpleperf: add SC7731E into whitelist, omit tests requiring hw counters."

simpleperf: add SC7731E into whitelist, omit tests requiring hw counters.

Some Socs like SC7731E PMU will not be available when
disable jtag(non-invasive debug), so omit tests requiring
hw counters on them.

Issue: 122291303
Test: run cts -m CtsSimpleperfTestCases -t record_cmd#generate_samples_by_hw_counters
Test: hw counters.

Change-Id: I321011dd9d1feab43a3491820579f5633904c45a

simpleperf: split simpleperf build on target.

Currently simpleperf on target builds static binary, shipped on
userdebug devices and in ndk release. Now split it into two builds.
Simpleperf shipped on device uses shared libs and version lib.
Simpleperf shipped in ndk release is renamed to simpleperf_static.

This is to ship simpleperf on Q user device.
Also change the directory of simpleperf from /system/xbin to
/system/bin.

Bug: 118835348
Bug: 72403367

Test: build and run simpleperf manually.
Change-Id: I25b861fc24fdf2edfeb432050303aaec293a005f

Merge "DO NOT MERGE - Skip pie-platform-release (PPRL.190105.001) in master"

Merge "Add /data/staging to directories that shouldn't be encrypted."

Merge "Migrate system/extras to androidx.test"

Add /data/staging to directories that shouldn't be encrypted.

/data/staging contains downloaded APEX files, no user data.

Bug: 122884909
Test: WIP
Change-Id: Idc17cd8978a7c432a65eb1bb4775fa88e87d2b8f

DO NOT MERGE - Skip pie-platform-release (PPRL.190105.001) in master

Bug: 122685541
Change-Id: Iefc29a8f9bcfb053db8f6c260029000744a5687e

Merge "Revert "Introduce a no-perfprofd module.""

Revert "Introduce a no-perfprofd module."

This reverts commit e262c4b5d09e07edfc1d2d05bca0ad36f3f5c8c1.

Reason for revert: perfprofd is no longer installed on the system
partition since
https://android-review.googlesource.com/c/platform/build/+/844636.

Test: lunch marlin-eng && make systemimage
Bug: 113373927
Change-Id: I395aa91b50aa9f4e06467a676a3bcf8e70c26f50

Merge "Rename libdexfile external API header."

Merge "Remove memtest."

Remove memtest.

This is really only useful for 32 bit devices, and it's not all that useful.
It was designed to check the different memory instructions and indicate which
would likely give the best results for memcpy/memset.

However, we aren't doing any active performance improvements for these 32 bit
routines any more and it can be confusing that this is 32 bit only, so it's
time to go.

Test: NA
Change-Id: Ib56a2ca0a603ac9477422431c3c13f3112366473

Rename libdexfile external API header.

Test: m
Bug: 120978655
Change-Id: Ic7e377541dc13640134e6bcf3fea9667b7cad1ef

Merge "mkuserimg_mke2fs: pass mount point to mkext2fs"

Merge "mkuserimg_mke2fs: Add -I <inode-size> flag"

mkuserimg_mke2fs: pass mount point to mkext2fs

When we construct an ext4 system filesystem image, tune2fs reports:

    Last mounted on=<not available>

With this change, it will now report:

    Last mounted on=/system (or /vendor etc)

This is a cosmetic administrative change.

Test: manual
Bug: 122328872
Change-Id: Ia5370c0b222ee6ad5ee1db10a2810e99b7d01186

mkuserimg_mke2fs: Add -I <inode-size> flag

Caller should be able to add stability to the inode-size based on
system requirements.  For example we may wish to select an inode-size
that will absorb all the xattr inline.

Test: manual
Bug: 122328872
Change-Id: I07ce400b6482646f9b5b353a00f592410aad13b7

Merge "iotop: add major/minor fault stats"

iotop: add major/minor fault stats

Provide major/minor fault stats.

It would be helpful to see per-process memory consumption speed.
It is also useful to see read IO caused by major fault, which
is critical for app latency.

Bug: 114325007
Test: iotop -h
Test: iotop -m 10 -s faults
Change-Id: If9670a4efe76bcd67b9caedb3427b69896ebed17
Signed-off-by: Minchan Kim <minchan@google.com>
[Added sorter for major+minor faults]
Signed-off-by: Sandeep Patil <sspatil@google.com>

Merge "Mount fstab.postinstall"

Mount fstab.postinstall

Instead of using the 'mount' built-in, do a
mount_all /system/etc/fstab.postinstall which mounts
system_other to postinstall properly. This works for
devices with and without dynamic partitions.

- retrofit and non DAP devices mount the physical system_other partition
- launch devices mount the logical system_other partition

Fixes: 113182233
Test: boot the first time and look at cppreopt results
      (on retrofit and launch DAP devices)

Change-Id: I70aef55235a5b8be34a521774c4e9dc8461b84de

Merge cherrypicks of [5929407, 5929627, 5929597, 5929598] into pi-platform-release

Change-Id: If3e46dabb018bd841b657b8aafa60e399f5cf18b

libfscrypt: Add Adiantum support

Adiantum is a crypto method Android is supporting for devices
which don't have AES CPU instructions.  See the paper
"Adiantum: length-preserving encryption for entry-level processors"
(https://eprint.iacr.org/2018/720.pdf) for more details.

We add Adiantum to our list of supported encryption modes.

Bug: 112010205
Test: Tested on a device
Change-Id: I405ed454be1a447b7405417a05ddfd92a912bcb7
Merged-In: I405ed454be1a447b7405417a05ddfd92a912bcb7
(cherry picked from commit b56b389282b4805fac147c3fa36c2e27096ede97)

Merge "cppreopts: Android.mk -> bp"

cppreopts: Android.mk -> bp

Test: builds
Change-Id: I4143a3c5a88cad289d805b137ec480097c8c60d3

Merge "Add /data/preloads to directories that don't need to be encrypted."

Migrate system/extras to androidx.test

See go/jetpack-test-android-migration

Test: compile
Change-Id: I0549a1fc80de5c66b00bdf685c536f01e7c3ae65

Add /data/preloads to directories that don't need to be encrypted.

There is no user data here, just preload data.

Test: make
Change-Id: I2bd65a15ace50c4d1dc4bc4c3f3d4294f77d2c18

Merge "simpleperf: update simpleperf prebuilts to build 5176246."

simpleperf: update simpleperf prebuilts to build 5176246.

Taken from branch aosp-master.

Bug: none
Test: run test.py on linux/windows on Android N/O/P.

Change-Id: I13326a3f9984006442c33ae24d34e3fd9cb46616

Merge "Use libdexfile external API in simpleperf."