Merge "Convert mkuserimg_mke2fs.sh to python"

Merge "simpleperf: support pids in app_profiler.py."

Convert mkuserimg_mke2fs.sh to python

The mkuserimg_mke2fs.sh was a shell script, which expects all the
arguments in order. This cl changes the script to python which leverages
python's argumentparser and unittest modules.

The script usage is unchanged; and this tool will be packed into the
otatools.zip in the follow up cls. Then we'll change the caller site
gradually; and remove the old shell script after that.

Bug: 112555072
Bug: 63866463
Test: run unit tests & build a userdata image
Change-Id: Ie6b687da3de31a3481363f01d2b5c12df91ca5ce

simpleperf: support pids in app_profiler.py.

In app_profiler.py, add --pid option to monitor native processes,
add --tid option to monitor native threads, add --system_wide
option to monitor system wide.

Switch inferno.py to use --pid option in app_profiler.py. Because
the previous way of converting pid to program name doesn't work
well on system_server process.

Add tests in test.py.

Bug: 112146809
Test: run test.py.

Change-Id: Ifd6d9f50ed025f1aeed482cb92679de348f6af59

Merge "simpleperf: add pid argument to inferno"

simpleperf: add pid argument to inferno

Bug: 112146809
Test: inferno.sh --pid 620
Change-Id: I99afe432a194bb8799e4633f0a651ff1be2354f5
(cherry picked from commit 6db1fa95d3d4e25c49d3e7b0224df45f521f1f90)

Merge "Suppress google-runtime-int warning."

Merge "simpleperf: fix removing ART frames."

simpleperf: fix removing ART frames.

ART frames can also exist before or after JITed Java methods.

Bug: none
Test: run report_html.py manually, and check that ART frames
Test: near JITed Java methods are removed.
Change-Id: I771cb7503bb62e8d0fc71167bfd887abe069554f

Merge "simpleperf: set kernel resources used for profiling on Android >=Q."

Merge "Enable -Wimplicit-fallthrough"

simpleperf: set kernel resources used for profiling on Android >=Q.

On Android >=Q, some debug system properties are used to set max
sample freq, cpu percentage and kernel buffer size used for recording.
This patches uses these debug properties to set needed kernel resources.
To set cpu percentage used for recording, add --cpu-percent option.

Bug: 110706031
Test: run simpleperf_unit_test.
Change-Id: I532ce417099c5a39ae89bdadfe76e512241904dd

Merge "libfec: Use commonly used shared libraries."

libfec: Use commonly used shared libraries.

This helps reduce the size of libfec.so and the overall size of recovery
image, as those libs are already installed on device.

Bug: 112494634
Test: `m dist` with aosp_taimen-userdebug
Test: `m -j bootimage` with aosp_taimen-userdebug. Check the size of
      `recovery/system/lib64/libfec.so`.
Change-Id: I1c82ba6dcbb6f184fd9826b838af665cbfc06891

Enable -Wimplicit-fallthrough

We're trying to enable -Wimplicit-fallthrough throughout Android. This
warning requires an explicit annotation every time we fall through
intentionally.

Thank you for explicitly commenting your fallthroughs :)

Bug: 112564944
Test: Builds

Change-Id: Iae8081a9776562330dd4b94d1091893086c984ad

Merge "simpleperf: don't pull JIT symfiles on host."

Merge "simpleperf: update simpleperf prebuilts to build 4949434."

simpleperf: don't pull JIT symfiles on host.

Because they have been deleted at the end of recording.

Bug: none
Test: run binary_cache_builder.py manually.
Change-Id: I7eaa2596ab697b1e8c6dee3e5b9dc96ebc9037fe

Merge "Delete micro_bench."

Suppress google-runtime-int warning.

Bug: 112478838
Test: build with WITH_TIDY=1
Change-Id: I66c70192a0729243d99d1462fb3dcf59d6636212

Merge "Replace short with int16_t."

simpleperf: update simpleperf prebuilts to build 4949434.

Taken from branch aosp-master.

Bug: none
Test: run test.py on linux.

Change-Id: I21893c9a88ae3bbd2182a847b0768090357ed07f

Replace short with int16_t.

Bug: 112478838
Test: build with WITH_TIDY=1
Change-Id: I6618efb1b005dd4194c010da9101d7899c40d30d

Merge "simpleperf: fix a type error."

simpleperf: fix a type error.

Bug: none
Test: run simpleperf_unit_test on arm.
Change-Id: I7586810e84574e9beee38fd69c63497c24946da5

Merge "simpleperf: fix reading dynmaic symbols."

simpleperf: fix reading dynmaic symbols.

Add a missing check when looking for a symbol's associated section.

Bug: 112405524
Test: manually add log in ReadSymbolTable() to make sure the
Test: section_end case works.
Test: run simpleperf_unit_test.
Change-Id: Ie75d3791086cf3d14dab0a763cfa92b4e73f82c5

Merge "Move to using ClassAccessor"

Merge "perfprofd: Fix get_charging logic"

Move to using ClassAccessor

In preparation for removal of ClassDataItemIterator.

Bug: 79758018
Test: make
Change-Id: I6c9e9e5eabcfcb785595d6c892b4167853823ebe

perfprofd: Fix get_charging logic

getChargeStatus() can also return FULL for charging, so
test for that as well.

Change-Id: I611b687cfd9b65ef4ab2e0103d38116c9a893164
Fixes: 112184119
Test: perfprofd_test() has no errors related to get_charging()

Merge "Revert "Support Speck encryption.""

Delete micro_bench.

Bionic benchmarks (bionic/benchmarks) has replaced micro_bench.

Micro bench of memset:

  micro_bench memset 8192 1

Bionic benchmarks equivalent:

  bionic-benchmarks --bionic_extra="BM_string_memset AT_ONEBUF_MANUAL_ALIGN_0_SIZE_8192"

Micro bench of memcpy:

  micro_bench memcpy 8192 1

Bionic benchmarks equivalent:

  bionic-benchmarks --bionic_extra="BM_string_memcpy AT_TWOBUF_MANUAL_ALIGN1_0_ALIGN2_0_SIZE_8192"

Note that you will need to run the 32 bit or 64 bit version of bionic
benchmarks depending on what version of the library routines you are
benchmarking.

Bug: 26928775

Test: Builds.
Change-Id: I463151e9ed3dc722c201aa07728ec0a48ebcf15e

Revert "Support Speck encryption."

This is a partial revert of
commit 6a0fa62dc71157f85b24ed15e39ada277f9b5201.

Remove the Speck encryption support. It was eventually
decided not to allow Speck in Android P, so this code
is no longer needed and wasn't used outside of testing.

We retain the e4crypt_get_policy_flags() changes from original
commit, though.

Bug: 112009351
Test: Confirmed AES continues to work with FBE.
Change-Id: I53b091dd4c5392de7a00a8c168919fb55e527eaf

Merge "Merge Android Pie into master"

Merge "simpleperf: update simpleperf prebuilts to build 4934367."

Merge "simpleperf: use Addr2Nearestline in annotate.py."

Merge Android Pie into master

Bug: 112104996
Change-Id: I8402a013c2121613d154a84655bc42d0ae7150bf

simpleperf: update simpleperf prebuilts to build 4934367.

Taken from branch aosp-master.

Test: run test.py.

Change-Id: If0c2d3c95b9dd43d21997dab42f42483dbe0a456

Merge "simpleperf: add test for a kernel bug making zero dyn_size."

simpleperf: use Addr2Nearestline in annotate.py.

It contains below changes:
1. Move SourceFileSearcher from report_html.py to utils.py.
2. Use Addr2Nearestline and SourceFileSearcher to replace code finding
source lines and files in annotate.py.
3. Use Addr2Nearestline to replace code finding source lines in
pprof_proto_generator.py.
4. Update tests for SourceFileSearcher and Addr2Nearestline.
5. Add options to run selected tests.

Bug: none
Test: run test.py.
Change-Id: Ifed8b798b243f344ac9baab478862ac8b3bb56f4

Merge "Make host targets use non-repackaged targets"
am: 6ba2231930

Change-Id: I0c03213cd351080d6bf7cbab4e6e49b83bc2d2b9

Merge "Make host targets use non-repackaged targets"

Merge "simpleperf: make scripts executable."
am: 41f7122918

Change-Id: I35247feb71d016aba762b98bf6cbaa5780110d40

Merge "simpleperf: remove an improper error message."
am: d8dd8edbd6

Change-Id: I47eb9cf0ade388ee7aaf4be9655ddbbea52e3d92

Merge "simpleperf: make scripts executable."

Merge "simpleperf: remove an improper error message."

simpleperf: add test for a kernel bug making zero dyn_size.

Also fix a tiny problem in support_mmap2 test.

Bug: 22612370
Test: run simpleperf_unit_test, it successes on walleye,
Test: and fails on bullhead (which has 3.10 kernel).
Change-Id: I1af69a05446ddb61af6c24b34dc689afac8ee71d

Merge "Perfprofd: Add option dump"
am: d4e3b2199b

Change-Id: Icda6762aa4551ce1fb3038ffa2e0905d701780d5

Merge "Perfprofd: Add option dump"

simpleperf: make scripts executable.

To run scripts using `./xxx.py` instead of `python xxx.py`.

Bug: none
Test: run scripts using `./xxx.py`.
Change-Id: I0fab340ca92a6345c01474c0de2ff3a0047177c5

simpleperf: remove an improper error message.

Parsing a map using extracted classes.dex in apk file triggers the
error message. But it isn't an error.

Bug: none
Test: run simpleperf_unit_test.
Change-Id: I6658ab410579cc95d40d6383a761035444437561

Merge "fgetc(3) returns int."
am: 3dafe0b635

Change-Id: I68145812813f157121f6f9ca17a14edba0d4fafe

Merge "libfec: fix a check for read-only mode"
am: 497886ab9f

Change-Id: I9e09aa7e38a6b16222cd4ecbbf14fbb23d0c6dca

Merge "fgetc(3) returns int."

Merge "libfec: fix a check for read-only mode"

Merge "Change the interface parameter from off_t to uint64_t"
am: ec4e2d2667

Change-Id: Ib75623509ca990b46bb5040fd4aeba6c5b8698c7

Merge "Change the interface parameter from off_t to uint64_t"

libfec: fix a check for read-only mode

O_RDONLY is defined as zero, which makes the test for it incorrect. As
we don't allow O_WRONLY when opening files, it's sufficient to test for
O_RDWR instead.

Bug: 112147169
Test: tested that corrupt zero blocks are not read without O_RDWR
Change-Id: I2328cda4285f4c9daf98dffa2a6602c9db5ad539

fgetc(3) returns int.

The real WTF here might be that we copy an entire file byte-by-byte if
we ever take this path...

Bug: http://b/112146629
Bug: https://www.viva64.com/en/b/0579/
Test: builds
Change-Id: I8bfe6befa3851a839b499ac222c30d26a82bc075

Change the interface parameter from off_t to uint64_t

Therefore, users won't need to set the FILE_OFFSET_BITS=64

Test: unit tests pass
Change-Id: I6dbd756d598ee16282b10ae554ca852d61a6b809

Merge "lpmake: Pass the block size to MetadataBuilder."
am: 1b184b4451

Change-Id: I947f809c536ff35d392e8d925bb280ea1dce61ce

Merge "lpmake: Pass the block size to MetadataBuilder."

Merge "simpleperf: add test for a kernel bug."
am: 604b95c653

Change-Id: I23bad6ab69665da04307afeda47529a3e38f78db

Merge "simpleperf: add test for a kernel bug."

lpmake: Pass the block size to MetadataBuilder.

Bug: 79173901
Test: lpmake builds
Change-Id: I6e7e5f24c5819250f82d100f47aa15938f7cb039

Merge "partition_tools: Use ResizePartition instead of GrowPartition."
am: ab785445ce

Change-Id: Ie9c5e62684050dae71eef03d5b306d7826f8bdeb

Merge "partition_tools: Use ResizePartition instead of GrowPartition."

partition_tools: Use ResizePartition instead of GrowPartition.

Bug: 79173901
Test: N/A
Change-Id: I1b13883f5089a00e7c4637ebb2e5bdb44a50d11e

Merge "libfec: skip over verity tree when reading metadata from filesystem."
am: b9d29fa84b

Change-Id: Ia0701405840739cd8b0537cc15c272f3a24be3b5

Merge "libfec: skip over verity tree when reading metadata from filesystem."

simpleperf: add test for a kernel bug.

Bug: 111520437
Test: run simpleperf_unit_test, it was passed on
Test: on walleye, and caused kernel panic on bullhead and angler.
Change-Id: I848943e9a49b15d69940f5a1615c76bd336d95c4

libfec: skip over verity tree when reading metadata from filesystem.

If partition size > filesystem image, we must skip over the verity
tree appended to the filesystem image when trying to find the verity
metadata.

Bug: 112046449
Test: Enable verity for hikey960 (system partition size = ~2 x
     filesystem size) and boot.

Change-Id: Ia6cdbc0f35a98fdfa1fb4677951ae5c829cabb0f
Signed-off-by: Sandeep Patil <sspatil@google.com>

Perfprofd: Add option dump

Dump an active profiling configuration in cmd perfprofd dump.

Bug: 73175642
Test: mmma system/extras/perfprofd
Test: perfprofd_test
Change-Id: I6f285b1d246126efd196ec26ef556d0415fb4373

Merge "Build partition_tools with liblp as a shared library."
am: fde6f72cf0

Change-Id: Ic0b5642d21ecbff28683c3f2d6a9b82c1e6fce8d

Merge "Build partition_tools with liblp as a shared library."

Merge "Perfprofd: Only pick up FUNC symbols"
am: e1bd9e74b0

Change-Id: Ib8fe308a46c0a5e93a09c75892b995b9ade5661e

Merge "Perfprofd: Only pick up FUNC symbols"

Perfprofd: Only pick up FUNC symbols

Lately, more marker symbols are emitted, and mess up general
handling. Only pick up FUNC symbols.

Bug: 73175642
Test: mmma system/extras/perfprofd
Test: perfprofd_test
Change-Id: I9d3c533aaa396aa8a2a46a65ea703eb498985ce8

Build partition_tools with liblp as a shared library.

Bug: 79173901
Test: mmm partition_tools builds
Change-Id: Ib96867aeb0a2a3ad777c5017fbc882adeb41a129

Merge "simpleperf: enforce clockid support in Android Q."
am: 8d81763715

Change-Id: Iec5fb44da069fe38968ccc5e91893091e2329d89

Merge "simpleperf: enforce clockid support in Android Q."

simpleperf: enforce clockid support in Android Q.

It is needed to merge JIT symfiles into records precisely.

Bug: 110923759
Test: run simpleperf_unit_test.
Change-Id: I676dc5ca40f12145760d59cd786e9ee538abd728

Merge "simpleperf: support long callchain in report_html.py."
am: 0e5c69a63f

Change-Id: Ic7088f77cfcc79b5b1f24b9d48a0debf4c6219d9

Merge "simpleperf: support long callchain in report_html.py."

Merge "Export headers for libverity_tree"
am: e5cf16f9d3

Change-Id: I251b4b889a50d7c0b45944804dea481c44ef7b5a

Merge "Export headers for libverity_tree"

simpleperf: support long callchain in report_html.py.

Support callchains with max length 750 in report_html.py, and
cut callchains longer than that to avoid max recursion depth exception.

Bug: none
Test: run test.py TestReportHtml.test_long_callchain.
Change-Id: I9ca278ba4e13a89bcaa4898a5e9c9794b033b604

Export headers for libverity_tree

Also factor out a function to convert a hex string to the byte array.

Bug: 25170618
Test: unit tests pass
Change-Id: Id9252d58d8de065bce332e806e2302dd18a54a8c

Merge "simpleperf: add --binary_filter option in report_html.py."
am: f2307ae2a0

Change-Id: I5f9e6ad5f57f697b9d55bc1870523b9f2a0672a1

Merge "simpleperf: add --binary_filter option in report_html.py."

Merge "simpleperf: use libunwindstack directly for unwinding."
am: 148a756acd

Change-Id: I45c16f9271d2640d2c6ef0fc265b621ac6f85059

Merge "simpleperf: use libunwindstack directly for unwinding."

Merge "Add support of more hash algorithms for verity tree builder"
am: bdb1bfde6e

Change-Id: Ifbcb3f07ed8445b682e8e3a93d02bf651ceed66a

Merge "Add support of more hash algorithms for verity tree builder"

simpleperf: add --binary_filter option in report_html.py.

Since disassemble binary is slow, and it is not useful to disassemble
all binaries, add --binary_filter option to disassemble and add source
code only for selected binaries.

Also add is_elf_file() in utils.py to avoid the warning message of
running readelf on files not in elf format.

Also fix two small errors in report_html.js.

Bug: none
Test: run test.py TestExampleWithNative.test_report_html.
Change-Id: I115543c30a409dc2d11c76491614804d097326b1

Add support of more hash algorithms for verity tree builder

Currently, verified boot 1.0 is using SHA256 to compute the hash tree
while AVB is using SHA1. We should support at least these two hash
functionss in the HashTreeBuilder and command line parser. And we can
potentially add more algorithms in the future.

Bug: 25170618
Test: unit tests pass
Change-Id: I5f6dc8a545c0cef75acbbc2044959e8100f9f842

Merge "simpleperf: add --symdir option in report-sample command."
am: 295c3e1c04

Change-Id: I3b8fa61a2585dea6eed1b7379d0d7c74e1b71a8f

Merge "simpleperf: add --symdir option in report-sample command."

Merge "[verity] Modernize codebase by replacing NULL with nullptr"
am: 5e2ff37628

Change-Id: I67bf5811ccbf43c67ad3eb8b6710c30c712ed532