Merge "simpleperf: add --use-devfreq-counters option."

Merge "simpleperf: Add ETMDecoder."

simpleperf: add --use-devfreq-counters option.

On devices like pixel 3, there are 7 hardware counters in cpu pmu.
But 4 of them are used by devfreq to monitor memory latency.
In case we need more than 3 counters, add an option to let devfreq
release counters.

Also add a warning of using this option if it seems we need more
counters.

Bug: none
Test: run simpleperf_unit_test.
Change-Id: I9a13716a8b64c8e0fc03a79b0c11dd29da169c56

simpleperf: Add ETMDecoder.

It contains below changes:
1. Add ETMDecoder, which uses OpenCSD library to decode etm data.
2. Fix trace ids in AuxTraceInfoRecord to match those in etm data.
3. Dump build ids for all binaries in record cmd, to find them in
   etm decoding.
4. Add options in dump cmd to dump etm data.
5. Add a test line in dump cmd test to check that instruction range
elements are decoded and dumped.

Bug: 135204414
Test: run simpleperf_unit_test.

Change-Id: Iad1a1dac3dd9aaed4416ff2c19029c676d610783

Merge "simpleperf: update building prebuilts."

simpleperf: update building prebuilts.

1. add simpleperf_scripts in simpleperf dist build.
2. remove simpleperf in sdk,win_sdk dist build.

Bug: none
Test: run build/soong/soong_ui.bash --make-mode
Test: MODULES-IN-system-extras-simpleperf dist
Test: TARGET_PRODUCT=aosp_arm64 simpleperf
Change-Id: Ica63c106b67d3ec7400c0f7148fd78f65d6d16c3

Merge "simpleperf: update simpleperf prebuilts to build 5806936."

simpleperf: update simpleperf prebuilts to build 5806936.

Taken from branch aosp-simpleperf-release.

Bug: none
Test: run test.py on Android master/Q/P/O/N.

Change-Id: Ib527b0ba17f8c583359e157198b5b93fdac88c45

Merge "simpleperf: Update apks for testing ApiProfiler."

simpleperf: Update apks for testing ApiProfiler.

The previous apks has error in sdk version setting, thus
fail to install on master.

Bug: none
Test: run test.py TestApiProfiler.* on master/Q/P/O/N.
Change-Id: I6ef7eabcc0602147b0aa31dc9b3d5bac616e1e83

Merge "Add new traces."

Add new traces.

Updates included:
- Adding traces from a few games and one top app (Angry Birds2, Candy Crush,
  Pubg, Google Photos).
- Change the dumps directory to traces to use a better name.
- Add new traces to TraceBenchmark.cpp.
- Add a TRACES file that includes information about how the trace files
  were collected.

Test: Unit tests pass.
Test: Ran the trace benchmarks.

Change-Id: I8d60db23cf78dd31977bb81d29749c06e1df354d

Merge "Fix test broken by PSS to RSS change."

Merge "simpleperf: add --aux-buffer-size in record cmd."

Fix test broken by PSS to RSS change.

Also, make the tests isolated and remove the suffix on the unit
test executable.

Bug: 138394907

Test: Unit tests pass now.
Change-Id: Iefe0e1738a2c9eda5cc220c55dfd91e4ff0e5a5f

simpleperf: add --aux-buffer-size in record cmd.

Bug: 135204414
Test: run simpleperf_unit_test.
Change-Id: I6baee8a2b178a374e446e0da4792eb9287bba6b1

Merge "simpleperf: add AuxRecord and AUXTRACE feature section."

simpleperf: add AuxRecord and AUXTRACE feature section.

In the kernel, each time generating a block of etm data, it also
generates a PERF_RECORD_AUX record. An Aux record contains a timestamp
showing when a block of etm data is generated. It can be used to
synchronize etm data with other records (like mmap and comm records).

So we want to parse etm data each time seeing an Aux record (as in dump
cmd). It needs to know etm data locations in perf.data without reading
the whole file. To fulfill that, this CL also adds AUXTRACE feature section,
in the same format as in linux perf.

Also dump AUX records and their corresponding etm data in dump cmd.

Bug: 135204414
Test: run simpleperf_unit_test.
Test: run `simpleperf record -e cs-etm xxx` && `perf report -D --stdio`.

Change-Id: Ifae716a10fefe0f3d4822a0214384b40ada9da45

Merge "Change from PSS to RSS."

Change from PSS to RSS.

In practice, PSS and RSS should be the same for this test, but what
we are really measuring is RSS, so display it as such.

Bug: 138394907

Test: Ran memory_replay32/64 and verified that new RSS is the same as
Test: old version that used PSS.
Change-Id: Ida92e4551f5b58729cd699bc9a296d324483daae

Merge "simpleperf: fix report_html.py."

simpleperf: fix report_html.py.

report_html.py removes threads having too small percentage
of samples. But it doesn't remove processes having no threads,
which makes showing flamegraph broken.

Bug: none
Test: run test.py TestReportHtml.test_no_empty_process.
Change-Id: I3d568c98f0426a8ebbc9760dbc3c2bd25eda4c67

Merge "libfscrypt: Remove an unused variable"

libfscrypt: Remove an unused variable

This is the only object in .bss in libfscrypt and it's unused, so it's
costing us 4KB for nothing.  Remove it.

Bug: 138856262
Test: objdump -h libfscrypt.so. Check .bss is gone.
Change-Id: Iac5eff45e28453f09d380c10a1818eb53ed2fe48

Merge "simpleperf: support recording etm data in perf.data."

Merge "Simpleperf: Add max_chain_length to pprof_proto_generator.py"

Simpleperf: Add max_chain_length to pprof_proto_generator.py

Add an option to truncate very long callchains.

Test: m
Test: manual
Change-Id: I6892597f58bf6a8381b455c8f288b29f00a75f70

simpleperf: support recording etm data in perf.data.

1. In event_fd.cpp, add functions to create aux buffer and read etm
data.
2. In record.h, Add AuxTraceRecord.
2. In RecordReadThread.cpp, wrap etm data into AuxTraceRecords.
3. Add logic to read and write AuxTraceRecords in perf.data.
4. Show recorded etm data size after recording.

Bug: 135204414
Test: run simpleperf_unit_test.
Change-Id: I3b20fe8f3c786f130f38e34962ca9f86a31fc584

Merge "Simpleperf: Restrict callchain depth in inferno"

Simpleperf: Restrict callchain depth in inferno

Add an option to restrict the callchain depth in inferno, so as
to cope with deep stack that otherwise lead to a python stack
overflow.

Use a large value as a stand-in for unlimited. Try to capture
stack overflow and add a message to try the parameter.

Test: manual
Change-Id: I411b4210ad7ddb8c418a8142b0392df192111e06

Merge "simpleperf: fix filters in pprof_proto_generator.py."

Merge "simpleperf: add --log option in app_profiler.py."

simpleperf: add --log option in app_profiler.py.

The default log output of app_profiler.py is too verbose. So add
--log option to adjust it, and omit debug outputs by default.

Bug: 138112297
Test: run app_profiler.py manually.
Change-Id: I9f08d3eeb890347a1017b5b39832dc2cc3a9e2af

simpleperf: fix filters in pprof_proto_generator.py.

Bug: 138107481
Test: run test.py TestPprof*.
Change-Id: I3344c4252ca469845e3844c0f2de447f293c38d1

Merge "simpleperf: set scoped arch and event types in RecordFileReader."

Merge "simpleperf: add PERF_RECORD_AUXTRACE_INFO record."

simpleperf: add PERF_RECORD_AUXTRACE_INFO record.

PERF_RECORD_AUXTRACE_INFO is used to record etm configurations on device.
Make its content the same as in linux perf.

Bug: 135204414
Test: run simpleperf_unit_test.
Change-Id: I5d32cbe22acbc690d2ba47473ff344241982a0c3

simpleperf: set scoped arch and event types in RecordFileReader.

To record on device and report on host, simpleperf keeps arch type
and event types in perf.data. Currently, RecordFileReader needs
its users to read and set the arch type and event types properly.

This patch changes to let RecordFileReader set arch type and
event types. It avoids repeating the effort in users of
RecordFileReader.

Bug: none
Test: run simpleperf_unit_test.
Test: run simpleperf record on device, and report it on host.
Change-Id: Ief637ca6e2c3acfbf74b6447ef7ff0679439ca1d

Merge "simpleperf: don't expose libunwindstack in OfflineUnwinder.h."

simpleperf: don't expose libunwindstack in OfflineUnwinder.h.

It is to build etm decode library happen to include
OfflineUnwinder.h, but don't link with libunwindstack.

Bug: 135204414
Test: run simpleperf_unit_test.
Change-Id: I924498e7315b50ff44f85445f23c4be342bd39bd

Merge "simpleperf: fix raw event names."

Merge "simpleperf: add cs-etm event type."

Merge "simpleperf: add rate comment for new raw events."

Merge "Remove perfprofd feature."

simpleperf: add cs-etm event type.

cs-etm event type is used to select etm instruction tracing.
It can be show in simpleperf list cmd, and used by
`simpleperf record -e cs-etm`.

Changes receiving etm data from the kernel will be added
in later CLs.

Bug: 135204414
Test: run simpleperf_unit_test.
Change-Id: I431b5521dc23519ff8e154d50458ec0aa9ac65cd

simpleperf: fix raw event names.

Bug: 137044139
Test: run simpleperf list.
Change-Id: If87690f767e8f37d137a7d53d0c3ffb0c07c4adf

simpleperf: add rate comment for new raw events.

After the patch, simpleperf shows rate comments for new raw events:

$ simpleperf stat --group raw-l1d-cache-refill-rd,raw-l1d-cache-rd sleep 1
Performance counter statistics:

     98,519  raw-l1d-cache-refill-rd   # 2.226422% level 1 cache refill rate, read  (100%)
  4,424,993  raw-l1d-cache-rd          #                                            (100%

Bug: 137044139
Test: run simpleperf_unit_test.
Test: run simpleperf manually.
Change-Id: Ic71ee7326451e62feefb26feb0471fa3a72a173f

Remove perfprofd feature.

perfprofd is dead and gone.

Test: treehugger
Change-Id: Ia3edd46db30427e0e3b280c92bb89d3f6d71aa48

Merge "Remove perfprofd."

Merge "libext4_utils: remove unused deps"

Merge "simpleperf: add event numbers listed in ARM 8.4 manual."

libext4_utils: remove unused deps

Bug: 137311188
Test: library still builds
Change-Id: Iee71887bc0f969c349369b7d70c981c3f89ce23a

simpleperf: add event numbers listed in ARM 8.4 manual.

Also don't report error when testing if a raw event is supported.
Also print raw numbers even if we think they are not supported to
avoid false negative.

Bug: 137044139
Test: run simpleperf list.
Test: run simpleperf_unit_test.
Change-Id: I8799ae2a8892c76c9ac7d7a2b38544e9ca8ba533

Remove perfprofd.

This isn't finished, and no-one's working on finishing it.

Test: N/A
Change-Id: If52aa7f7dba8991f53bf432c0c3bc59c7a3cd2ca

Merge "Wrap getenv and append euid to GCOV_PREFIX"

Wrap getenv and append euid to GCOV_PREFIX

The coverage runtime creates coverage files with permissions 0644 and
intermediate directories with 0755.  This causes conflicts and
permissions issues when multiple processes create/access the same file
or directory under $GCOV_PREFIX.  Some processes also call umask, which
further complicates things.

It is possible to handle all of these in the coverage runtime library
but a foolproof alternative is to have a separate coverage directory per
effective userid (euid) by customizing GCOV_PREFIX.

This change adds a wrapper to getenv which appends the euid of the
current process for the "GCOV_PREFIX" environment variable.

Test: Verify that coverage files are written to
/data/misc/trace/<euid>/proc/... instead of /data/misc/trace/proc/...

Change-Id: I6be1e748618d84697c354516ab1c734fb33ab5f4

Merge "Fix cf_x86_phone-userdebug_coverage build"

Fix cf_x86_phone-userdebug_coverage build

coverage builds depend on libprofile-extras* libraries
for natively bridged architectures.

Bug: http://b/136237669
Test: make EMMA_INSTRUMENT=true EMMA_INSTRUMENT_FRAMEWORK=true NATIVE_COVERAGE=true COVERAGE_PATHS="*" SKIP_BOOT_JARS_CHECK=true platform_tests
Change-Id: I400afe7696378c0bfb2b93e7dc85bdcaa62bf9f3

Merge "squashfs_utils: Declare required modules."

Merge "lpmake: Add a flag to force building a complete, empty super.img."

squashfs_utils: Declare required modules.

mksquashfsimage.sh depends on mksquashfs and img2simg.

Test: TreeHugger
Change-Id: Iac4efef68f87528c3601417829a934cc1b53b15d

Merge "Call public create function."

Call public create function.

Test: Ran unit tests.
Change-Id: I8a017c4225f6141b109be059313dd1322c69fbdd

Merge "Opt adbd and init out of property-watcher thread"

Merge "simpleperf: work around a simpleperf bug on Android Q."

Merge "TraceBenchmark: Defend against bad data"

TraceBenchmark: Defend against bad data

In the unlikely event of bad data from the file, we make sure it's
not able to write into stack memory by giving a buffer size to
our sscanf() format string.

Test: TreeHugger
Change-Id: Ie3722c39def58f53305073cbadb8fd3a2081cc6a

simpleperf: work around a simpleperf bug on Android Q.

There is a bug in simpleperf shipped on Android Q, which was fixed in
aosp/971783. It may make simpleperf crash when profiling through Java app
api. So work around it in the Java app api.

Bug: none
Test: run test.py --repeat 100 TestApiProfiler*

Change-Id: Iec5ff9fd9b9a1e522a0b212d44032c386e500d93

Merge "Update code and add a way to benchmark traces."

Opt adbd and init out of property-watcher thread

Bug: http://b/116873221
Bug: http://b/134177005

adbd calls selinux_android_setcon() which will fail if there are
multiple threads in the process.  The reason for boot failures with
coverage-enabled init and property-watcher thread is not clear yet.

Test: cuttlefish with coverage for init and adbd boots.
Change-Id: I0c44e76cc59d12b963e4d5b862683ead2f816cdc

Update code and add a way to benchmark traces.

The benchmarker treats the trace like a single thread trace.

Bug: 129743239

Test: Ran benchmarks and verified there are no error and numbers seem sane.
Test: Verified locking to a cpu works.
Change-Id: I598d014ff65569271b45ec6567db1c39b26d4e2d

Merge changes Id8f0ceab,Ie969311c

* changes:
  Refactor property-watch optout logic
  Do init_profile_extras constructor tasks only once

Refactor property-watch optout logic

Bug: http://b/116873221

Refactor the processes without property-watch thread into a list.

Test: Build cuttlefish with coverage
Change-Id: Id8f0ceab133b961219b1cf77ae02b00eba4cfaf5

Do init_profile_extras constructor tasks only once

Bug: http://b/116873221

Currently, every coverage-enabled binary (the main executable or shared
library) in the process executes the init_profile_extras constructor
leading to redundant initialization.

Instead, add a weak global value that gets set once so following
constructors don't set a signal handler or create a pthread.  It's ok to
do this before the constructor succeeds because if pthread creation or
signal handler registration failed once, they are unlikely to succeed
the second time.

This is thread-safe since constructor initialization is single-threaded.
The one possibility for a race - the process doesn't have any
coverage-enabled library, and multiple threads dlopen() coverage-enabled
shared libraries - seems quite unlikely.

Test: Verify that only one extra thread is created for a daemon (adbd).
Change-Id: Ie969311c2ddac147497c870b5c365b4617b3c60a

Merge "simpleperf: add --no-cut-samples in record cmd."

Merge "Match src paths with aidl package name"

simpleperf: add --no-cut-samples in record cmd.

Bug: 134300436
Test: run simpleperf_unit_test.
Test: run simpleperf manually.
Change-Id: I6b8b5ea22002240be61998d8829c182fe1137a30

Merge "simpleperf: check content in build_id_list."

simpleperf: check content in build_id_list.

The content in build_id_list may not match files exist in symfs dir,
(like due to interrupted tests).
So in simpleperf binary, do build id check for files in build_id_list.
Also check if files exist in NativeLibDownloader.

Bug: 134164477
Test: run simpleperf_unit_test.
Test: run test.py TestNativeLibDownloader*
Change-Id: Ida435d17d4fead2ba3a14c7766ecaf7cf12448b2

Merge "simpleperf: dump mmap records for dex files extracted in JITDebugReader."

simpleperf: dump mmap records for dex files extracted in JITDebugReader.

On Android Q, ART extracts dex files in apk files directly into memory,
and names it using prctl(). The kernel doesn't generate a new mmap record
for it. So if simpleperf is started before the app, it can't receive
the correct mmap info of dex files extracted into memory. Thus making
missing symbols and broken callchains.

So work around this by dumping the mmap info in JITDebugReader.

Bug: 134081613
Test: run simpleperf manually.
Test: run simpleperf_unit_test.
Test: run test.py TestCppDemoJniCall.test_smoke.

Change-Id: I995573309816c84729e82e58148890a76725ae36

Merge "Do not create property_watch_loop thread for zygote"

Merge "simpleperf: update simpleperf prebuilts to build 5611423."

Do not create property_watch_loop thread for zygote

Bug: http://b/116873221
Bug: http://b/133872559

Do not create thread running property_watch_loop for zygote (which is
essentially /system/bin/app_process invoked with a specific argument to
start the zygote).

The reason this is needed is because when the zygote forks system_server
or an app, it waits for all threads to stop.  But the thread created
here doesn't know that it has to stop.  So zygote gets stuck waiting and
the device doesn't boot.

This check is only needed for the platform, but can be done on any
version after Android L, when getprogname() was added.

Test: cuttlefish with coverage enabled can boot.
Change-Id: I65aa603a88bf8da1f14b5c4ada3adf3776f33275

simpleperf: update simpleperf prebuilts to build 5611423.

Taken from branch aosp-simpleperf-release.

Also do below changes:
1. remove the workaround of always using 32bit simpleperf.exe,
since 64bit simpleperf.exe works now.

2. stop testing once a test fails. If not stopped, the failed test
data may be removed by following tests, making it harder to debug.

Bug: none
Test: run test.py on linux.

Change-Id: I764b7707ae81d124673b2c2d203911f3761a2239

Merge "Simpleperf: fix a reference error in lambda function."

Simpleperf: fix a reference error in lambda function.

loop is a local variable, but the lambda function is used outside
its scope.

Bug: none
Test: test.py TestApiProfiler.*.
Change-Id: Ib09019706da001596af340b3909aef355f48cfb8

lpmake: Add a flag to force building a complete, empty super.img.

Normally lpmake without images is used to generate super_empty.img, but
it is useful to also generate a fully sparse super_empty for flashing in
the bootloader. This patch adds a --force-full-image flag to provide this.

Bug: N/A
Test: lpmake --force-full-image
Change-Id: Ica55a7b35f6e1a0282e5a9305f1a3e4b5028755b

Merge "lpdump: Add an option to print the metadata size to stdout."

lpdump: Add an option to print the metadata size to stdout.

This also adds --is-super-empty if the caller knows the file is a
super_empty.img, which helps suppress spurious output.

Bug: 117997386
Test: lpdump --is-super-empty --dump-metadata-size super_empty.img
Change-Id: I5999442c097c0ef1d6a70e844993b2164f3b091d

Merge "Track libziparchive API change."

Track libziparchive API change.

libziparchive can now provide a std::string directly.

Bug: http://b/129068177
Test: treehugger
Change-Id: Id804a804f4aea037fac7898a2be5a0aacecb8b41

Merge "Prefix sysprop for flushing coverage with 'debug.'"

Merge "simpleperf: add --aggregate-by-thread-name in report_html.py."

Merge "simpleperf: add --show_art_frames in pprof_proto_generatory.py."

Prefix sysprop for flushing coverage with 'debug.'

Bug: http://b/133322197

Fix selinux denials when reading the coverage.flush sysprop by prefixing
it with 'debug.'.  Sysprops starting with 'debug.' are readable by all
processes when ro.debuggable is set.

Test: Build cuttlefish with coverage and verify that selinux denials for
sysprop reads no longer happen.

Change-Id: I76bef0a658ce881cc81e2d2d4947bef966060376

Merge "simpleperf: split doc."

simpleperf: add --aggregate-by-thread-name in report_html.py.

It is helpful for showing multiple perf.data generated for the
same app.

Bug: 132371980
Test: run test.py TestReportHtml*.

Change-Id: I48fe0c96249f617358f2efc51fc190d88af792df

simpleperf: add --show_art_frames in pprof_proto_generatory.py.

Bug: 132816644
Test: run test.py TestPprofProtoGenerator*.
Change-Id: I6f9b82ce71f7bd45ed196dc77b5cfac5a1fce251

simpleperf: split doc.

Bug: 132910352
Test: use remarkable to verify links.
Change-Id: I049df2c8ed23da1780b1a9e6df04375f5c3b3c12