Merge "simpleperf: fix dumping symbols for unwinded ips."

simpleperf: fix dumping symbols for unwinded ips.

Previous code dumps symbols for unwinded ips regardless of
--dump-symbols option. Fix it to be controled by --dump-symbols
option.

Bug: 29581559
Change-Id: Ie7a79bf5275c13b0df4352e4aedc702f34b7b899
Test: run simpleperf_unit_test.

Merge "simpleperf: adjust mapped buffer size in record command."

simpleperf: adjust mapped buffer size in record command.

Instead of fixing the mapped buffer size, we can adjust
it at runtime. So users don't need to adjust -m manually.

Bug: 29574526
Change-Id: Icb580df3d60f8d2cf554c0d4139e6f7f64b19f8f
Test: run simpleperf_unit_test.

Merge "simpleperf: check dump stack size and adjust its default value."

simpleperf: check dump stack size and adjust its default value.

Improve error message by checking if dump stack size > 65528.
And adjust the default dump stack size to 65528, because I
find that it is the value I always want to use.

Bug: 29574526
Change-Id: I8f16dcf3a86a477f17d81fd387bf4dfa0dc0b341
Test: run simpleperf_unit_test.

Merge "Convert libpagemap Android.mk to Android.bp"

Merge "simpleperf: combine mapped buffer used for the same event and cpu."

Merge "Basic A/B bootloader tests via bootctl"

simpleperf: combine mapped buffer used for the same event and cpu.

Non root users have a size limit of buffers used for profiling.
By combining buffers used for the same event and cpu, we can
reduce buffer cost when monitoring multiple threads, thus
avoid mmap() failures.

Increase default value for -m option for non system wide profiling.

Bug: 28911532
Change-Id: I91148061eb54840c144cf72e7bb901e7b74897ec
Test: run simpleperf_unit_test.

Basic A/B bootloader tests via bootctl

Change-Id: Ie7868cc205859c657e905e60ab6928517f02edb8

Merge "simpleperf: fix test record_cmd.dump_symbols."

Convert libpagemap Android.mk to Android.bp

Change-Id: I551a7f7ce46267bb609e5ed8bd8dafc00b9fbab7

Merge "simpleperf: check kernel symbol addresses before dumping them."

simpleperf: check kernel symbol addresses before dumping them.

If kernel symbols have zero addresses, there is no need to dump them,
and we can give useful suggestion.

Bug: 29574526
Test: manually set /proc/sys/kernel/kptr_restrict and run simpleperf record.
Change-Id: I850531c7e4c5315a44e08cf3b73852e77fef8eb8

Merge "Fix google-explicit-constructor warnings in simpleperf."

Merge "Fix google-explicit-constructor warnings in memory_replay."

Fix google-explicit-constructor warnings in memory_replay.

* Declare explicit conversion constructors.

Bug: 28341362
Change-Id: Ia6613392bd68f170ec2d7b0b033b7476aff27e0f
Test: build with clang-tidy

Fix google-explicit-constructor warnings in simpleperf.

* Declare explicit conversion constructors.

Bug: 28341362
Change-Id: I9d5b764fe004e291cbdd212617df6f385c31df25
Test: build with clang-tidy

Merge "simpleperf: add min_vaddr in DsoRecord."

simpleperf: add min_vaddr in DsoRecord.

Min virtual address of a shared library is needed when mapping ip
addresses to function symbols. So we should dump it in DsoRecord.

Bug: 28114205
Test: run simpleperf_unit_test.

Change-Id: Ib986ee598281cf60caa3a2c5408100b9e7678143

Merge "simpleperf: change the separator of --symbols option from comma to semicolon."

simpleperf: fix test record_cmd.dump_symbols.

The test can fail when dumping an unknown symbol in a new shared
library. The shared library is recorded in DsoRecord, but the
unknown symbol may have been dumped. To fix this, don't dump
unknown symbols, and make the test not enforcing DsoRecords
and SymbolRecords to occur.

Bug: 28114205
Change-Id: Ib01d0753710c68dd9538d8b635c6d9207fe7aa1c
Test: run simpleperf_unit_test.

simpleperf: change the separator of --symbols option from comma to semicolon.

Function name of c++ can have comma, like func2(int, int). So it is not
proper to use comma to separate function names.

Bug: 29826956
Change-Id: I9da4bc178232dad53abdc5735358f3feb608fee4
Test: run simpleperf_unit_test.

Merge "Generate output of simpleperf in csv format"

Generate output of simpleperf in csv format

CSV format is easier to parse and could be useful for testing.

Change-Id: I444bddfa181b48c79ec48ef7595b5d8a25e62e12

Merge "Remove call to no-op klog_init."

Merge "simpleperf: don't warn if child process was killed by simpleperf."

simpleperf: don't warn if child process was killed by simpleperf.

Bug: 29574526
Change-Id: I3ae95ed95703bcd380ed086d3fbf7ae2830feed5

Merge "simpleperf: give suggestion when mmap fails."

Merge "simpleperf: fix build id check of files in symfs."

simpleperf: give suggestion when mmap fails.

Bug: 29574526
Change-Id: I72cf2d0e1d15a561314d3c043650479b2c6773ff

simpleperf: fix build id check of files in symfs.

In dso.cpp, build_id_map_ should use path_ instead of GetAccessiblePath() as the key.
However, patch https://android-review.googlesource.com/#/c/175654/ wrongly used
GetAccessiblePath() as the key in build_id_map_. This patch fixes the error and add
corresponding test.

Check if file in symfs exists before using it as debug file path.
If the build id of debug file path doesn't match the one in build_id_map_, output
warning to user.

Bug: 28911532
Test: run simpleperf_unit_test.
Change-Id: I21bca508359a492245db4cba5d287005363cd465

Merge "simpleperf: add --symfs option for record command."

simpleperf: add --symfs option for record command.

When running record command with -g or --dump-symbols command,
files with symbol table and debug information are needed. Similar
to report command, we can add --symfs option to record command.

Bug: 28911532
Test: run simpleperf_unit_test.

Change-Id: I8e2b6320ca29c8de78b4f217cd25e1ea4383150e

Merge "simpleperf: add symbol for .plt section."

simpleperf: add symbol for .plt section.

This avoid reporting unknown symbols when there are samples in .plt section.

Bug: 28911532
Test: run simpleperf_unit_test.
Change-Id: I62cb08776c99951ff845e98f0f601859d25ece5c

Merge "Simpleperf: add auto generated summaries in stat command."

Simpleperf: add auto generated summaries in stat command.

When there are summaries monitoring one event type in user
space and kernel space at the same time period, we can automatically
generate a summary combining the results generated in user space and
kernel space.
This can help to decrease the number of needed hardware counters.

Also adjust scale check when deciding whether an event is monitored
all the time.

Bug: 29213742
Change-Id: I272e21420700c10fccb1336a1e60138db8d13b3d
Test: run simpleperf_unit_test.

Merge "simpleperf: add symbol filter for report command."

Merge "simpleperf: fix RecordCache."

simpleperf: add symbol filter for report command.

By adding --symbols option, we can report for selected functions.
It helps to filter out functions we don't care, especially when
we are using `simpleperf report --sort vaddr_in_file` to profile
inside a function.

Bug: 29826956

Change-Id: I4de9dfe1a376db097f6163aa780a079cbc33689a

simpleperf: fix RecordCache.

RecordCache::Push(vector<..>) doesn't update last_time_, this makes
RecordCache don't pop any record before PopAll().

Bug: 29581559
Change-Id: Icea806346b7ad812e606eaf05747797b766ebd71
Test: run simpleperf_unit_test.

Merge "Simpleperf: add vaddr_in_file sort key in report command."

Remove call to no-op klog_init.

Change-Id: I3a55449f594c629edc75e4aa5b91b27c72ecd8ca

Simpleperf: add vaddr_in_file sort key in report command.

Currently report command can't report more details than function name.
After adding vaddr_in_file sort key, it can report the place of the
instruction being sampled. vaddr_in_file is the instruction's virtual
address in elf file, which matches output generated by objdump.

Bug: 29826956
Test: run simpleperf_unit_test.
Change-Id: Ifad4dfb7c60014a03c01ffbfd0b972858f1a4884

Merge "pagingtest: fix large read errors"

Merge "Switch to new encoding scheme for large records."

Merge "Simpleperf: Add SPLIT and SPLIT_END records to handle big records."

Switch to new encoding scheme for large records.

Move to the new SPLIT/SPLIT_END encoding scheme used
by simpleperf for records with oversized (more than 2^16 bytes)
payloads.

Bug: 29818021
Change-Id: I40126748dbe9b07b107c85b891f7aafbc556ae1f

pagingtest: fix large read errors

Some kernels have a limit on the length of reads from urandom - fix

Change-Id: I67dda25c2e43121da1470a56e40d03c59fd5fabe

Simpleperf: Add SPLIT and SPLIT_END records to handle big records.

Previously we split KernelSymbolRecord because it is > 65535. Then
I found TracingDataRecord can also be > 65535. So it is better to
handle big records when reading and writing perf.data.
record_file_writer.cpp splits a big record into multiple SPLIT
records followed by a SPLIT_END record, and record_file_reader.cpp
restores the big record when reading SPLIT and SPLIT_END records.
Also Add RecordHeader to represent record having size > 65535.

Bug: 29581559
Change-Id: I0b4556988f77b3431c7f1a28fce65cf225d6a067
Test: run simpleperf_unit_test.

Merge "Dist simpleperf executables in SDK targets"

Merge "Simpleperf: use libc++_static on host."

Dist simpleperf executables in SDK targets

Bug: 28911532
Change-Id: I5ec387ee1bbdff1e62788aa1fe3995cb44b37754

Merge "Simpleperf: report lost record count and warn if 10% records are lost."

Simpleperf: use libc++_static on host.

Bug: 28911532
Change-Id: I5cc97fc35f5c5225ea81bdaec04cc22d9a99790f
Test: Use readelf to make sure simpleperf on host doesn't dynamically link libc++.so.

Simpleperf: report lost record count and warn if 10% records are lost.

Bug: 29126335
Change-Id: Id4a5b51120389387ec3ab45ea9ad9a276aa6ce2a
Test: run simpleperf with high -f option and check the lost record warning.

Merge "Simpleperf: adjust default mmap_pages for system wide profiling."

Merge "Simpleperf: check if -f option for record command is in valid range."

Merge "Simpleperf: check root privilege for system wide profiling."

Simpleperf: check if -f option for record command is in valid range.

Read /proc/sys/kernel/perf_event_max_sample_rate to get max
valid sample frequency.

Bug: 29574526
Change-Id: I269fefc87a7561bb15f41c3b4a494e7604e005fb
Test: Run `simpleperf record -f 10000000`, check the error message.

Simpleperf: check root privilege for system wide profiling.

Giving the suggestion to run as root is better than reporting
a bunch of failures trying to open perf_event files.

Bug: 29574526
Change-Id: Id7b7586a5aa7e79e4ef821f9ab710ccdf550ed94
Test: run `simpleperf record -a` with non root and check the error message.

Simpleperf: adjust default mmap_pages for system wide profiling.

System wide profiling have much more records to pass between kernel
and simpleperf, thus it needs a larger buffer than process profiling.

Bug: 29126335
Change-Id: I2eeb273096bb9786d9b37b17bb8745c1d3b3de74
Test: Run `simpleperf record -a` gives almost zero lost samples.

Merge "simpleperf: add kmem command to report slab allocation information."

simpleperf: add kmem command to report slab allocation information.

Bug: 27403614

Change-Id: Id3015a4828ec32170ea1db3a1580b14a8bd159ba

Merge "simpleperf: support event group."

simpleperf: support event group.

Kernel supports monitoring several events as a group, so they are
scheduled on and out at the same time. Add --group option to
stat command and record command.
Adjust the method to calculate miss rate in stat command: limit
the matched events in the same group or with scale == 1.0.

Bug: 29213742

Change-Id: I899aba207f1e3357307541e81f97526f5a2913c3

Merge "libfec: pack the fec_header structure"

Merge "simpleperf: add type modifier when reporting events."

Merge "simpleperf: replace SIMPLEPERF_ALIGN macro with Align inline function."

simpleperf: add type modifier when reporting events.

Before the change:
$simpleperf record -e cpu-cycles:u sleep 1
$simpleperf report
...
Event: cpu-cycles (type 0, config 0)
...

After the change:
$simpleperf report
...
Event: cpu-cycles:u (type 0, config 0)
...

Change-Id: I296c5476e03250e928ed0f579483d6866576d417

simpleperf: replace SIMPLEPERF_ALIGN macro with Align inline function.

Change-Id: Id9e9e67174ab3f857eb2baa9609351b60586b8dd

Merge "boot_control_copy: Track the the bootloader_message struct change."

Merge "simpleperf: fix mac build."

simpleperf: fix mac build.

Bug: 28114205
Change-Id: I84ad011b10c19e07576b718ba4b6b6c52a823366

Merge "simpleperf: support report samples using format defined by protobuf."

simpleperf: support report samples using format defined by protobuf.

Bug: 28114205
Change-Id: Idf6d64b8418b3d55d5a43f6096dd2d69764692c0

Merge "libfec: return raw and corrected verity metadata signatures"

Merge "simpleperf: restore perf_harden after simpleperf cts test."

simpleperf: restore perf_harden after simpleperf cts test.

Bug: 29264324
Change-Id: Ia78ef924f049630968d222729cf3c1f378105b8a

Merge "Support for converting callchain profiles."

boot_control_copy: Track the the bootloader_message struct change.

Bug: 29193360
Change-Id: I518e786eb2d45b6a71c25dc4402e3bbebef20dc6

Merge "postinst: Update comment to match implementation example."

postinst: Update comment to match implementation example.

"set_progress" should be "global_progress" in the documentation as the
example shows.

Bug: 29223204
TEST=None

Change-Id: I01b2abb2ba500941e591515217533150ef05dd97

libfec: return raw and corrected verity metadata signatures

Since it's not possible for libfec to identify whether the signature
field was successfully corrected, return both and allow the caller to
validate either signature.

Bug: 28943429
Change-Id: Ie913c21ba1d07d6df4c6feeb7226b2ec963f4d19
(cherry picked from commit 65cbaeb020b209f3d75d594ebbe49a609dd3c7e7)

Merge "simpleperf: dump tracing data when needed."

simpleperf: dump tracing data when needed.

When monitoring tracepoint events, dump tracing data to perf.data
can enable reporting on a different machine.

Bug: 27403614
Change-Id: Ie1af624717a245cacbeb44b4c1bcd499fc9ad8db

Merge "simpleperf: add report-sample command."

Support for converting callchain profiles.

Support conversion/logging of callchain profiles. A similar
change is already in place in google3.

Change-Id: Ibe5495b792f51a8aa010548d4d7ae9dd1aa40f72

simpleperf: add report-sample command.

1. Add report-sample command to report each sample with symbol information.
2. Add --dump-symbols option to record command to collect dso and symbol
information in perf.data.

Bug: 28114205

Change-Id: I37424ee6abd74a21ad41cd3b6c4249cf0625c201

Merge "Handle additional record types in perf.data reader."

Handle additional record types in perf.data reader.

Enhance the perf.data reader in perfprofd to handle the new kernel
symbol records that simpleperf generates. In addition, add support for
handling PERF_SAMPLE_REGS_USER and PERF_SAMPLE_STACK_USER records as
well (these wind up in perf.data files if callchain profiling is
used). Perfprofd doesn't need to look at any of the data in these
records, but it does need to be able to read past them.

Bug: 29067424
Bug: 29067428
Change-Id: I38c12f6a219a4d28afe50e0418d30cfdcd1a9222

Merge "simpleperf: check perf event limit."

simpleperf: check perf event limit.

The property security.perf_harden is added in https://android-review.googlesource.com/#/c/233736/5. And simpleperf needs to notice that.

Bug: 29054680
Change-Id: I5f1593f5b389d182a56c4bf3bd438a1dc2b66686

Merge "simpleperf: record kernel symbols in perf.data."

simpleperf: record kernel symbols in perf.data.

To better support kernel profiling, record kernel symbols in perf.data
when necessary. An option --no-dump-kernel-symbols is added in
record command to always avoid recording kernel symbols.
The way to handle all zero /proc/modules and /proc/kallsyms is
improved. Add Better support in finding symbols for kernel modules.

Bug: 27403614
Change-Id: I470151c54f8a45ad1c101c1b94490e33d7fd7485

Merge "simpleperf: refactor SampleTree for reuse."

Merge "simpleperf: remove unneeded file."

simpleperf: refactor SampleTree for reuse.

By moving most function in report command into template classes, it
allows other report commands to reuse the code.

Bug: 27403614
Change-Id: I3d35b3a34d48c5c043ba4257a52eaf0961c12bca