ext4_utils: enable uninit_bg feature for ext4 mke2fs

Some devices have very slow storage media. This feature can speed
up filesystem creation time noticeably.

Bug: 63809106
Bug: 64101366
Change-Id: Id4886822035808bcb279dbf6f81989fee9cc0ace
(cherry picked from commit 794223c633652b714db804729b5f57d3689a1f91)

Merge "simpleperf: exclude kernel callchains when needed."

simpleperf: exclude kernel callchains when needed.

Exclude kernel callchains when users only monitor events in user space.
After this change, when users use `record -e cpu-cycles:u --trace-offcpu`,
the samples of the implicitly added sched:sched_switch event won't contain
any kernel callchain.

Bug: http://b/37572306
Test: run simpleperf_unit_test.
Change-Id: Iffcb61bac796e734825e68f847f24b4006b44360

Merge "Track google-benchmark API change."

Merge "simpleperf: adjust sample freq instead of checking it."

Merge "simpleperf: add tests for scripts."

Merge "simpleperf: support tracing offcpu time."

Track google-benchmark API change.

Bug: N/A
Test: builds
Change-Id: I55e43db662c834da52dbc8de522ee6ccbd3f8b5e

simpleperf: adjust sample freq instead of checking it.

Linux kernel introduces methods to adjust max sample rate
based on load with patch "perf: Drop sample rate when sampling is too slow".
It is annoying if the first time recording with -f xxx option successes,
but following runs fail because the max sample rate is decreased.
So instead of checking if sample_freq <= max_sample_rate, I prefer to
change it to adjust sample_freq in range of [1, max_sample_rate].

Test: run simpleperf_unit_test.
Change-Id: Ic2e93b7fb861c704a4aa8199d08b5b0650db2c23

simpleperf: support tracing offcpu time.

1. Add --trace-offcpu option in record command, to record the callstack
when a thread is scheduled off cpu.
2. Change the report command to report time spent not running on cpu
when --trace-offcpu option is used for recording.
3. Add related unittests and runtests.

Bug: http://b/37572306
Test: run simpleperf_unit_test.

Change-Id: Ia50cc39c8dde0c8fb1b1facbcb26bbd0a7ab1351

Merge "Add swapPSS support to showmap"

simpleperf: add tests for scripts.

Also adjust scripts based on test results:
1. Use `pidof` in app_profiler.py.
2. Improve the way finding source files in annotate.py.
3. Change report.py to be a python wrapper of simpleperf report command,
   so users don't need to find different simpleperf binaries for different platforms.
4. Change README.md accordingly.

Bug: http://b/63006886
Test: run test.py on all platforms.

Change-Id: I00b098a1c72824226e509d7b1e5405c7cc43b856

Add swapPSS support to showmap

The swap column in showmap is sometimes misleading since it is total
swap and not proportional. Shared dirty RAM is often shared swap with
the zygote and other processes.

Added a swapPSS column to the showmap output that shows the swapPss
which is proportional swap usage (from smaps).

Test: looked at showmap for a device that is swapping
Bug: 36457259

Change-Id: If43d39354d53f6cfc2c7681ce294e2729c638876

Merge changes from topic 'mke2fs_2'

* changes:
  ext4_utils: copy mke2fs.conf to /etc
  ext4_utils: copy mke2fs.conf to recovery /etc

ext4_utils: copy mke2fs.conf to /etc

mke2fs tool reads /etc/mke2fs.conf for filesystem configurations

Bug: 35219933
Change-Id: I2af633ffd3b37f9f5ad287375ea40b212bf61a01
(cherry picked from commit a5950e562e89ac2c110070993a93ae3f8503fe37)

ext4_utils: copy mke2fs.conf to recovery /etc

Bug: 35219933
Change-Id: I9af35a32adde24d751e5b11f9efcf6eca252db74
(cherry picked from commit 4fb76ecad69f85921f0c0ffb03f4559db898aba2)

Merge "simpleperf: update simpleperf prebuilts to build 4194070."

simpleperf: update simpleperf prebuilts to build 4194070.

Taken from branch aosp-master.

Test: None.

Change-Id: Ie060ccd602cec70a1bae1c6bbca85f0d045606ac

Merge "simpleperf: add test for dumping regs for tracepoint events."

simpleperf: add test for dumping regs for tracepoint events.

If the test fails, probably a kernel patch is missing:
5b09a094f2 arm64: perf: Fix callchain parse error with kernel tracepoint events

To support the test, also enable recording tracepoint events in
app's context.

Bug: http://b/29520177
Test: run CtsSimpleperfTestCases64 on devices.

Change-Id: I085114113732366305e92f6a1e6c3b6efc6ff5ff

Merge "Add event monitoring to Inferno."

Merge "simpleperf: replace config file with cmdline options."

Merge "simpleperf: change the way running cts tests."

simpleperf: change the way running cts tests.

Before this CL, CtsSimpleperfTestCases copies itself to the app's
directory, then run it using run-as.

With this CL, CtsSimpleperfTestCases keeps itself in /data/local/tmp,
but forces stat/record cmd to run with --app option. This gives
more freedom to tests:
1. They can stay in shell's context with --in-app option.
2. The stat/record cmds are started in the shell's context, so
they can collect information no available in app's context (like
data in /sys/kernel/debug/tracing/events).

This is a preparation to add tests for recording tracepoint events.
It also matches the way we want users to use simpleperf (with --app option).

Bug: http://b/29520177
Test: run CtsSimpleperfTestCases.

Change-Id: I1709adfb1ff7169df87560226c197e473fdf8516

simpleperf: replace config file with cmdline options.

1. For binary_cache_builder.py, annoate.py and pprof_proto_generator.py,
there are only a few options, use a config file seems overkill, so
replace them with cmdline options.

2. Add cmdline interface for app_profiler.py. It is to simplify usage,
and can be called from tests (will be added).

3. Simplify the way to find tools (including adb,readelf,addr2line),
try to find them in default install location of sdk and ndk. And output
error/warning msg if not found.

4. Raise exception in python are not always helpful for users to find
problems, because the error msg is hidden by exception stack dump. So
replace some log_fatal() with log_exit().

5. Change README.md accordingly.

Bug: http://b/32834638
Test: run scripts manually.

Change-Id: Ic60e496edbe748b801d35144da29f40c3db3e250

Merge "simpleperf: support "--app" option in record/stat command."

Merge changes from topic 'ext4_encryption_flag'

* changes:
  ext4_sb.h: make feature flags in fs_info 32-bit
  ext4.h: add EXT4_FEATURE_INCOMPAT_ENCRYPT

simpleperf: support "--app" option in record/stat command.

By using --app [package_name] option, users don't need to
manually run run-as or look for the app's process.
It is also good for profiling app startup time.

For simpleperf, it now can start in the shell's context,
and be able to get tracing events information, which can
support profiling tracepoint events for apps. This is
useful for monitoring thread sleep time.

This CL is tested manually, but I will change the
way of running simpleperf cts test to test this.

Bug: http://b/34108866
Test: test manually.

Change-Id: I8db0390af8e49c56dc4860374153f753bbcf9b11

Add event monitoring to Inferno.

Change-Id: Ifd695d3b13b0da74c1e87e05c89ceee1101fa22a

Merge "Inferno: A framegrapher based on simpleperf"

Merge "os-release.d: set the default version to four numbers."

Merge "simpleperf: add test for recording cpu-clock."

os-release.d: set the default version to four numbers.

We will report system_version and product_version separately to Omaha,
so revert back to using four numbers for version.

Test: cat $OUT/system/etc/os-release.d/system_version
Change-Id: Ife69a7a17d1a06cc9127540cb39f27ce4fd0c944
(cherry picked from commit d454042d764713ead2b87b78f4d2292d2d422d45)

Inferno: A framegrapher based on simpleperf

Inferno generates flamegraph for an entire process in one click.
The HTML report is automatically opened in the machine browser.

To run it on surfaceflinger, start UIBench to generate load and:
 - ./inferno.sh (Linux/MacOS)
 - ./inferno.bat (Windows)

See report.html for a sample report.

Change-Id: I35a20fcfe4b385dbf45832bef0ff69b80a44e1d6

Merge "simpleperf: enforce support of dwarf based callgraph."

simpleperf: enforce support of dwarf based callgraph.

If it is not supported by the kernel, it may be because
a kernel patch "perf: Fix arch_perf_out_copy_user default",
or a configuration HAVE_PERF_USER_STACK_DUMP is missing.

Bug: http://b/63634097
Test: run simpleperf_unit_tests.
Change-Id: I4d3b2de72925c3566bcb0ebe41872919b7312687

simpleperf: add test for recording cpu-clock.

Bug: http://b/63135835
Test: run the test on marlin.
Change-Id: I5b51eaafb596dc7df886b59b5ea208ae9c2c739a

ext4_sb.h: make feature flags in fs_info 32-bit

The feature flag fields in the ext4 superblock are 32-bit, so they
should be 32-bit in fs_info too.

Bug: 36231741
Change-Id: I719953ac389d1c7f503db0b669c2815c44807f9f

ext4.h: add EXT4_FEATURE_INCOMPAT_ENCRYPT

fs_mgr needs to know the value of the encrypt feature flag (added to
ext4 in upstream kernel v4.1) so it can enable it.

Bug: 36231741
Change-Id: I7475ea8424fa5a2c4712634eada3095e938e97e3

Merge "kernel.config: check console-ramoops-0"

kernel.config: check console-ramoops-0

On later kernels /sys/fs/pstore/console-ramoops becomes
/sys/fs/pstore/console-ramoops-0. One or the other is
present, but not both.

Test: none
Bug: 63058217
Change-Id: I4b54cfdd9f347735ccd2debd08a1baa167c9a24f

Merge "simpleperf: add demo for kotlin."

simpleperf: add demo for kotlin.

And fix annotate.py to include kotlin source code.

Bug: http://b/32834638
Test: profile the app on bullhead and marlin using scripts manually.
Change-Id: Ic812cd2f8db7d047ceac58e3f5ae6a3f19e1879f

Merge "use f2fs upstream host to generate image"

use f2fs upstream host to generate image

calls make_f2fs -S <size> <filename>

Test: ./mkf2fsuserimg.sh ~/android/userdata.img 2000000000
Bug: 62493641
Change-Id: I4d3631a631fbdfbfc680eeba5f2a1dde204cba25
Merged-In: I4d3631a631fbdfbfc680eeba5f2a1dde204cba25

Merge "simpleperf: fix the way to pull perf.data on windows."

simpleperf: fix the way to pull perf.data on windows.

Bug: http://b/32834638
Test: run app_profiler.py on linux/darwin/windows.
Change-Id: Id932ad7d0a21598eae7d844e6c33c6e64df22c5a

Merge "simpleperf: fix x86 register dump on x86_64."

simpleperf: fix x86 register dump on x86_64.

x86_64 linux kernel doesn't support dumping registers like DS.
If simpleperf32 requests dumping these registers, it will fail.
So don't request them to avoid failure.

Bug: None.
Test: run simpleperf32 manually on x86_64.
Change-Id: I220ce5378bad8f0c3c9deb2ef32128fd3262b96d

Merge "simpleperf: Support Ctrl-C in app_profiler.py."

Merge "simpleperf: fix importing tkinter in report.py."

simpleperf: Support Ctrl-C in app_profiler.py.

Bug: http://b/32834638
Test: kill app_profiler.py with Ctrl-C manually.

Change-Id: I03b8813080b45e324c66ce3de27e5dd1f8849446

simpleperf: fix importing tkinter in report.py.

On darwin/windows, python2.7 doesn't have tkinter.
So we need to try both tkinter and Tkinter.

Also make the font size larger. Because the old size
is too small on darwin.

Bug: http://b/32834638
Test: run report.py on linux/darwin/windows.
Change-Id: I8bb0b51fcdd99f70b01d4ca2ee2e9e9a6447870a

Merge "simpleperf: update simpleperf prebuilts to build 4120823."

simpleperf: update simpleperf prebuilts to build 4120823.

Taken from branch aosp-master.

Bug: None
Test: None

Change-Id: Ifa518c6af1f1f9201e324092f82e8b97407aa85e

Merge "simpleperf: create libsimpleperf_record library."

Merge "Fix macOS build"

Fix macOS build

Test: compile
Change-Id: I97e93313f9b6ab7e8a753d4035b7805b21fdfa2d
Merged-In: I97e93313f9b6ab7e8a753d4035b7805b21fdfa2d
(cherry picked from commit b86fd88966aa15c2b9cce1bf0f7907fcdd11134e)

simpleperf: create libsimpleperf_record library.

Add interface to control perf counters.

Bug: http://b/35725972
Test: run simpleperf_record_test.
Change-Id: I2a9979f807253c60a9db6304454934034161c854

Merge "kernel.config: add CONFIG_NFS* testing"

Merge "simpleperf: fix app_profiler.py."

simpleperf: fix app_profiler.py.

Previous change makes app_profiler.py not work on rooted devices
because of using '>xxx' as a flag to store stdout files. Change
this to a more obvious way.

Bug: http://b/62028152
Test: run app_profiler.py on both rooted and non-rooted devices.
Change-Id: Ice2399d007a64a7d0000560b2368a392620b1053

kernel.config: add CONFIG_NFS* testing

The following configs are not supported on Android:

CONFIG_NFSD
CONFIG_NFS_FS

Test: run CTS and kernel-config-unit-tests
Bug: 37753761
Change-Id: I13a9a2d5265079a1f99512c48b5bbcfd4bba68dd

Merge "simpleperf: add thread name in report_sample.proto."

simpleperf: add thread name in report_sample.proto.

Bug: http://b/62189080
Test: run simpleperf_unit_test.
Change-Id: I3c96f6474e56b2f51a00f85082973e5d1c1aec72

Merge "simpleperf: write -1 to perf_event_paranoid when running as root."

Merge "simpleperf: fix app_profiler.py."

simpleperf: write -1 to perf_event_paranoid when running as root.

The monitored threads may create child processes not running as root.
This patch is to make sure they have permission to create inherited
tracepoint events.

Bug: http://b/62230699
Test: run simpleperf manually on device.
Change-Id: I02798c834f8a0500057e4e1c70291cfb05c3f92d

simpleperf: fix app_profiler.py.

The old way doesn't work on non-rooted devices.

Bug: http://b/62028152
Test: run app_profiler.py non non-rooted devices.
Change-Id: I2b528a8ec64675cf62323ef3e58f6cdeb2547240

Merge "Mark libpagemap vendor_available."

Mark libpagemap vendor_available.

libpagemap is a library which belongs to vndk-cap. Mark it vendor_available to
enable vndk abi stability checks on it.

Details: https://android-review.googlesource.com/368372

Test: mm -j64

Bug: 38244611

Change-Id: I310d0a4d8dd9e87615c276bd66639170b2a70648

Merge "simpleperf: support raw event types."

simpleperf: support raw event types.

Provide interface to access event numbers provided by ARMv8 PMU v3.
Make event types case insensitive to make typing easier.

Bug: http://b/38043209
Test: run simpleperf_unit_test.
Change-Id: I49073acbc4d8c9abeafff93e25133664c84a0e9c

Merge "ext4_utils: update default conf from e2fsprogs"

ext4_utils: update default conf from e2fsprogs

Build server machines are using a conf file optimized for google
data center. We should use the default version from upstream
e2fsprogs.

Keep reserved_ratio at 1% to get more free space.

Bug: 37361511
Change-Id: I2638df72cfd3b9404981ef227651d38025a8053c

Merge "ext4_utils: add default mke2fs.conf"

Merge "simpleperf: better support kernel symbols when running as root."

Merge "simpleperf: support [vdso]."

simpleperf: support [vdso].

Before this CL, there is no way to parse symbols from [vdso] or unwind
through it. In this CL, simpleperf dumps [vdso] segment in its own memory space
to local file system, so it can be used for getting symbols or unwinding.
It takes care that vdso files for 32bit version and 64bit version are not
misused.

Bug: None.
Test: run simpleperf_unit_test.
Test: run simpleperf on processes using vdso.

Change-Id: I9233daf1d07df262a4a0fcdeadd3e544f3ccc906

simpleperf: better support kernel symbols when running as root.

Instead of asking user to `echo 0 >/proc/sys/kernel/kptr_restrict`,
do it automatically in simpleperf.

Bug: None.
Test: run simpleperf as root.
Test: run simpleperf_unit_test.
Change-Id: If31aa03b6e30afb925cbf58835536ed4c969a635

Merge "boot_control_copy should #include <sys/sysmacros.h>."

Merge "simpleperf: enable two options by default."

simpleperf: enable two options by default.

Enable dumping symbols in record cmd by default,
and change --dump-symbols option into --no-dump-symbols option.
Show brief call graph in report cmd by default,
and change --brief-callgraph option into --full-callgraph option.
Make the change because these two behaviors are always recommended.

Bug: None.
Test: run simpleperf_unit_test.
Change-Id: Icff6a843a7f46c56313500f4da119aa5118a57e5

boot_control_copy should #include <sys/sysmacros.h>.

Bug: https://github.com/android-ndk/ndk/issues/398
Test: builds
Change-Id: Icfccc98e1ff5aaa53b288e2aba0efe2c2c77a623

ext4_utils: add default mke2fs.conf

Copy default configs from borg build machine and enable ext_attr.

Bug: 34947454
Test: make systemimage
Change-Id: I011b3d119f35beb0e78b804e62deff229775a0b0
(cherry picked from commit 87eb12642f68f5a8594893618cfab128da82ebd8)

Merge "libf2fs_sparseblock: Android.mk->Android.bp"

Merge "simpleperf: fix report_sample_test."

simpleperf: fix report_sample_test.

When running cmd_report_sample.* tests, it may call
ReportSampleCmd()->Run() more than once. If we shutdown
protobuf library in one call, using protobuf in the
following calls will encounter failures.

Bug: http://b/37996565
Test: run CtsSimpleperfTestCases.
Change-Id: I5ca217406e786645d45fda518055c4a63ab3db3c

Merge "Switch to libkeyutils."

Merge "simpleperf: make pprof_proto_generator.py work without binary_cache_dir."

simpleperf: make pprof_proto_generator.py work without binary_cache_dir.

Bug: http://b/32834638
Test: run pprof_prot_generator.py with only perf.data.
Change-Id: I686d6e968ab8703402223334e8ddb83e966a08f8

libf2fs_sparseblock: Android.mk->Android.bp

Test: mm -j64

Bug: 37567578

Change-Id: I9a92406bfc150d9effae89a93b1ee07f7ad6d001

Switch to libkeyutils.

Bug: http://b/37991155
Test: builds+boots
Change-Id: Iba763eccc0768f58ce7b51d861f13e51d91ec382

Merge "simpleperf: fix some format error in README.md."

Merge "simpleperf: fix scripts to be runnable by python3."

simpleperf: fix some format error in README.md.

Test: none
Change-Id: Ibc11990dc511fcf7eafc91becdb0383e4fb186e2

Merge "simpleperf: update simpleperf prebuilts to build 3984832."

simpleperf: fix scripts to be runnable by python3.

Bug: http://b/32834638
Test: run scripts with demo using both python and python3.
Change-Id: I5cb7eb41bed0e2a91f4cbc97c386dd527aa3186a

Merge "f2fs_utils: update f2fs utils to match 1.8.0"

simpleperf: update simpleperf prebuilts to build 3984832.

Taken from branch aosp-master.

Fix update.py for copying libwinpthread-1.dll.

Bug: http://b/37788631
Test: none

Change-Id: Ifb38fbdbed10941fef36c7a52cf973c67f0505cd