mkf2fsuserimg.sh: Make sparse mode optional

Bug: 142424832
Bug: 142803849
Test: Run mkf2fsuserimg.sh without the sparse option and check that the
      generated image is not sparse.
Co-authored-by: Satya Tangirala <satyat@google.com>
Change-Id: I8a079b30f63ddd13a94d73339501ed8ecb2c5049

Merge "simpleperf: fix failed python tests on Android O."

Merge "Fix build with new googletest"

simpleperf: fix failed python tests on Android O.

Fix *.test_pprof_proto_generator tests by allowing elf files
not having build id.

Fix TestExamplePureJavaTraceOffCpu.test_smoke by loosing check.

Bug: none
Test: run test.py on Android O.
Change-Id: I5a796f433a56735989b90a2339765d1e70e3939f

Merge "simpleperf: update simpleperf prebuilts to build 5991547."

Merge "simpleperf: fix test due to llvm-symbolizer upgrade."

simpleperf: fix test due to llvm-symbolizer upgrade.

Bug: none
Test: test.py *test_addr2nearestline
Change-Id: I1de1f55c25d7f9652e931a23416947ba63beb101

simpleperf: update simpleperf prebuilts to build 5991547.

Taken from branch aosp-simpleperf-release.

Bug: none
Test: run test.py on flame.

Change-Id: I4e0848a9006ec24cb7b17297ebfd5d993f1aa0fd

Fix build with new googletest

The new googletest requires prefix to be non-empty.

Change-Id: Iacd96a6e2fcfb2193c7627212e9e710fb655d6d9

Merge "simpleperf: fix test.py on x86/x86_64."

simpleperf: fix test.py on x86/x86_64.

Find 32bit abi on device instead of hardcoding to arm.
Add x86/x86_64 libraries in test apks.

Bug: none
Test: run test.py on x86 emulator.

Change-Id: Ie19b8423c2dfb2260bdc4bae6313b54aaa2847ab

Merge "simpleperf: allow more than one pattern in test.py."

simpleperf: allow more than one pattern in test.py.

Bug: none
Test: run test.py TestTools* TestExample*.
Change-Id: I26e0a37113044cb96c90ff8a02d7f3b34d356c19

Merge "simpleperf: add browser option in test.py."

simpleperf: add browser option in test.py.

To control whether generated html files should be shown in browser.

Bug: none
Test: test.py.
Change-Id: I58eeae716e42068bd5f278bb8006d8818e3fc63c

Merge "simpleperf: add temporary work around for debug interface change."

simpleperf: add temporary work around for debug interface change.

To fix a libunwindstack problem, ART appends new debug entries to the
end of the debug entry list, insteading prepending to it. This breaks
CtsSimpleperfTestCases.

This CL adds a temporary work around in simpleperf, so we have time
to try other fixes in ART.

Bug: 143375574
Test: run simpleperf_unit_test
Change-Id: I5d73792996fb89d22a664b982e667ba0a4ee8276

Merge "simpleperf: keep generated data of test.py."

simpleperf: keep generated data of test.py.

Keep generated data of each test of test.py in a separate directory,
so we can:
1) check generated html after testing.
2) check profiling data for failed tests.
3) run tests for different devices in different dirs at the same time.

Also continue test when a test pass fails in run_tests().

Bug: 142972498
Test: run test.py.

Change-Id: If8468f0e180d441b74c070b978375b27c293a006

Merge "simpleperf: test profiling apps with the same abi."

simpleperf: test profiling apps with the same abi.

32-bit simpleperf can't profile 64-bit java app. Because simpleperf
uses process_vm_readv() to read jit debug interface of the app process.
If the jit debug info is at address >= 1<<32, then 32-bit simpleperf
can't read it.

So install apks in the same abi as the test to avoid test failure.

Bug: none
Test: run 32-bit simpleperf_unit_test.
Change-Id: Ie3b4db320389bf5acb30ff5ea1f071b5fc3e2736

Merge "simpleperf: fix small errors in JITDebugReader."

simpleperf: fix small errors in JITDebugReader.

1. When seeing an entry with symfile_size = 0, we should move
   to the next entry.
2. Skip labels having zero length in jit debug file.

Bug: none
Test: run simpleperf_unit_test.
Change-Id: Iaa914cc4c6567ae5950194507c82e92316802a80

Merge "simpleperf: just use _Exit directly."

simpleperf: just use _Exit directly.

We don't actually need the quick_exit() machinery because we weren't
setting any at_quick_exit() handlers, so just call _Exit() directly.

This will let us remove the Mac/Windows quick_exit() implementation from
libbase (and will let simpleperf exit just a little bit quicker).

Test: treehugger
Change-Id: I4ce74cb80acc744721cf367930ca3e577b8fc614

Merge "libfscrypt: Export FSCRYPT_POLICY_FLAG_IV_INO_LBLK_64"

libfscrypt: Export FSCRYPT_POLICY_FLAG_IV_INO_LBLK_64

We need to test for this flag when deciding whether to set
stable_inodes.

Bug: 143307095
Test: Set inlinecrypt_optimized, check that stable_inodes is set
Change-Id: Ic3245466eccd88ed2784ff4b2a348ca65085e2a4

Merge "libfscrypt: Support inlinecrypt_optimized flag"

Merge changes I28f35a1e,Ieb72dc88

* changes:
  libfscrypt: Infer flags at parse time and include in options struct
  libfscrypt: No need for parts-parsing any more, integrate code.

Merge changes from topic "fstab-options"

* changes:
  libfscrypt: Options parser now fills missing defaults
  libfscrypt: Log which version of policy we set.

libfscrypt: Support inlinecrypt_optimized flag

Bug: 143307095
Test: add flag in fstab, check policy logs
Change-Id: Ic80d348c2c7d56048e0e73d985f709e8d287cd9f

libfscrypt: Infer flags at parse time and include in options struct

Bug: 143307095
Test: cuttlefish, policy=v1 -> flags=0, policy=v2 -> flags=2
Change-Id: I28f35a1e0ee474d07e2e2b591c84e9057ecb6acf

libfscrypt: Options parser now fills missing defaults

Bug: 143307095
Test: use parser for fstab
Change-Id: Ia103a2e7947d03fb50a378472203363477d865e5

libfscrypt: No need for parts-parsing any more, integrate code.

Bug: 143307095
Test: atest libfscrypt_unit_test
Change-Id: Ieb72dc88c227128ecadc44096a2266fe2af0d20b

libfscrypt: Log which version of policy we set.

Bug: 143307095
Test: check logs
Change-Id: Ib8a91dc153919063bc3daf5075848a64a7e48cf8

Merge "simpleperf: don't adjust frequency for etm recording."

Merge "Provide struct-based C++ interface"

Provide struct-based C++ interface

Replace many-parameter C interface with a cleaner and more complete
C++ interface for passing around policies in a struct.

Bug: 143307095
Test: treehugger
Change-Id: I95aeaae211f7ad698854bcc66c6d25a0bcb24cfe

Merge "libperfmgr: remove node written tests"

libperfmgr: remove node written tests

Test: build
Change-Id: I0754c42a46f0a7f252190dcad2a58bc7877a85cf

Merge "Update help commands"
am: f133fac48c

Change-Id: I81aaa1c3f122529c9f1d728e20e50e0ed531976d

Merge "Update help commands"

Merge "Skip QD1A.190821.011 in stage-aosp-master" into stage-aosp-master

Update help commands

Test: build
Change-Id: I41b2e23d19c8e01927ae7e78585f19aedfd2a37a

Merge "add options to exec individual hint and specify hint duration"
am: c3e7371880

Change-Id: I9e4a262520f95b7a87ce1de3dd53d36a499e15e4

Merge "add options to exec individual hint and specify hint duration"

add options to exec individual hint and specify hint duration

Test: boot and run perfmgr_config_verifier
Change-Id: I0239edc457a04f793bd85a81e726668d605321f7

Merge "simpleperf: add periodic callback to flush etm data."
am: b0afbc964f

Change-Id: I206910e8132e4681929d5b67a2dbc4a50227d2e2

simpleperf: don't adjust frequency for etm recording.

Bug: none
Test: run simpleperf_unit_test.

Change-Id: I401bcc72492b8a751c4a06f37026ef93d0af74c0

Merge "simpleperf: add periodic callback to flush etm data."

Merge "simpleperf: fix ScopedEventTypes."
am: d5c0d63fc1

Change-Id: I66373e86dff93084256068b825b78f9e261b8132

Merge "simpleperf: fix ScopedEventTypes."

simpleperf: add periodic callback to flush etm data.

Bug: none
Test: run simpleperf_unit_test.
Test: record etm data manually.
Change-Id: I620bcd0606c5ecf7eb076db503baad7f1a54b1d4

Merge "Clean up unnecessary dependency on ART internal defaults module."
am: 1476635e45

Change-Id: Id84a9a4d0708b7cec8738b0b73d4fddbf44ae349

Merge "Clean up unnecessary dependency on ART internal defaults module."

simpleperf: fix ScopedEventTypes.

Bug: none
Test: run simpleperf_unit_test.
Change-Id: I7d9e91075e535ff5c85d4c13a301704359907f0a

Merge "simpleperf: reduce and recover from etm decoding errors."
am: 81932dc525

Change-Id: Ife0846a3ea8df69c33f0feef4ab60f17cce08fe7

Merge "simpleperf: reduce and recover from etm decoding errors."

simpleperf: reduce and recover from etm decoding errors.

ETM decoding fails when processing some invalid data like invalid packet
headers. Invalid data may be caused by truncated etm data or other
reasons.

Invalid data can be skipped by resetting decoders, which will force
decoders to look for sync points (I_ASYNC packets) in the data stream.

So to fix the problem:
1. Reset decoders when processing a new data block, which avoid invalid
data at the beginning of a block.
2. When having a decoding error, recover from it by resetting decoders.

Bug: none
Test: run simpleperf_unit_test.
Test: record and decode etm data continuously on device.
Change-Id: If44edc04428f22e605afe994aabeb6ff350cffb1

Merge "Allow trace files to be zipped or text files."
am: 9a28fa0125

Change-Id: I629d73519af7db2ee5a404f26546a079c988e5ce

Merge "Allow trace files to be zipped or text files."

Clean up unnecessary dependency on ART internal defaults module.

Only libdexfile_support_static is actually used.

Test: atest system/extras/simpleperf
Bug: 133140750
Change-Id: I2d71b25a1610664648f9172613046ae1ab13177f

Allow trace files to be zipped or text files.

Add and update unit tests to verify this behavior.

Test: Ran unit tests.
Test: Ran memory_replay on zipped file and text file.
Test: Ran trace_benchmark.
Change-Id: I296b27902a5a53a130a2c09063efc369830a9d05

Skip QD1A.190821.011 in stage-aosp-master

Bug: 141248619
Change-Id: If13d25087fb538b7165d10fd1a010953ba86c58d

Merge "simpleperf: update simpleperf prebuilts to build 5933778."
am: a8bd5066f2

Change-Id: Ie72385ef75198b8420218921990b7a2c83f24d97

Merge "simpleperf: update simpleperf prebuilts to build 5933778."

simpleperf: update simpleperf prebuilts to build 5933778.

Taken from branch aosp-simpleperf-release.

Bug: none
Test: run test.py on linux.

Change-Id: I79ccb883d484812866e6f11d494ee8c5c6042856

Merge "simpleperf: change based on jit debug interface change."
am: 84b9c942fb

Change-Id: I9ee97e7510c288ffafe0e7cbd968b163046435d4

Merge "simpleperf: change based on jit debug interface change."

simpleperf: change based on jit debug interface change.

1. Change magic field and sizeof_entry check for JITDescriptor.
2. Use seqlock field in JITCodeEntryV2 to check its valid.
3. Allow but skip entry with symfile_size = 0 in V2.

Bug: 141558390
Test: run simpleperf_unit_test.
Change-Id: I30e214597cec78c73492fdfeac1f9766b775f0e3

Merge "simpleperf: create one map for each jit symbol."
am: 7ea25d629c

Change-Id: I860b84d19fada18f48f35b0fb36f278d2e3e4f6a

Merge "simpleperf: create one map for each jit symbol."

Merge "simpleperf: merge jitted and interpreted java methods."
am: bf9f91a149

Change-Id: Iad4f3daffa1cf3cf315a0e6de4575fdf04b19b5c

Merge "simpleperf: merge jitted and interpreted java methods."

simpleperf: merge jitted and interpreted java methods.

Bug: 132370901
Test: run test.py TestReportLib.test_merge_java_methods.

Change-Id: I9e2cc9a0db6a6f94611947c4f146a51aff85d593

simpleperf: create one map for each jit symbol.

JIT debug interface in ART regularly repacks jit symbols, making
overlapped jit symfile maps:
For example, jit symfile A contains many symbols, in addr range [0xa000, 0xb000),
but excluding [0xa100, 0xa110]. And jit symfile B contains only one symbol, in
addr range [0xa100, 0xa108).
So jit symfile A and B have overlapped addr range, while the symbols in
them are all valid.

Simpleperf can't keep maps with overlapped addr range, thus fails to unwind in
this situation.
Fix it by creating one map for each jit symbol instead of jit symfile.

Bug: none
Test: run simpleperf_unit_test.
Test: run test.py TestRecordingRealApps.test_recording_displaybitmaps.
Change-Id: I8392bb331c98830dc9a98031a08c0567dd66ff4b

Merge "libfscrypt: support setting v2 encryption policies"
am: c5f7c38480

Change-Id: Ief71f4a70e9e2c2be5524a44795c793cf5bd311b

Merge "libfscrypt: support setting v2 encryption policies"

Merge "Make cppreopts.sh deal with new layout"
am: cf29d5254c

Change-Id: Ie9db469d29e292d3b44daaea2b274b0b37603920

Merge "Make cppreopts.sh deal with new layout"

Merge "simpleperf: add app tests in python test."
am: 955434d2fc

Change-Id: I308992609af219fd6774dce78af75e55efa9f180

Merge "simpleperf: add app tests in python test."

simpleperf: add app tests in python test.

Also fix log overwrite in TestLogger.

Bug: 141882072
Test: run test.py TestRecordingRealApps*.
Change-Id: I0e85224c40a66dbbd1caab5ff0bb48852712a06e

Make cppreopts.sh deal with new layout

.odex and .vdex files on system_other are being moved to a subdir
with the name of their source partition. Update cppreopts to
recognize this and pass the right source path to preopt2cachename.

Bug: 141707536
Test: manually verify name of dalvik-cache files post boot
Test: dumpsys package [system-package]; verify reason=prebuilt
Change-Id: Icb5b5307ad42b7c899e11212843ce4b96b015958

Merge "simpleperf: add tests recording real apps."
am: 0edad652cf

Change-Id: If81e6c1fde20f8160741a997cac01bcdc32b9dc2

Merge "simpleperf: add tests recording real apps."

simpleperf: add tests recording real apps.

This is to test failures more likely to be reproduced when recording real apps.

Bug: 141882072
Test: run simpleperf_unit_test on both arm64 and x86.
Change-Id: I20da128b6721c32c0205341a16f63414510753c9

libfscrypt: support setting v2 encryption policies

Update libfscrypt to support setting v2 encryption policies.  For this,
the ioctl to use is still FS_IOC_SET_ENCRYPTION_POLICY; we just need to
pass it a slightly different structure.

v2 policies support the same encryption modes and flags as v1 policies,
but internally they use a more standard, secure, and flexible KDF.  Due
to this, some future features will be supported by v2 policies only.

Other notes:

- Use 16 byte filenames padding for all v2 policies.  There's no need to
  use the legacy 4 bytes padding.

- Unlike v1 policies, setting a v2 policy requires CAP_FOWNER if the key
  hasn't been installed.  This isn't an issue for Android, however --
  Android always installs the keys first, and even if it didn't,
  policies are only set by init and vold, which have CAP_FOWNER.

Bug: 140500999
Test: tested as series; see If64028d8580584b2c33c614cabd5d6b93657f608
Change-Id: I325f75fd3e59d6f00a5c66938b99b127981183a5

Merge changes from topic "logwrapper-api-update"
am: 0888874bb4

Change-Id: I118a28b210927073703edb04dabf6c5bba935e27

Merge changes from topic "logwrapper-api-update"

* changes:
  Update system/extras for logwrapper
  puncture_fs: convert to C++ and update for logwrapper

Update system/extras for logwrapper

Test: build
Change-Id: I60bd71671ef18b62f3d4152e3061133eafa935f8

puncture_fs: convert to C++ and update for logwrapper

This was logwrapper's last C dependency to convert it to C++ for the
incoming updates.

Test: builds
Change-Id: I71feb31032b6b4c8c7147d2111f9a685c0351e4b

Merge "lpdump: print partitions in super in order"
am: 16e39c46b8

Change-Id: I8fe5244a52cfdd1246c30c0f71e1f074562ac678

Merge "lpdump: print partitions in super in order"

lpdump: print partitions in super in order

Easier to understand where are all the extents.
Test: run it

Change-Id: I88511fe4ed0d23882872c7434422f0a42cd3ee1f

Merge "simpleperf: fix location addresses in generated pprof files."
am: 1720053bc5

Change-Id: If7485b6ccc4bf0ee62bad60399173ff235697f18

Merge "simpleperf: fix location addresses in generated pprof files."

simpleperf: fix location addresses in generated pprof files.

The address of a location in pprof proto files should be within memory
range of the corresponding mapping. But in pprof_proto_generator.py,
it is written as the virtual address in elf file.

Bug: 141026312
Test: run test.py TestPprofProtoGenerator*
Change-Id: I3bc13548477b6b6069f712035b7177cc4bd60c80

Merge "mkuserimg_mke2fs.py: Package mke2fs.conf"
am: 61c47892cc

Change-Id: I94d95f31f20aee43aed60d3ce24646d44598b74d

Merge "mkuserimg_mke2fs.py: Package mke2fs.conf"