merge in nyc-release history after reset to nyc-dev

Update simpleperf for LLVM rebase to r256229.

Bug: 26987366

(cherry picked from commit 07cdff03ffb5e69d73979e8c2f8585314751ee17)

Change-Id: I15f2c3ad2f3cbc6239f3ffe42dbc09da2b703d3a

merge in nyc-release history after reset to nyc-dev

Added -q flag to ignore errors.

dumpstate calls showmap for each pid, and since most of them are empty,
it ends up polluting logcat with entries like:

03-17 14:49:05.974 12160 12160 E dumpstate: command '/system/xbin/su
root showmap -q 9867' failed: No such file or directory

BUG: 26906985
Change-Id: I18d86adefe3f4b248f672732460d1145103e5828

merge in nyc-release history after reset to nyc-dev

Correct aslr_test minimum arm value.

Default mmap_rnd_bits value is now equal to the maximum supported (16)
on arm, not the minimum, 8.  Adjust the test criteria to match this.

Bug: 27680571
Change-Id: I16f2c3120c92ca9ea537f445ba24ebd8172d613f

merge in nyc-release history after reset to nyc-dev

Merge "Migrate aslr test to gtest." into nyc-dev

merge in nyc-release history after reset to nyc-dev

simpleperf: check if dwarf callgraph is supported by kernel before testing.

Move inclusion of poll.h from header files to source files,
as event_selection_set.h is used by cmd_report_test.cpp, which
can be built on windows.

Bug: 27590546
Change-Id: Ic6b141a93d96610f911ab52da1d927b7f619ccb2
(cherry picked from commit 19e6b6d372a1244189dc2df62313085a61ed1a80)

Merge "simpleperf: check if dwarf callgraph is supported by kernel before testing." into nyc-dev

Merge "Avoid bogus warnings by branching on whether dir is empty." into nyc-dev

simpleperf: check if dwarf callgraph is supported by kernel before testing.

Move inclusion of poll.h from header files to source files,
as event_selection_set.h is used by cmd_report_test.cpp, which
can be built on windows.

Bug: 27590546
Change-Id: Ic6b141a93d96610f911ab52da1d927b7f619ccb2
(cherry picked from commit 19e6b6d372a1244189dc2df62313085a61ed1a80)

Crypto performance benchmark

This reverts commit 39087e3740095e1851b0fcf1988c1c0881a208b6. And adds
the respective fix.

Change-Id: I1f70211c77f892c6252cf5e05e5e52d6c63e2293

Avoid bogus warnings by branching on whether dir is empty.

If the directory is empty, we try to set policy, otherwise we get it.

Bug: 27596572
Change-Id: I127534b7e43c95cf259f001b0acba255a117f76e

merge in nyc-release history after reset to nyc-dev

Merge "Revert "Crypto performance benchmark"" into nyc-dev

Revert "Crypto performance benchmark"

This reverts commit 00652d85b0228bf70905a4934e88a38471832ac2.

Change-Id: I550ebd2e25c275a03e4f93437e6f12f83e232c7f

Migrate aslr test to gtest.

Create tests which test the values of mmap_rnd_bits, and
mmap_rnd_compat_bits, if applicable, and verify that the address space
is randomized as expected given the provided values.

Also add a pair of tests to CTS that enforce that the observed entropy
is at least as high as a designated value.  That value will start as our
default value, which also corresponds to the maximum value of some
configurations.

Packaging of executables along with a nativetest suite is not supported,
so add a dummy nativetest suite, scrape_mmap_addr, which ensure that the
executables are present along with the given tests at predictable
locations.

Bug: 26512380
Change-Id: Ib1202984f9b98c503b8d3bc2c2248a9d06940845

Merge "Crypto performance benchmark" into nyc-dev

Crypto performance benchmark

Before running the benchmark do the following:

Lock the frequency of the core by setting scaling_min_freq=scaling_max_freq=DESIRED_FREQ

Change-Id: Ic291ae4db6a202ea2e968dc6823c61d352eb272d

Merge changes from topic 'incremental-ext4' into nyc-dev

* changes:
  make_ext4_fs: Clean up a few error messages
  Introduce blk_alloc_to_base_fs utility

cts: android.kernel.config

(cherry pick from commit 67522d05df61e7757e1ff08ba0b7ad0f19406ec0)

- Added plumbing for CTS tests
- Divide Required into CTS and gTest and
  Recommended into gTest
- Added check of CONFIG_ANDROID_LOGGER
- test typically completes after 3ms

Bug: 19173869
Change-Id: I13a92081bfa9b53abb69923b160b82e3be2142ab

su: Segmentation Fault on unknown numerical uids

(cherry pick from commit 45948f910c69d354cc3f7e81631445d83ebadc3d)

e.g.

su 2999,2999,2999 echo hello
Segmentation Fault

return from getpwuid is NULL. KISS we opt to unset LOGNAME and USER

Change-Id: I7e7eddacfd6857f83482727eb5ec5c51b9170039

merge in nyc-release history after reset to nyc-dev

cpustats: do not die in case a CPU is offlined

Change-Id: I05700266f1c7584ff51557b3e559654045379e87

Merge "Add support for filtering based on app name to pagecache." into nyc-dev

merge in nyc-release history after reset to nyc-dev

simpleperf: support building cts test.

1. build cts test libraries.
2. change tests to use tmpfile instead of perf.data.
3. support extracting testdata from cts test file.

Bug: 27387280
Change-Id: I7c5db77f3157d586d0c9beb446b247626e7cce36
(cherry picked from commit be7ec66eaa4f995bd9068637f7c7d5718173922c)

simpleperf: fix mac build.

I forgot that mac doesn't support whole static library. Change to static library
to avoid hiting the same problem in the future.

Bug: 26962895
Change-Id: Ia8e26c2e1cf7621391e00e100b22b7ed451dfa32
(cherry picked from commit ff7465c896ab90c162cbcf2b141c4cdd79bf437f)

simpleperf: port cmd_report_test to nonlinux.

And fix one build_id bug introduced by previous patch.

Bug: 26962895

Change-Id: Ibb8bd6ec77ee862bb01c26342d3b3024468e75b2
(cherry picked from commit 6e51bef9aa101307523946df301ca90215d0ee82)

simpleperf: fix build by removing off64_t.

Bug: 26962895
Change-Id: I211bacc22c2f6b6b24c639365c706e93d66ce4ac
(cherry picked from commit 41e32ca272f474d35a84a6e7c7f0a28c3160abc3)

simpleperf: report symbols of native libraries in apk file.

Changes included:
1. provide interface in read_apk.h to read build id and symbols.
2. report symbols of native libraries in apk file.
3. refactor code in read_elf.cpp and read_apk.cpp.
4. add verbose log.
5. add -o report_file_name option for report command.
6. add corresponding unit tests.

Bug: 26962895
Change-Id: I0d5398996e0c29dba4a6f5226692b758ca096bbd
(cherry picked from commit b1a885b014540a2f7798b5a35ea0f0ec150d93ee)

simpleperf: accept different perf_attr sizes.

The size of perf_attr can be increased as new features are added. And
we can accept different perf_attr sizes in perf.data, and ignore
unknown features.

Bug: 26962895

Change-Id: Ia42617f92acb3ab6ae56eb91aa0d7b73efc0b8af
(cherry picked from commit dd2ae2878b7e5ac1754da55a08cbcdacadf53d78)

simpleperf: port read_apk and read_apk/read_elf tests to nonlinux.

Also make following small changes:
1. Manage testdata files like libziparchive.
2. Replace StringToPid() with android::base::ParseInt().
3. Add tests in read_elf_test.

Bug: 26962895

Change-Id: I6603e9f3cea3a013e2618ea003790d102739f843
(cherry picked from commit 569f64afd3db2b43003978765b833669f99477d2)

make_ext4_fs: Clean up a few error messages

Change-Id: I269859a2c6beefb154fd483a02b29649416d60f9
Signed-off-by: Mohamad Ayyash <mkayyash@google.com>

Introduce blk_alloc_to_base_fs utility

Converts regular block mapping files into the new base_fs file format
for generating incremental ext4 images

Internal Design Doc: go/incremental-ext4
BUG: 26839493
Change-Id: If8dbb49718226771495c044eb1a8403e99a971fb
Signed-off-by: Mohamad Ayyash <mkayyash@google.com>

Add support for filtering based on app name to pagecache.

Change-Id: I571d254d69a255dd1b9fd7f33d98e7daa4b5ad5f

merge in nyc-release history after reset to nyc-dev

Fix pagemap_test#maps.

We don't necessarily have a brk-based heap.

Bug: http://b/27425642

(cherry picked from commit b2084a55a9e499b8c26b751956078282e12b0609)

Change-Id: Ia5c96fb26a8011c62037f3a3c4cbf44e3b936507

merge in nyc-release history after reset to nyc-dev

Don't define incremental ext4 for windows

Signed-off-by: Mohamad Ayyash <mkayyash@google.com>
Change-Id: I1eba14f7f4db2174de8feaa9d8e5e41524ac1d32

Redesign make_ext4fs to incrementally generate ext4 images

Allows passing a base fs mapping file through -d which preserves the
location of those mapping in existing files

Internal Design Doc: go/incremental-ext4
BUG: 26839493
Change-Id: I05e296693429d39466d257d1d0a3daf00510dc26
Signed-off-by: Mohamad Ayyash <mkayyash@google.com>

Revert "Redesign make_ext4fs to incrementally generate ext4 images"

This reverts commit 3d960843a2260a98c8df5cc39ca0dbf3d675f1a2.

Change-Id: I0fb7d65f094feb4013924685270fc847693b6889

Redesign make_ext4fs to incrementally generate ext4 images

Allows passing a blk mapping file through -Z which preserves the
location of those mapping in existing files

Internal Design Doc: go/incremental-ext4
BUG: 26839493
Change-Id: I447873bf65ae66dab9923e5a11c497f0722750df
Signed-off-by: Mohamad Ayyash <mkayyash@google.com>

merge in nyc-release history after reset to nyc-dev

rtc_time: test agent timeouts

(cherry pick from commit 9258225ece5d6816ddf9a45e45fb694142c32761)

Break the test up into four, keeping each well below the 60 second
timeout for the test agents. Overhead for the splitting up is an
additional 10 seconds in order to complete all four of the tests
instead of one. typical single test completion is 22.5 seconds.

Change-Id: If8e9a6c7dfd505a9fbc73e9248be4eb2b61521e5

Changes for mtp8996

Change-Id: I5fe5c365226087af47aaf7c5a576b7f2622f804d

Track update to bouncycastle 1.54

(cherry-picked from ab9a0c802d88ff47f3467fd66415a27f8f141b19)

Change-Id: I87252e179e191c6210d26e4055bee03fb43d8ba7

merge in nyc-release history after reset to nyc-dev

Merge "Add kernel config tests" into nyc-dev

Add kernel config tests

(cherry pick from commit 7129c7dcd20bf57cf3a64ec224e4ebac81c8cd88)

A simple start to simple day. Check for evidence of following CONFIGs:

CONFIG_MMC_BLOCK_MAX_SPEED=y
CONFIG_IPV6=y
CONFIG_IP_MULTICAST=y
CONFIG_PSTORE=y
CONFIG_PSTORE_CONSOLE=y
CONFIG_PSTORE_PMSG=y
CONFIG_SYSVIPC is not set

ToDo: Evidence for all configs in android/configs/android-base.cfg
      and android/configs/android-recommended.cfg. Most are not
      possible to directly discover, this is performed on a best
      effort basis.

Bug: 19173869
Bug: 26559308
Change-Id: I0447334fab7781579fab10610d2f7ac1d34e6044

merge in nyc-release history after reset to nyc-dev

Encrypt /data/misc

Now we have a workaround for 26989796 (we don't touch /data/misc/vold
thanks to:
    https://googleplex-android-review.git.corp.google.com/#/c/862867
) we can check this in and remove the need for a data wipe when we land
the proper kernel fix for this issue (stop caching negative file lookups
through a key change)

Bug: 26989796
Change-Id: I83e6b8395b2c6a607b692dc9cf71183b13680071

merge in nyc-release history after reset to master

Merge "Add __s32 define." am: 9d63018815
am: 7991c03404

* commit '7991c034048ee5b376a16fb71f9f4b0a3354623d':
  Add __s32 define.

Merge "Add __s32 define."
am: 9d63018815

* commit '9d630188159868589992116dd5d67cecf17bf257':
  Add __s32 define.

Merge "Add __s32 define."

Add __s32 define.

This is needed for the new v4.4.1 kernel headers.

Bug: 23789423
Change-Id: I3053cdf895793c38ff1af41ebb560c13fda23215

Add methods to get and ensure encryption policy.

The ensure call will either assign an encryption policy, or verify
that an existing policy matches the expected value.  Uses the new
logging library so that customers can pivot logs into whatever
location they want: vold into logcat and init into dmesg.

Also add new directories that will have user-specific encryption
policy set on them so we avoid setting the default policy.

Bug: 25796509
Change-Id: Ia535630092822c80cde0939d8e46e6b47d9be2d8

Remove unencrypted properties

Change-Id: I59596be7c7df9151f4966a5051f06bcb087345dd

merge in nyc-release history after reset to master

Merge "Support profiling of shared libs embedded in APKs." am: 4a5dafcc30
am: 615711f7ca

* commit '615711f7ca31518f72392d79d8a8aff3efb4ae34':
  Support profiling of shared libs embedded in APKs.

Merge "Support profiling of shared libs embedded in APKs."
am: 4a5dafcc30

* commit '4a5dafcc3093d55fc9d135b9a18c73bd96bcf3b1':
  Support profiling of shared libs embedded in APKs.

Merge "Support profiling of shared libs embedded in APKs."

merge in nyc-release history after reset to master

Merge "Stop living in the \'80s." am: 1a5e41d3a1
am: 3778bcf5b3

* commit '3778bcf5b36fe0bd4f48a930fa0a68020e912803':
  Stop living in the '80s.

Merge "Stop living in the \'80s."
am: 1a5e41d3a1

* commit '1a5e41d3a1a7c1289503643d88748516649383ed':
  Stop living in the '80s.

Merge "Stop living in the '80s."

Stop living in the '80s.

Build fix for GCC.

Change-Id: I2215913647a95897dc39b862696e395a1ebcf208

Merge "Fix warnings in system/extras." am: 4eb09a62f2
am: 1b0f797a72

* commit '1b0f797a7274737468be7259ed9fde448b54af14':
  Fix warnings in system/extras.

Merge "Fix warnings in system/extras."
am: 4eb09a62f2

* commit '4eb09a62f2fc5f29747afd199dd1072d949b4892':
  Fix warnings in system/extras.

Merge "Fix warnings in system/extras."

Fix warnings in system/extras.

Bug: http://b/26936282
Change-Id: I1b9c6c9bb06944c32abcb871279d056eea0fb11a

Support profiling of shared libs embedded in APKs.

Some APKs contain shared libraries that the linker handles
by mmap'ing directly from their APKs (if the library is
uncompressed and the proper manifest flag is set). With
this patch simpleperf now breaks out samples on a per-li
basis and reports the name of the lib within the APK.
Example output:

  Cmdline: /system/xbin/simpleperf record -a sleep 30
  Samples: 140672 of event 'cpu-cycles'
  Event count: 84111474884

  Overhead  Command          Pid    Tid    Shared Object
  90.22%    b_open_from_apk  19066  19066
  /data/app/com.android.frameworks.coretests.install_jni_lib_open_from_apk-2/base.apk!lib/armeabi-v7a/libgcdstuff.so
  4.85%     b_open_from_apk  19066  19066
  /data/app/com.android.frameworks.coretests.install_jni_lib_open_from_apk-2/base.apk!lib/armeabi-v7a/libframeworks_coretests_jni.so
  1.19%     simpleperf       19085  19085  /system/lib/libc.so
  ...

Bug: 22560619
Change-Id: I1e0f2e155e03b33935eac24e104c3fd7b9a7e33c

Merge "Remove e4crypt_non_default_key"

Merge "Fix/suppress potential memory leaks warnings." am: dd681db9a7
am: 350c15c642

* commit '350c15c6422e80be1fd1da7cb5849c1de2aca51c':
  Fix/suppress potential memory leaks warnings.

Merge "Fix/suppress potential memory leaks warnings."
am: dd681db9a7

* commit 'dd681db9a7978abeb783af206406cfcae0b8514d':
  Fix/suppress potential memory leaks warnings.

Merge "Fix/suppress potential memory leaks warnings."

Fix/suppress potential memory leaks warnings.

* One simple problem fixed by calling free.
* Others are suppressed since we don't care memory leaks
  in this soon-to-be-obsolete test program.

BUG: 26910807
Change-Id: I5ac10115db9644b53e9e8b5fd40a5dc87b2019dc

Remove e4crypt_non_default_key

Change:
        https://googleplex-android-review.git.corp.google.com/#/c/857155

means this is no longer called since it is assumed always to be false

Change-Id: I12755ca26e33b8eeafaab3b5373a2d0f1c7abf46

merge in nyc-release history after reset to master

merge in nyc-release history after reset to master

Merge "simpleperf: use RemoveFileIfExists in libbase." am: ab8ec9ca0e
am: b138c1e1d2

* commit 'b138c1e1d2c47f4a9ea36ec5252083fa17e916b0':
  simpleperf: use RemoveFileIfExists in libbase.

merge in nyc-release history after reset to master

Merge "simpleperf: use RemoveFileIfExists in libbase."
am: ab8ec9ca0e

* commit 'ab8ec9ca0e96425b22867deb311fe9dde3db14ea':
  simpleperf: use RemoveFileIfExists in libbase.

Merge "simpleperf: use RemoveFileIfExists in libbase."

simpleperf: use RemoveFileIfExists in libbase.

Change-Id: Ife16103a5ec86cc6ee2aee4838d1a56a91f54516

Merge "Give init the means to invoke "cryptfs init_user0""

Give init the means to invoke "cryptfs init_user0"

Init needs to initialize user 0 for FBE devices via a vdc command.

Bug: 26704408
Change-Id: Ide6d1fdcb55e87c22820310c6d1cf9640e77d25e

Add support for per-user DE keys.

Bug: 26704408
Change-Id: I41b2d0641cce8db9e6b98e6e2f0c635426b1d1e2

merge in nyc-release history after reset to master

merge in nyc-release history after reset to master

Merge changes I3b881be8,I80d97bd5,Id115e8b2 am: b764f45fd9
am: 91dcd99d9e

* commit '91dcd99d9ebee7c0a41416fc7ea3fe74aa4a7f34':
  Fix lint warnings.
  Note a 3.18 commit in neighbour_test.py.
  SOCK_DESTROY is no longer optional.

Merge changes I3b881be8,I80d97bd5,Id115e8b2
am: b764f45fd9

* commit 'b764f45fd9758c8222bc08d7fa4944e8f7da6f40':
  Fix lint warnings.
  Note a 3.18 commit in neighbour_test.py.
  SOCK_DESTROY is no longer optional.

Merge changes I3b881be8,I80d97bd5,Id115e8b2

* changes:
  Fix lint warnings.
  Note a 3.18 commit in neighbour_test.py.
  SOCK_DESTROY is no longer optional.

Fix lint warnings.

Change-Id: I3b881be8b665ba790e7da79b3560c159d72be1e2

Merge "Remove header from LOCAL_SRC_FILES" am: 1287f6e0af
am: 6d88789b92

* commit '6d88789b9268b8d9036bb5dd326a99831980d21e':
  Remove header from LOCAL_SRC_FILES

Merge "Remove header from LOCAL_SRC_FILES"
am: 1287f6e0af

* commit '1287f6e0afe146657a7d48167710947447e8693f':
  Remove header from LOCAL_SRC_FILES

Merge "Remove header from LOCAL_SRC_FILES"