iotop: add major/minor fault stats

Provide major/minor fault stats.

It would be helpful to see per-process memory consumption speed.
It is also useful to see read IO caused by major fault, which
is critical for app latency.

Bug: 114325007
Test: iotop -h
Test: iotop -m 10 -s faults
Change-Id: If9670a4efe76bcd67b9caedb3427b69896ebed17
Signed-off-by: Minchan Kim <minchan@google.com>
[Added sorter for major+minor faults]
Signed-off-by: Sandeep Patil <sspatil@google.com>

Merge "Add /data/preloads to directories that don't need to be encrypted."

Add /data/preloads to directories that don't need to be encrypted.

There is no user data here, just preload data.

Test: make
Change-Id: I2bd65a15ace50c4d1dc4bc4c3f3d4294f77d2c18

Merge "simpleperf: update simpleperf prebuilts to build 5176246."

simpleperf: update simpleperf prebuilts to build 5176246.

Taken from branch aosp-master.

Bug: none
Test: run test.py on linux/windows on Android N/O/P.

Change-Id: I13326a3f9984006442c33ae24d34e3fd9cb46616

Merge "Use libdexfile external API in simpleperf."

Merge "simpleperf: fix binary_cache_builder.py."

Merge "simpleperf: update build.gradle in demo apps."

Merge "simpleperf: fix reading symbols from multidex apk."

simpleperf: fix binary_cache_builder.py.

Fix two exceptions caused by empty binary name.

Bug: none
Test: run python3 test.py.
Change-Id: If559a9c71a8af217fa8d127e634b85d9f6383ee4

simpleperf: update build.gradle in demo apps.

Bug: none
Test: build apps.
Change-Id: I8b41e70b17f462f2272ed8eb32c8ca087243cc3e

simpleperf: fix reading symbols from multidex apk.

Bug: none
Test: run simpleperf_unit_test.
Change-Id: I04715ff7abe22819b30881d73706fb59cd5521ea

Use libdexfile external API in simpleperf.

Test: device boot
Test: atest system/extras/simpleperf/ (lots of failures, but no new ones. 4 of 4 passed in simpleperf_unit_test)
Test: mmma system/extras/simpleperf && adb root && adb shell rm -rf /data/test && adb push out/target/product/taimen/testcases/simpleperf_unit_test /data/test && adb shell /data/test/arm64/simpleperf_unit_test && adb shell /data/test/arm/simpleperf_unit_test
Bug: 119632407
Change-Id: Id070b8a99cb4d3bf4ec90cae186a2e88bcec72a1

Merge "lpdump: Automatically read from super when used directly on devices."

lpdump: Automatically read from super when used directly on devices.

It's confusing to figure out how to invoke lpdump, especially on
retrofit devices. It should just do the correct thing automatically
when no arguments are passed.

Bug: N/A
Test: lpdump on retrofit device
Change-Id: I0563c10ff276763710fa0a4fb9918a2515f9d054

Merge "libfscrypt: Add Adiantum support"

libfscrypt: Add Adiantum support

Adiantum is a crypto method Android is supporting for devices
which don't have AES CPU instructions.  See the paper
"Adiantum: length-preserving encryption for entry-level processors"
(https://eprint.iacr.org/2018/720.pdf) for more details.

We add Adiantum to our list of supported encryption modes.

Bug: 112010205
Test: Tested on a device
Change-Id: I405ed454be1a447b7405417a05ddfd92a912bcb7

Merge "Fix performance-for-range-copy warnings"

Merge "Fix cert-dcl16-c clang-tidy warnings."

Fix cert-dcl16-c clang-tidy warnings.

Bug: 120614316
Test: make with WITH_TIDY=1 DEFAULT_GLOBAL_TIDY_CHECKS=-*,cert-dcl16-c
Change-Id: Ib341908467f11ed5fccd6eddb8909fe5170fea9e

Fix performance-for-range-copy warnings

Bug: 30413223
Test: make with WITH_TIDY=1 DEFAULT_GLOBAL_TIDY_CHECKS=-*,performance*
Change-Id: I94c2456e8ef958abcb0909871fb772dd67060dfc

Merge "Introduce a no-perfprofd module."

Introduce a no-perfprofd module.

This module creates a dummy binary that can be used to replace
perfprofd on some build products. Its intended (temporary) use is to
regain some space on the system partition of storage-constrained
products such as marlin-eng and sailfish-eng.

Test: lunch marlin-eng && make systemimage
Bug: 113373927
Change-Id: I16ec9029786ce2d136c353fe00a48bdfdd9ad7a0

Merge "Merge pie-platform-release (PPRL.181105.017, history only) into master"

Merge "C++17 is the default now."

Merge pie-platform-release (PPRL.181105.017, history only) into master

Bug: 118454372
Change-Id: I4b5e4e99649250b4bd65e780925c5fc3001fe710

C++17 is the default now.

Test: builds
Change-Id: Icf8522c00e78a7c05a7cb86d052858bb9ebd4afc

Merge pi-qpr1-release PQ1A.181105.017.A1 to pi-platform-release

Change-Id: I171c9c28f68e3f26e173dca9dc3fe0bb1bd68c95

Merge "make_f2fs: use -g android by default"

make_f2fs: use -g android by default

Bug: 119875846
Change-Id: Iba2c969b46614376a99d882a207489227e7bbfbd
Signed-off-by: Jaegeuk Kim <jaegeuk@google.com>

Merge "Convert blk_alloc_to_base_fs to Android.bp"

Merge "Allow empty value in property node"

Allow empty value in property node

Bug: 110166984
Test: libperfmgr_test
Change-Id: I43c03794f525770f090288216d76f7abbd788805

Convert blk_alloc_to_base_fs to Android.bp

See build/soong/README.md for more information.

Also remove a useless HOST_OS check -- HOST_OS will always be either
linux or darwin, we don't support building directly on windows.

Test: m blk_alloc_to_base_fs
Change-Id: I13927de82ff769cf3692b58b9432fb79c856b8d3

Merge "lpdump: Show block device and group flags."

lpdump: Show block device and group flags.

Bug: N/A
Test: manual test
Change-Id: I6063fc416eef130e4c29168d9a265cc29f462b38

Merge "switch to using android-base/file.h instead of android-base/test_utils.h"

switch to using android-base/file.h instead of android-base/test_utils.h

Test: compile
Bug: 119313545
Change-Id: I664fb32522d01909c603d7b903475c4e9aea9223

Merge "Make preloads_copy.sh a module"

Merge "lpdump: Allow reading local partition images."

Merge "simpleperf: fix a bug setting symfs dir."

lpdump: Allow reading local partition images.

PartitionOpener expects a partition name, but for debugging, lpdump
should be able to open a local file too.

Bug: N/A
Test: manual test
Change-Id: I85f6ce7f3508cf4343d89ea368309a6e960af938

simpleperf: fix a bug setting symfs dir.

Bug: 119438870
Test: run simpleperf_unit_test.
Test: run simpleperf manually.

Change-Id: I2f7ca659dc3a9833650f326ff5560fef44e769a5

Make preloads_copy.sh a module

Make this new module required by cppreopts.sh. This allows removing
the duplicated PRODUCT_COPY_FILES directive for a bunch of devices
that import both.

Also fix some comments in the script.

Bug: 80508492
Test: lunch aosp_blueline-userdebug; m
Change-Id: I804fc17c43274683716a8c9bb3360ac624a80882

Merge "lpmake: Allow writing split super images."

Merge "partition_tools: Update for auto-slot-suffixing."

lpmake: Allow writing split super images.

To use this mode, the build must be a retrofit build and --output should
be a folder rather than a file.

This also fixes a bug in lpdump where it refuses to dump full super.img
images on the host.

Bug: 118887112
Test: manual test
Change-Id: I3318684fbea6fe67bfa171001beea3a5c560fbab

partition_tools: Update for auto-slot-suffixing.

lpmake: Add --auto-slot-suffixing for retrofit builds.
lpdump: Show the slot-suffixed flag when dumping super_empty.

Bug: 116802789
Test: manual test
Change-Id: I65e1d4d6922d117b9dcdbfbf9ced045c97549e59

Merge "Fix logging output"

Fix logging output

Test: Build
Change-Id: Idcb86b511412137e4ef14cae9c17aa36fd2dbbc8

Merge "Mark libverity_tree as recovery_available for update_engine_sideload"

Merge "simpleperf: fix simpleperf_unit_test on windows."

simpleperf: fix simpleperf_unit_test on windows.

Fix test failures caused by path separator and newline character.

Bug: 117568547
Test: run simpleperf_unit_test on windows.
Change-Id: I0522268368a2288893ecd52f505382c512d1d7c9

Merge "partition_tools: Update for multiple block device support."

Merge changes from topic "e4crypt_to_fscrypt"

* changes:
  libfscrypt: get the fscrypt kernel API declarations from linux/fs.h
  Refactor "ext4 encryption" code into libfscrypt

partition_tools: Update for multiple block device support.

lpmake: Support multiple block devices in super. This adds a --device
command that can be used to span super across multiple block devices.
Example:

    lpmake --device "system_a:10240000:0:0"
           --device "vendor_a:5120000:0:0"
           --device "product_a:2560000:0:0"
           ...

lpdump: Display the block device for each extent.

Bug: 116802789
Test: manual test of lpmake
Test: lpdump /dev/block/by-name/super
Change-Id: I2e0ec54daf3b4fde04115ea646a7622426f67496

libfscrypt: get the fscrypt kernel API declarations from linux/fs.h

bionic now has linux/fs.h from the 4.14 kernel, which has the fscrypt
kernel API declarations.  Replace the manual declarations in libfscrypt,
except for the mode numbers which are not supported by the upstream
kernel.

Test: built, booted device with f2fs encryption
Change-Id: I6c663813828e3e0639d9be4298bff2bd4ec36c66

Refactor "ext4 encryption" code into libfscrypt

File-based encryption related code no longer belongs in ext4_utils, as
it is now used on both ext4 and f2fs, since both filesystems share the
same kernel API for encryption.  Refactor it into its own library,
libfscrypt.

Note that the keyring is renamed from "e4crypt" to "fscrypt", which is
technically a user-visible change, but as far as I know nothing depends
on it other than vold which is being updated too.

Test: built, booted device with f2fs encryption
Change-Id: I3c302564262412a5d5e672bd213e7cfada5f49cc

Merge "Fix variable unpacking mismatch in bootanalyze.py"

Fix variable unpacking mismatch in bootanalyze.py

Fix for the below mismatch that I've seen in recent boot time runs

BootAnimEnd time or BootComplete-kernel not captured in both log,
cannot get time diff
    main()
  File "system/extras/boottime_tools/bootanalyze/bootanalyze.py", line 123, in main
    error_time, components_to_monitor)
ValueError: need more than 4 values to unpack

Test: no unpack mismatch in recent runs
Change-Id: I4d39453964b9b4036d6c0aaff6cac1b030865445

Merge "partition_tools: Update lpdump for metadata format changes."

Merge pie-platform-release to aosp-master - DO NOT MERGE

Change-Id: Id7b62baaf4af7826840284c5ff4c7a96046660d0

Merge "libpagemap: pm_map: skip pages that are neither present nor swapped."

Merge "Add preloads_copy script"

Merge "libperfmgr: update to c++17 and add tidy rule"

Add preloads_copy script

Copied from device/google/crosshatch, to serve as the canonical
location for this script to be shared between devices.

Bug: 80508492
Test: make
Change-Id: I567c785af0a690fbbba3df0553922735b96f7390

libperfmgr: update to c++17 and add tidy rule

Test: libperfmgr_test
Change-Id: If8162ebc1eb9489429e7f9792b3422f3ae46093b

libpagemap: pm_map: skip pages that are neither present nor swapped.

The pm_map_workingset() code needlessly iterates through all the pages
in the map regardless of whether they are actually present or not. Fix
that by skipping the page if its not swapped AND not present.

Bug: 111694435
Test: procmem -h -w 1

Change-Id: I8f16e8c516a5272ebeaa537c07b08ae9f41b73ca
Signed-off-by: Sandeep Patil <sspatil@google.com>

Mark libverity_tree as recovery_available for update_engine_sideload

Test: build update_engine_sideload
Change-Id: I9a77e5e45f5acb0e7e3be0b6b080997c2b110691

Merge "libperfmgr: clean up log format"

libperfmgr: clean up log format

Test: Build and libperfmgr_test passed
Change-Id: Ie0bf6c49f1d3f2660729b4fea9bb8aab30eea154

partition_tools: Update lpdump for metadata format changes.

Bug: 116802789
Test: lpdump super_empty.img
Change-Id: I62cd28333413897e30a4673b7f97490c984f6611

Merge "HintManager: Fix verbose message output"

HintManager: Fix verbose message output

The << bitshift operator has a higher precedence than the
ternary ?: conditional operator.  Thus, we need to use parentheses
to make sure we get "true" or "false" output as desired.

Test: TreeHugger
Change-Id: Iaa6e3e36e4944aa535b10490624332efba8f8a2f

Merge "libperfmgr: Add a new type of node to manage property"

libperfmgr: Add a new type of node to manage property

PowerHAL sometimes need set properties, adding a new type of node to
support this usage.

Change-Id: I0c04df831d10f16a37f6ae5ae234a9ef34fc5f54
Merged-In: I18a4a50993e262c59460dc5e6cbace22b2b50047
Fixes: 116731391
Bug: 110166984
Test: Add new unit tests and libperfmgr_test passing

Merge "libfec: Drop the extern "C" wrapping."

libfec: Drop the extern "C" wrapping.

squashfs_utils.h does it in its header.

Test: `mmma -j system/extra/libfec`
Change-Id: I8cc4b5e281fe5649cbb92021285e05e8a5f28ebf

Merge "simpleperf: handle memfds created by memfd_create."

simpleperf: handle memfds created by memfd_create.

memfds can be created by ART to store jit code. Map records of them
can override map records of jitted methods. So omit them.

Bug: none
Test: run simpleperf_unit_test.
Test: run simpleperf manually.
Change-Id: Ie800ecfea8f0c0d7de8cee452fb1553c30de22e1

Merge "partition_tools: Update lpdump to build against liblp changes."

Merge "Revert "simpleperf: enforce clockid support in Android Q.""

Revert "simpleperf: enforce clockid support in Android Q."

This reverts commit 4bf4bfaafdfb264ded7f4f9aeb6ad874dbe179d5.

Reason for revert: it requires new kernel features in upgrading devices.

Bug: 115760286
Change-Id: I391562560e5f1ad93f2cce7f784eae1108e680a9

partition_tools: Update lpdump to build against liblp changes.

Bug: 116802789
Test: mm lpdump
Change-Id: If559c07e403fdeddc3a44e2cad7e5435bdd71ca6

Merge PPR2.181005.003 from pi-release-2 into pi-platform-release.

Change-Id: I33214d649d8c198193394f9a1551c17485ce1f68
BUG: 117431430

Merge "Perfprofd: Introduce libsimpleperf_dex_read and read vdex files"

Merge "Add noexcept to move constructors and assignment operators."

Add noexcept to move constructors and assignment operators.

Bug: 116614593
Test: build with WITH_TIDY=1
Change-Id: I92ae7348e51e0610cef54b80087189bb1fe5b12c

Merge "Simpleperf: Use defaults to pass static libs"

Merge "Add new parameter for creation of MapInfo object."

Merge "Simpleperf: Add enh to OWNERS"

Merge "partition_tools: Remove references to partition guid."

Simpleperf: Add enh to OWNERS

Change-Id: I9935bee245c05c09f52bd903b14c6879dd96477d
Exempt-From-Owner-Approval: Adding owner
Test: N/A

partition_tools: Remove references to partition guid.

Bug: 117229984
Test: builds with PRODUCT_USE_LOGICAL_PARTITIONS=true
Change-Id: Ibba49f7a066fd190f8431253302f1437f07ba6dd

Merge "Add /data/apex to directories that don't need to be encrypted."

Add new parameter for creation of MapInfo object.

Bug: 109657296

Test: Unit tests pass.
Change-Id: Ifa7ac689467b10728bfbbbfae0c6f78b20b78cda

Merge "partition_tools: Add support for partition groups."

Add /data/apex to directories that don't need to be encrypted.

There's no user data there, just code.

Bug: 112455435
Test: Using an APEX with Direct I/O in /data/apex works again
Change-Id: I5e5557445ea5d638d2dfc4db7d782ee2da207bc1

partition_tools: Add support for partition groups.

lpmake: Add a new -g/--groups parameter to add partition groups. The
syntax is name:size. In addition, a fifth argument can be added to
-p/--partition, to specify a group for that partition. Example:

  lpmake --group google:102400000 \
         --partition system:UUID:readonly:4096:google

In addition, lpdump will now display the groups table and group
assignments.

Bug: 116817738
Test: lpmake with --groups
      lpdump new partition table

Change-Id: Ic1eb995f3bcf5abc7be180ac03c8ba4b82a10045

Merge "verity: Support partial blocks in Update()."