Merge "ext4_utils: fix crash when filesystem size is too small"

ext4_utils: fix crash when filesystem size is too small

make_ext4fs crashes if size is less than block size or less than
header size (super block + descriptors + bitmaps). Check the size
and return errors.

Test: run make_ext4fs with small sizes
Bug: 36576677
Change-Id: I61d92e280cdf290054fadda5a045fc839c6fd8fe

Merge "simpleperf: update simpleperf prebuilts to build 3839284."

simpleperf: update simpleperf prebuilts to build 3839284.

Taken from branch aosp-master.
And remove update.py from the distribution.

Bug: http://b/35726123
Test: run pprof_proto_generator.py.

Change-Id: I9b8e0c2f804c5e61ef1c9b1eb1aa626d0d849f64

Merge "simpleperf: add new scripts in sdk artifacts."

simpleperf: add new scripts in sdk artifacts.

Bug: http://b/35726123
Test: run `make sdk -j30`.
Change-Id: I1515afc0d69dbbcc3756b7d93b738039a1174571

Merge "simpleperf: add script to generate proto data used by pprof."

simpleperf: add script to generate proto data used by pprof.

Also change Addr2Line to support inline functions.

Bug: http://b/35726123
Test: run gen_pprof_proto.py manually.
Change-Id: Ia2f84ac142e7075ea902f3456235db24567e4fcd

Merge "fstest: replacing fs_mgr_read_fstab() with fs_mgr_read_fstab_default()"

Merge "Replacing fs_mgr_read_fstab() with new fs_mgr APIs"

Replacing fs_mgr_read_fstab() with new fs_mgr APIs

The fstab settings of early-mounted partitions (e.g., /vendor)
will be in kernel device tree. Switch to the new API to get the
whole settings with those in device tree:

    fs_mgr_read_fstab_with_dt("/fstab.device")

The original default /fstab.{ro.hardware} might be moved to
/vendor/etc/. or /odm/etc/. Use another new API to get the default
fstab instead of using the hard-coded /fstab.{ro.hardware}.
This API also includes the settings from device tree:

    fs_mgr_read_fstab_default()

Bug: 35811655
Test: build pass
Change-Id: I14bee88b9f599b7bbc2be56042684709e5946de2

fstest: replacing fs_mgr_read_fstab() with fs_mgr_read_fstab_default()

The original default /fstab.{ro.hardware} might be moved to
/vendor/etc/. or /odm/etc/. Use the new API to get the default
fstab instead of using the hard-coded /fstab.{ro.hardware}.

Bug: 35811655
Test: boot sailfish
Change-Id: Ie11a4f22ed449ef90cbcc7117227a99ea9d79110

Merge "Separate system_version and product_version."

Separate system_version and product_version.

system_version will be at /etc/os-release.d/system_version, no symlink.
product_version still at oem partition, but now has only one number.

Bug: 35364984
Test: m droid dist oem_image custom_images -j
Change-Id: If0f357d29c8dd0cec1ff4999a3c42b0362a45c01
(cherry picked from commit 9b173cccb8bdb750d4cf7855e5379ceee5ba030f)

Merge "simpleperf: adjust sample_freq based on max_sample_rate file."

simpleperf: adjust sample_freq based on max_sample_rate file.

Starting from kernel 4.4, perf_event_max_sample_rate can be
adjusted dynamically by the kernel to limit the cpu percentage
used to dump records.

Bug: http://b/35554543
Test: echo 100 >/proc/sys/kernel/perf_event_max_sample_rate &&
Test: run CtsSimpleperfTestCases
Change-Id: I75f6cbc124c545d05fd56b07c6a868b7ca15cd8a

Merge "Put product_id and product_version to OEM partition."

Put product_id and product_version to OEM partition.

Also create symlinks for each entry in /etc/os-release.d to its corresponding
location in /oem/os-release.d.

Test: m installclean && m droid oem_image dist
Bug: 32555385
Bug: 33211225
Bug: 35804180

(cherry picked from commit 8de8ac139aa289f22f5326af2805a64c0b6bd410)
(cherry picked from commit 4c6f2be8720829eaf8681bcf584f1064e735fa7c)

Merge "Remove references to kernel macros."

Merge "simpleperf: fix a small error."

simpleperf: fix a small error.

Test: run binary_cache_builder.py.
Change-Id: I78b16b012bba641f82b33b936c94a1acd5bdf275

Remove references to kernel macros.

The macros __force, __bitwise, __user are related to a kernel tool called
sparse to find kernel bugs. These macros are always defined as nothing
in the current uapi kernel header files, so these don't need to be here.

Change-Id: Ia29b0ddbe80298dc19b170c927f1910e14af2c6b
Test: Builds without warnings/errors.

Merge "simpleperf: generate one report for each event attr."

Merge "simpleperf: add --raw-period option for report cmd."

simpleperf: add --raw-period option for report cmd.

Bug: http://b/35475170
Test: run simpleperf_unit_test.
Change-Id: Ib5bae0b775ac2a3e647b7724df01ce0b8deb1a38

simpleperf: generate one report for each event attr.

Bug: http://b/35475170
Test: run simpleperf_unit_test.
Test: run report.py.
Change-Id: Ie9329a64c701bce38f7b440c16cb47e99e83db45

Merge "simpleperf: build libsimpleperf_inplace_sampler library."

Merge "Use interfaceDescriptor instead of interfaceChain"

Use interfaceDescriptor instead of interfaceChain

wherever suits. Sementically, interfaceDescriptor
returns the first element of interfaceChain; use
interfaceDescriptor when the rest of the elements
aren't used.

Bug: 34136228

Test: pass
Change-Id: Icc78e7e9b17b7c51c705c20d51c2fbac5b1c5dd7

Merge "Remove external/openssl/include from verity include path."

Merge "bootctl: Return<T> is non-copyable."

Remove external/openssl/include from verity include path.

Bug: N/A
Test: builds
Change-Id: I7f13cd6c3edcff436676e93ca305e07ba6a92b08

bootctl: Return<T> is non-copyable.

By copying the Return<T> in handl_return, the original
Return<T> object is left status unchecked when it is destroyed.

Test: compiles
Change-Id: I7bf21370e8323374deb9a8d3f252e9742357f000

Merge "simpleperf: build cts test running in app context."

Merge "fix potential leak of memory pointed."

simpleperf: build cts test running in app context.

When built for cts test, the test binary uses run-as to move itself
to the data directory of debuggable app 'com.android.simpleperf',
and run the tests in app context using run-as.

Bug: http://b/18790309
Test: run cts-tradefed, 'run everything -m CtsSimpleperfTestCase'.
Change-Id: I523470bb8062cb944b44dc6f264a8b1c14221b62

simpleperf: build libsimpleperf_inplace_sampler library.

libsimpleperf_inplace_sampler.so is a library linked with
user's app. It opens a unix socket server and waits for
simpleperf's profiling request. This patch doesn't contain
code generating real samples, instead it uses a fake sample
for testing.
Add runtest for 32bit. Increase runtest duration to 2 seconds
and adjust some args in runtest.conf to make test result stable.
Fix one tiny error in cmd_report.cpp to report correctly
in `report --sort comm,symbol`.

Bug: http://b/30974760
Test: run simpleperf_unit_test.
Test: run runtest.py.
Change-Id: I58163fe47f62e6ba7dd684b33a2ce302feb880f5

Merge "simpleperf: fix an error in checking monitored targets."

simpleperf: fix an error in checking monitored targets.

Bug: http://b/30974760
Test: run simpleperf_unit_test.
Change-Id: Ib3b5772468f0d67f54859d7dff15f66b567fac95

Merge "SquashFS whitelist support."

Merge "ext4_utils: allow passing flash block sizes to make_ext4fs_sparse functions"

SquashFS whitelist support.

Support for specifying a (whole file) whitelist to mksquashfs, so that
frequently read in files will not be compressed.
Bug: 28605313
Signed-off-by: Mohan Srinivasan <srmohan@google.com>
Change-Id: I07c848266ed656b7df3daf7f0e3569f5c9012280

fix potential leak of memory pointed.

This fixes the warning
warning: Potential leak of memory pointed to by field 'bench'

Bug: None
Test: The warning is gone.
Change-Id: Ief00a2f040b0a9700040e1c13856f24e3e7c817d

ext4_utils: allow passing flash block sizes to make_ext4fs_sparse functions

Add versions of make_ext4fs_sparse_fd() and
make_ext4fs_sparse_fd_directory() that accept flash erase & logical
block size as arguments. Refactor to avoid copied code in the new
aligned versions of each function.

Test: Pass block sizes to new functions using fastboot -w and check
that the new userdata has the correct stride and stripe-width values.
Bug: 33243520
Signed-off-by: Connor O'Brien <connoro@google.com>
Change-Id: I16da6e0ce699439c53d1a722c6d56eb3f9cd9bc5

Merge "simpleperf: add inplace-sampler event type."

simpleperf: add inplace-sampler event type.

Add inplace-sampler event type, so it can be used in
record/list command. This cl doesn't add code for communicating
with profiled process, and fake records in InplaceSamplerClient.cpp
for testing purpose.
Refactor runtest.py to test inplace-sampler profiling.

Bug: http://b/30974760
Test: run runtest.py --inplace-sampler.
Change-Id: I92d8b03583c58b3589207f5c655e03853899be3a

Merge "Add permission bits to open with O_CREAT."

Merge "Fix clang static analyzer warnings."

Add permission bits to open with O_CREAT.

It's an error to pass open O_CREAT without giving it mode bits:
https://linux.die.net/man/3/open

Given that we never seem to do anything with the file but delete it,
0600 seems fine.

Bug: 32073964
Test: Now builds with clang FORTIFY.
Change-Id: Ia68463144b32475a470d39530a1fcaa0b52825ca

Merge "Add libbase dependency for recovery_test/boot_control_copy"

Add libbase dependency for recovery_test/boot_control_copy

It requires libbase due to fs_mgr is using <android-base/logging.h>

Bug: 34336098
Test: compile

Change-Id: I120a8f6c7e7bf052081e8c97a358384665927088

Merge "Use LOCAL_TEST_DATA for test data"

Merge "Do not add macro min() definition for C++"

Merge "Convert several libraries to soong."

Merge "ext4_utils: Change to base/logging in ext4_crypt_init_extensions"

Do not add macro min() definition for C++

It will have build error when the caller also includes <algorithm> in C++:
  external/libcxx/include/__undef_min_max: macro min is incompatible with C++

Bug: 34336098
Test: builds

Change-Id: I984a24a8dfce6da5a1ad52594ef94ed97c67e9b8

Merge "Allow passing flash block sizes to libext4_utils"

Allow passing flash block sizes to libext4_utils

Flash erase & logical block size can be used to tune the stride
and stripe_width parameters. Add make_ext4fs_directory_align,
which takes these sizes as arguments.

Test: Factory reset marlin, confirm userdata params are set correctly
Bug: 33243520
Change-Id: Ic8343cff221f0e203a463370a4f1be5ee191946d
Signed-off-by: Connor O'Brien <connoro@google.com>

Merge "slideshow: Track the minui callback API change."

Convert several libraries to soong.

This patch coverts libfec and its dependencies to soong. This also
updates the name of the libext2_uuid-host library removing the "-host"
suffix as that is also being converted to soong.

Also create a shared library for libfec given that it has quite a few
dependencies.

Bug: 34284069
Test: mmma system/extras; make checkbuild

Change-Id: Ib3ada6420bae32418a02ca92db664d0d24214e2f

Merge "Add instrumentation test support to app_profiler.py"

Merge "Add gitignore for pyc files"

Add instrumentation test support to app_profiler.py

Bug: 32834638
Test: manual runs of app_profiler.py

Change-Id: I9bd3741ffed4f765ddc4cdb7cf56f0772f87ffcb

Add gitignore for pyc files

Test: manual - ran app_profiler.py

Change-Id: I2f6b78bd7ed1200af4fe66a3fcaa8a08ef261576

Merge "bootctrl HAL uses "default" service name"

Merge "simpleperf: profile non-debuggable apps on rooted devices."

simpleperf: profile non-debuggable apps on rooted devices.

run-as requires apps to be debuggable. But on rooted devices,
we can profile non-debuggable apps by running as root.

Bug: http://b/32834638
Test: run app_profiler.py.
Change-Id: I7cc44893fd4a67593b4f1791fb7fb4a70fd273e9

Merge "Set stripe_width and stride params in make_ext4fs"

bootctrl HAL uses "default" service name

The getService() and registerAsService() methods of interface objects
now have default parameters of "default" for the service name. HALs
will not have to use any service name unless they want to register
more than one service.

Test: builds; verify HAL still works

In support of b/33844934

Change-Id: Iba190c717cf02d2dfe90b470f82b6ca4a82b6c07
Merged-In: Idc2c5ba09f2486ff9cc9815d72a7e5a0af323b22

Set stripe_width and stride params in make_ext4fs

If available, make_ext4fs will use flash erase & logical block
sizes to tune stride and stripe_width.

Test: Build userdata w/ make_ext4fs, flash, check stride & stripe values
Bug: 33243520
Change-Id: I54f95d822cc1ccc0ebb5edec023560cd9e30e259
Signed-off-by: Connor O'Brien <connoro@google.com>

ext4_utils: Change to base/logging in ext4_crypt_init_extensions

Test: on device
Bug: 34256270
Change-Id: Idd560ff5662c6c2d646a80f47b4ad8a6bf9a0970

slideshow: Track the minui callback API change.

Needs the matching change in bootable/recovery.

Test: mmma system/extra/slideshow
Change-Id: Id82bee220b69b154fa1816766f58dbde4d718e8c

Merge "ext4_utils: add logging in forked command"

Use LOCAL_TEST_DATA for test data

LOCAL_TEST_DATA will install the test data alongside the test, for
both a local build and when building for the continuous testers.
Ues it instead of hacking the test data into the binary.

Test: simpleperf_unit_test
Change-Id: I330e5a505d5bf6f65d0e283830da6f51f4bf2560

ext4_utils: add logging in forked command

Bug: 33786699
Test: manual

(cherry picked from commit 8040206d8c2ff8ffcb219fb2da426d8f00887c1f)

Change-Id: If922ebbfed7c7ba2fa296de5f3c46909970cfbb5

Merge "Pass stripe_width and stride parameters to mke2fs"

Merge "simpleperf: Update document for scripts."

Pass stripe_width and stride parameters to mke2fs

If available, use flash erase & logical block sizes to tune stride
and stripe parameters to mke2fs.

Test: Built & flashed userdata; checked stride & stripe values
Bug: 33243520
Merged-In: I07319a0bc3d3418b1f4e74e61b10e02dc78fb4db
Change-Id: I07319a0bc3d3418b1f4e74e61b10e02dc78fb4db
Signed-off-by: Connor O'Brien <connoro@google.com>

simpleperf: Update document for scripts.

And fix an error in utils.py.

Bug: http://b/32834638
Test: none.
Change-Id: I94e3599213e886517ca6e38412dbe0bb7f36d87c

Merge "simpleperf: fix dumpping kernel symbols."

Merge "liblog: use log/log.h when referencing ALOG macros"

liblog: use log/log.h when referencing ALOG macros

Test: compile
Bug: 34250038
Change-Id: Iab9dfc45253143cd06cbcb21cb7ea48feec1edd2

simpleperf: fix dumpping kernel symbols.

Fix the bug that `simpleperf record --dump-symbols` doesn't dump
kernel symbols.

Test: run simpleperf_unit_test.
Change-Id: I55a2b7c5cd40395b61b062064834779a6a44a29e

Merge changes from topic 'host_suffix_cleanup'

* changes:
  Export libsquashfs_utils include path in the library.
  Remove "_host" suffix from libsquashfs_utils.
  Remove "_host" and "_static" suffix from libsparse.
  Remove "_static" and "_host" suffix from libext4_utils definitions.
  Remove "_host" suffix from libfec_rs.

Export libsquashfs_utils include path in the library.

When using the libsquashfs_utils we need to include its only header, so
exposing the include path for this library avoids repeating the path
when using it. This patch also removes the include path from the only
call site (libfec).

Bug: None.
Change-Id: I82380b89652f758e4f33a0dc90650b04223c0940

Remove "_host" suffix from libsquashfs_utils.

Bug: 34220783

Change-Id: I9a140ed7bafdb8342dbdc2c7143a765acb86ecb9

Remove "_host" and "_static" suffix from libsparse.

Bug: 34220783
Change-Id: I33b2ecafaebe46a45c176d5debe821ec1ecaa25b

Merge "liblog: use log/log.h when utilizing ALOG macros"

liblog: use log/log.h when utilizing ALOG macros

Test: compile
Bug: 30465923
Change-Id: I0c8178ef32006e0ec5f3dde7446b5396cf98df77

Remove "_static" and "_host" suffix from libext4_utils definitions.

Bug: 34220783
Change-Id: Ia8da0c96a0384826afd8b089101468ac388d0ca2

Remove "_host" suffix from libfec_rs.

libfec_rs_host is now renamed to libfec_rs.

Bug: 34220783
Change-Id: I70dd794cbf2ed2f118849371379e424159b312a4

Merge "simpleperf: fix synchronization when reading mapped buffer."

simpleperf: fix synchronization when reading mapped buffer.

Fixed according to http://lxr.free-electrons.com/source/kernel/events/ring_buffer.c#L61.

Test: run simpleperf_unit_test.

Change-Id: I44486b1630c92de57fb575b502b2d7c798e46e4b

Merge "simpleperf: fix annotate.py."

simpleperf: fix annotate.py.

Bug: http://b/32834638
Test: run annotate.py.
Change-Id: I18d6985387a68482a589d812109692ee2c30197c

Merge "simpleperf: add scripts to sdk build."

simpleperf: add scripts to sdk build.

Bug: http://b/32834638
Test: make sdk.
Change-Id: Iffc2649dc131c73758db8727912c83c078d92071

Merge "simpleperf: update scripts to use binaries in bin/."

simpleperf: update scripts to use binaries in bin/.

Bug: http://b/32834638
Test: run python scripts like report_sample.py.
Change-Id: Ia37e7b34babe7ba3df88b38ec6e6bc15241f50d8

Merge "simpleperf: update simpleperf prebuilts to build 3614643."