f2fs_sparseblock: Correctly handle f2fs checkpoint flags

Bug: 15749466
Change-Id: I31ecefc0cf2ebfba1652a8b87fd70b045624ffa4
Signed-off-by: Daniel Rosenberg <drosen@google.com>

Android.mk: Remove false dependency on host os

Bug: 15749466
Change-Id: Idca63cf0ddc84462485cdd266d473a32833fed74
Signed-off-by: Daniel Rosenberg <drosen@google.com>

f2fsutils: Added support for sparse f2fs representations

Bug: 15749466
Change-Id: I27b386e708e04d449fe460d1f9be553b438c9156
Signed-off-by: Daniel Rosenberg <drosen@google.com>

fix build

inode_allocate_file_extents should return NULL if allocation fails.

Bug: 16984795
Change-Id: I7d2b9d61ca81f8e1869dbac3d8bde79bb5799fa9

add option to make_ext4fs to record blocks for each file

Add the -B option to make_ext4fs, which causes it to record the block
ranges used for each (regular) file in the image.  We can use this
information to construct more efficient block-based incremental OTAs.

Bug: 16984795
Change-Id: I2a5325bb89948f63c76e93fdfa84c51f9b050104

Rename micro bench 32 bit

Rename micro_bench32 to micro_bench for backwards compatibility.

Change-Id: I130f281967cffc3e337d27e84c4caa66d39d1385

verity: fix makefile mixup.

BootSigner -> BootSignature mixup.

Change-Id: Ifae0f5d69540996f8b71dfccf4df0db7349269c4

verity: Add tools to help OEMs generate signed boot images.

Change-Id: Iea200def2fdd8a0d366888bb7b1ae401297063f1

puncture_fs: A new utility that is used with fs benchmarking tools.

The tools fills up the filesystem completely then removes a set of files
of predefined size to free up some predefined non-contiguous free space.
It is used with benchmarking tools like fio to collect metrics on a used filesystem with sparse free space.

Change-Id: Ieb1d38c0f95c51462060e541a662c378b79d81fb

am f4fca2d5: am 2dd33a8f: Merge "f2fs_utils: make Mac builds happy (copy out mkf2fsuserimg.sh)"

* commit 'f4fca2d557337f739fdc1617816a3f7d45c0a124':
  f2fs_utils: make Mac builds happy (copy out mkf2fsuserimg.sh)

am e36eaf9d: am a5dc6a8e: Merge "f2fs utils: set correct dependency on dynamic libf2fs"

* commit 'e36eaf9d3c84b381d3d6556efc00a454eb0d69e8':
  f2fs utils: set correct dependency on dynamic libf2fs

am 8cfc86f4: (-s ours) am d2f07839: Merge topic \'f2fs\'

* commit '8cfc86f43db78ad9ce72c6bbb40b980b2aab0a3c':
  f2fs utils: Add mkf2fsuserimg.sh and make_f2fs
  f2fs_utils: support new f2fs-tools f2fs_finalize_device API.
  f2fs_utils: provide sparse io and dynamic load.

am 2dd33a8f: Merge "f2fs_utils: make Mac builds happy (copy out mkf2fsuserimg.sh)"

* commit '2dd33a8f11b320fc5decd5de57730ab4a1d3aaa4':
  f2fs_utils: make Mac builds happy (copy out mkf2fsuserimg.sh)

am a5dc6a8e: Merge "f2fs utils: set correct dependency on dynamic libf2fs"

* commit 'a5dc6a8e3ca30e815d59cab72e7b0abf9a147e30':
  f2fs utils: set correct dependency on dynamic libf2fs

am d2f07839: Merge topic \'f2fs\'

* commit 'd2f07839cb85ad5b78665892deb12d2d353daab0':
  f2fs utils: Add mkf2fsuserimg.sh and make_f2fs
  f2fs_utils: support new f2fs-tools f2fs_finalize_device API.
  f2fs_utils: provide sparse io and dynamic load.

Merge "f2fs_utils: make Mac builds happy (copy out mkf2fsuserimg.sh)"

f2fs_utils: make Mac builds happy (copy out mkf2fsuserimg.sh)

Change-Id: I8f911f2d084aee08f3f53da984d5c3d2a252cb05
Signed-off-by: JP Abgrall <jpa@google.com>

Merge topic 'f2fs'

* changes:
  f2fs utils: Add mkf2fsuserimg.sh and make_f2fs
  f2fs_utils: support new f2fs-tools f2fs_finalize_device API.
  f2fs_utils: provide sparse io and dynamic load.

f2fs utils: Add mkf2fsuserimg.sh and make_f2fs

This is used to generate empty userdata.img files.
Normally, "fastboot format userdata" should be used.

Caveats:
 - It only builds an empty sparse image.
 - windows/mac unsupported

Change-Id: I5fbd9724fdd3f4513e7c91f123fc5fffcb475012
Signed-off-by: JP Abgrall <jpa@google.com>

f2fs_utils: support new f2fs-tools f2fs_finalize_device API.

Change-Id: Id5a6a7edc7871a6c0eb452ad7136732b9a730e6a
Signed-off-by: JP Abgrall <jpa@google.com>

f2fs_utils: provide sparse io and dynamic load.

This uses
  external/f2fs-tools LGPL v2.1

It provides low-level IO functions that f2fs-tools/mkfs expects
for writing to the media. In this case we use the sparse lib.

Change-Id: I8d141a0d4d14df9fe84d3b131484e9696fcd8870
Signed-off-by: JP Abgrall <jpa@google.com>

Merge "f2fs utils: set correct dependency on dynamic libf2fs"

f2fs utils: set correct dependency on dynamic libf2fs

Don't link against it anymore.
Just let dlopen() deal with it correctly.
The "config" struct will come from the f2fs_ioutils
and libf2fs_fmt_host expects to have it global, so let
link with -rdynamic and let dlopen() resolve it.

Be more aggressive with linux-only builds.

Bug: 15717498
Change-Id: I03ebebed1fc652170b44f809df42c1f8595216eb
Signed-off-by: JP Abgrall <jpa@google.com>

am ab3233be: am 6aa75175: Merge "Create 32 bit and 64 bit versions of exes."

* commit 'ab3233befb8381bd1a15f81f3261fa81dd55f297':
  Create 32 bit and 64 bit versions of exes.

am 6aa75175: Merge "Create 32 bit and 64 bit versions of exes."

* commit '6aa751752e36c570415919990d1ca35d564f09b9':
  Create 32 bit and 64 bit versions of exes.

Merge "Create 32 bit and 64 bit versions of exes."

Create 32 bit and 64 bit versions of exes.

Change-Id: Ifc639b7ed97c75faf0ce52475e7c3ec0dc2dd9b9

am 676880b9: am 0795553f: Merge "Remove a useless so-called test for arc4random."

* commit '676880b973daa4f0b214b51596e138a3702e5f17':
  Remove a useless so-called test for arc4random.

am 0795553f: Merge "Remove a useless so-called test for arc4random."

* commit '0795553f0c913f3a9086aff42b9ee483c09cf18e':
  Remove a useless so-called test for arc4random.

Merge "Remove a useless so-called test for arc4random."

Remove a useless so-called test for arc4random.

Bug: 14499627
Change-Id: I01308d022da007f814f3fd8927341dfb3bf7e4cd

f2fs utils: set correct dependency on dynamic libf2fs

Don't link against it anymore.
Just let dlopen() deal with it correctly.
The "config" struct will come from the f2fs_ioutils
and libf2fs_fmt_host expects to have it global, so let
link with -rdynamic and let dlopen() resolve it.

Be more aggressive with linux-only builds.

Bug: 15717498
Change-Id: I03ebebed1fc652170b44f809df42c1f8595216eb
Signed-off-by: JP Abgrall <jpa@google.com>

am 53ea786b: Merge changes Ic686b4cb,Ie4b6c7ef

* commit '53ea786b38f0e394b0b57e5deb0f8f262cea7819':
  procrank: support >4GB of memory from 32-bit procrank
  libpagemap: support 64-bit kernel from 32-bit libpagemap

Merge topic 'f2fs'

* changes:
  f2fs utils: Add mkf2fsuserimg.sh and make_f2fs
  f2fs_utils: support new f2fs-tools f2fs_finalize_device API.
  f2fs_utils: provide sparse io and dynamic load.

am ef2ec0be: am 53ea786b: Merge changes Ic686b4cb,Ie4b6c7ef

* commit 'ef2ec0beea13ae7de6ec2050e535fc360b4105be':
  procrank: support >4GB of memory from 32-bit procrank
  libpagemap: support 64-bit kernel from 32-bit libpagemap

Merge changes Ic686b4cb,Ie4b6c7ef

* changes:
  procrank: support >4GB of memory from 32-bit procrank
  libpagemap: support 64-bit kernel from 32-bit libpagemap

procrank: support >4GB of memory from 32-bit procrank

Use uint64_t for sizes.

Change-Id: Ic686b4cbf4406aec1e9b01810924488bff63722e

libpagemap: support 64-bit kernel from 32-bit libpagemap

Use uint64_t and lseek64 to handle 64-bit virtual addresses
when libpagemap is compiled as a 32-bit library.

Change-Id: Ie4b6c7ef05aac604011f3ee28b059d9dfcd63edb

f2fs utils: Add mkf2fsuserimg.sh and make_f2fs

This is used to generate empty userdata.img files.
Normally, "fastboot format userdata" should be used.

Caveats:
 - It only builds an empty sparse image.
 - windows/mac unsupported

Change-Id: I5fbd9724fdd3f4513e7c91f123fc5fffcb475012
Signed-off-by: JP Abgrall <jpa@google.com>

f2fs_utils: support new f2fs-tools f2fs_finalize_device API.

Change-Id: Id5a6a7edc7871a6c0eb452ad7136732b9a730e6a
Signed-off-by: JP Abgrall <jpa@google.com>

f2fs_utils: provide sparse io and dynamic load.

This uses
  external/f2fs-tools LGPL v2.1

It provides low-level IO functions that f2fs-tools/mkfs expects
for writing to the media. In this case we use the sparse lib.

Change-Id: I8d141a0d4d14df9fe84d3b131484e9696fcd8870
Signed-off-by: JP Abgrall <jpa@google.com>

am 6d8d16e5: am 1adb147c: Merge "fix libpagemap for x86_64"

* commit '6d8d16e5fe2c94cae49798c7efbeaf53c783a994':
  fix libpagemap for x86_64

am 1adb147c: Merge "fix libpagemap for x86_64"

* commit '1adb147ca6795eb67c298f60b2e8d7732bc10d6d':
  fix libpagemap for x86_64

reduce mkuserimg.sh chattiness

Also improve the log message from the -C option to make_ext4fs.

Change-Id: I22ee4fd51c29995b2e772dcd929e1916eef22aeb

Merge "fix libpagemap for x86_64"

fix libpagemap for x86_64

libpagemap was storing a virtual pfn in an int, which works on arm64
with 39 bits of virtual address space but fails on x86_64.  Use an
unsigned long instead.

Fixes errors when running procrank on x86_64:
warning: could not read usage for 1

Change-Id: I171c8ee49faa51accf3c1bb69059d549aee04979

am fb0c6296: am 9c82554e: Merge "Ignore wipe operation on non-block devices."

* commit 'fb0c62963b5fe1b4f36e281c4c02d98d737d08ee':
  Ignore wipe operation on non-block devices.

am 9c82554e: Merge "Ignore wipe operation on non-block devices."

* commit '9c82554ee3284b57df9d8dfdf11467066ab0877a':
  Ignore wipe operation on non-block devices.

optionally use a canned fs_config when building ext4 fs

In order to accurately re-create old images after changes to
android_filesystem_config.h, we need make_ext4fs and mkuserimg.sh to
be able to take a file containing the desired
uid/gid/mode/capabilities for each path in the filesystem, and use
that instead of the fs_config function that is built in to the binary.

The target_files already contains this file, which is created at the
time of the original build by running the binary fs_config for each
path in the build.

Change-Id: I501dc9544de37a592c1e831b6bf785c086cb6912

Merge "Ignore wipe operation on non-block devices."

Ignore wipe operation on non-block devices.

The implementation of make_ext4fs() calls make_ext4fs_internal() by
forcing the |wipe| parameter to true, which is problematic when the
library is used within the emulator (the wipe operation will always
fail on non-Linux platforms).

This patch does the following:

- Add a 'is_block_device_fd()' function to check that a file descriptor
  points to a real block device.

- Modify the implementation of wipe_block_device() uses it to return
  silently when trying to wipe a non-block-device file.

- Add a WIPE_IS_SUPPORTED flag in wipe.h that indicates whether
  block device wiping is supported on the current platform
  (for now, this is only the case on Linux).

BUG=NONE

Change-Id: I62b62b7c3e99b465c3b876154231e7c2fe541b23

am b31b4cc0: am 13e929c1: Merge "Don\'t set LOCAL_MODULE_PATH for native test."

* commit 'b31b4cc07debb0a987f7c20d18b6cef059932d3e':
  Don't set LOCAL_MODULE_PATH for native test.

Merge "don't use sun's base64 encoders"

don't use sun's base64 encoders

Use of sun.misc.BASE64Decoder considered harmful.  Use Bouncy Castle's
instead, which come from the platform source tree.

Change-Id: I7cc0d489854b9b33ddfc90501d064fa1142d9eee

am 13e929c1: Merge "Don\'t set LOCAL_MODULE_PATH for native test."

* commit '13e929c11c07e5cbae5db0d5887845ec6c6d08a4':
  Don't set LOCAL_MODULE_PATH for native test.

add suspend stress tester

Add a command line tool that will fire an alarm every few seconds
to stress test going in and out of suspend.

Change-Id: Iaea31fe2bc8cdc8e5ce3e55fe56aed85680a5adc

Merge "Don't set LOCAL_MODULE_PATH for native test."

Don't set LOCAL_MODULE_PATH for native test.

The build system will set it up automatically.

Change-Id: I528aa6c296f2ca8ffe8c74beca2cd49117b229e3

Merge "verity: Move build_verity_tree.cpp to use BN_* for hex conversion."

verity: Move build_verity_tree.cpp to use BN_* for hex conversion.

This fixes an issue where hexlified salts  weren't being properly
consumed by moving to OpenSSL's BN_* functions.

Bug: 15018770
Change-Id: Iece1f2991d3b23d4ae7ff66b5fb02abc388cfa80

am 14119df1: am b733b3c7: Merge "The situation len = 0 and absolute = false need to be handled"

* commit '14119df19e45b968774fc7242df780b87d93fef4':
  The situation len = 0 and absolute = false need to be handled

am b733b3c7: Merge "The situation len = 0 and absolute = false need to be handled"

* commit 'b733b3c7b0601326801d43f548aa139ca0be721e':
  The situation len = 0 and absolute = false need to be handled

Merge "The situation len = 0 and absolute = false need to be handled"

am f72ab135: am cb8ac609: Merge "libpagemap: handle zero length memory regions"

* commit 'f72ab1352b7161c6d339b1ee7b766fa9e7459959':
  libpagemap: handle zero length memory regions

am cb8ac609: Merge "libpagemap: handle zero length memory regions"

* commit 'cb8ac609ee27a9e5e6e13bc30447ed3a13964ccd':
  libpagemap: handle zero length memory regions

Merge "libpagemap: handle zero length memory regions"

libpagemap: handle zero length memory regions

/proc/pid/maps may report a zero-length memory region for a 4kB
PROT_GROWSDOWN region because it subtracts 4kB for the guard page.
Return 0 instead of -1 when this occurs, and set range_out to NULL
and len to 0.  All existing callers of pm_process_pagemap_range
will not dereference range_out if len is 0.

Bug: 14683277
Change-Id: If405651ad034dda780b93fab2dc616e177a0b917

am fc8da790: am 676e964d: Merge "Remove a test for dead code."

* commit 'fc8da7901a17f5bf064d39e6d9327c2094851428':
  Remove a test for dead code.

am 676e964d: Merge "Remove a test for dead code."

* commit '676e964d0be749b9899511f5f7212c3765c8f38a':
  Remove a test for dead code.

Merge "Remove a test for dead code."

Remove a test for dead code.

Bug: 14903517
Change-Id: I139ae922c6c9468606d3145f0c74361ed789d949

Merge "verity: remove old python version"

am 22e96e4d: am 63a3cc14: Merge "Add {BEGIN,END}_DECLS to header file."

* commit '22e96e4d8449bbb1bad5a5b0a546882997d38148':
  Add {BEGIN,END}_DECLS to header file.

am 63a3cc14: Merge "Add {BEGIN,END}_DECLS to header file."

* commit '63a3cc1473fbf0c012f1d2fc0396f11d932084d7':
  Add {BEGIN,END}_DECLS to header file.

Merge "Add {BEGIN,END}_DECLS to header file."

Add {BEGIN,END}_DECLS to header file.

Enable this header to be cleanly included in C++ code.

Change-Id: Ie4ae60629661237ce07b49b17802f01bf95552d8

Fix Mac build.

Use correct format specifiers on the mac build.

Change-Id: I626a766d9078ada9f073eeb107720d1feae07b68

The situation len = 0 and absolute = false need to be handled

Add a return case for len == 0 and absolute == false

Change-Id: Ia36bd67ced6abbe7234eb7e485c1a2d8bd928ffe
Signed-off-by: Benoit Fradin <benoit.fradin@intel.com>

verity: remove old python version

build_verity_tree.py has been replaced by build_verity_tree.cpp

Change-Id: I48631c77d4507fa86af88871b8b2fb8735a94c70

verity: add C++ version of build_verity_tree that handles sparse files

A C++ version can reuse libsparse to calculate the verity hash tree
of a sparse file without unsparsing it.  In addition to saving disk
space, it also cuts the time taken in half by optimizing out the
hash calculation for skipped blocks that are known to be zero.

Change-Id: I882fe3a417dc2c83bb0e6cd974b6a886f8bc8ac3

verity: add dependency between verity_signer and VeritySigner

The verity_signer script executes the VeritySigner java module,
add a LOCAL_REQUIRED_MODULES dependency.

Change-Id: Ic1a8df46ead2aaf08d69936600e2312fa1b9a770

am fde5b354: am 79950456: Merge "Label lost+found directories with SELinux security contexts."

* commit 'fde5b354c85a30f4dbe79bcf4f19473de11e00ef':
  Label lost+found directories with SELinux security contexts.

am 79950456: Merge "Label lost+found directories with SELinux security contexts."

* commit '79950456925b801273cd93d03145aba8477a9eb4':
  Label lost+found directories with SELinux security contexts.

Merge "Label lost+found directories with SELinux security contexts."

Label lost+found directories with SELinux security contexts.

When an asec image is generated, the lost+found directory has no
security.selinux attribute set and thus shows up as unlabeled.
We already handle this correctly when building images from existing
directories with files, so we just need to do it here as well when
generating an otherwise empty initial image.

Change-Id: I6d449dcc67a5cbc2101718e34ea0e184936d7f0e
Signed-off-by: Stephen Smalley <sds@tycho.nsa.gov>

am 6a345c75: am 9a213e07: Ignore VmFlags: and other unrecognized fields.

* commit '6a345c75c660f010d9e158774a955d52c78b519b':
  Ignore VmFlags: and other unrecognized fields.

am 9a213e07: Ignore VmFlags: and other unrecognized fields.

* commit '9a213e07f1e1f083bc56dbe707e0ec2af3990b43':
  Ignore VmFlags: and other unrecognized fields.

Ignore VmFlags: and other unrecognized fields.

Fixed a bug that causes showmap to skip items when /proc/pid/smap
included any unrecognized fields.

Change-Id: Ic648d4272d0269ff226047cf2d3271e9e63bb302

am fb109b89: Merge "directiotest: 64 bit compile issue"

* commit 'fb109b894a5fc2891e49ec8e81c0dda171b45b7f':
  directiotest: 64 bit compile issue

Merge "directiotest: 64 bit compile issue"

directiotest: 64 bit compile issue

Change-Id: Iaef4f2aebfc1258594fca64615cd52758ac23a75

verity: optimize for memory usage

Reading the entire image into memory and then blockifying it will
peak at using 2x the size of the image, and hold the size of the
image in memory for the entire computation.  Instead, read
up to 16MB at a time and compute its block hashes before throwing
it away and continuing.

Change-Id: Ibbf1317616765a0dd8de4195b1046a75394c1815

Add a cleanspec

Change-Id: I2506d7f7a3ed8e66e5ae22b0a55d4be4ba96032d

am 75cd8ffa: Merge "qtaguid test: 64-bit compile issues"

* commit '75cd8ffa850aa6414d1771bbc44c4ae806702b85':
  qtaguid test: 64-bit compile issues

am c42f1cc2: Merge "micro_bench: 64 bit compile issues"

* commit 'c42f1cc240aa3828bf5982f2d05a7804cc06d5ef':
  micro_bench: 64 bit compile issues

Merge "qtaguid test: 64-bit compile issues"

qtaguid test: 64-bit compile issues

Change-Id: If3d83ccc4a50eae503f15a9de948b8c21641d8de

Merge "micro_bench: 64 bit compile issues"

micro_bench: 64 bit compile issues

- use %zu for size_t operands
- suppress unused argument warning messages

Change-Id: Ib39b8763414320d9e3a29408bc1b396ddb376293

taskstats: fix warnings

Fix warnings on arm64 build

Change-Id: Icc1b497361e8f532f10c850fb0bf5e3fa22249b5