Merge "Make sure CtsCheckpointTestCases passes"

Make sure CtsCheckpointTestCases passes

Bug: 141639903
Bug: 141499347
Test: Cts test CtsCheckpointTestCases passes
Change-Id: Id5e9c0df969340e0b8f08436daa027614c45b380

Merge "vold: implement resetCheckpoint"

vold: implement resetCheckpoint

It will be used by userspace reboot to reset checkpoint state, to make
sure that when /data is remounted, it will be remounted in checkpointing
if a checkpoint was requested beforee userspace reboot.

Test: /system/bin/vdc startCheckpoint 1
      /system/bin/vdc needsCheckpoint (returns 0)
      /system/bin/vdc resetCheckpoint
      /system/bin/vdc needsCheckpoint (returns 1)

Bug: 135984674
Change-Id: Ia29238686289b4eed93e2fb936a8b3d894b94dc9

Merge changes from topic "fscrypt-key-mgmt-improvements"

* changes:
  vold: support v2 encryption policies
  vold: use new ioctls to add/remove fscrypt keys when supported

vold: support v2 encryption policies

Add support for setting v2 encryption policies when configured in the
fstab (for internal storage) or in system properties (for adoptable
storage), and for installing and evicting the keys for such policies.

v2 policies support the same encryption modes and flags as v1 policies,
but internally they use a more standard, secure, and flexible KDF.  Due
to this, some future features will be supported by v2 policies only.

Bug: 140500999
Test: Configured a device to use v2 encryption policies (applied the
      needed kernel patches and added
      "fileencryption=aes-256-xts:aes-256-cts:v2" to fstab, and set the
      corresponding system properties for adoptable storage).  Wiped
      userdata, booted device and checked logs to verify that v2
      policies were being used.

      Also enabled virtual SD card and formatted as adoptable storage;
      verified it works and that v2 policies were being used on it.

      Also created, started, and stopped a 2nd user and verified their
      keys were evicted.

      Also verified that the device comes up again after rebooting.

      Also verified that a device using v1 encryption policies continues
      to work, both with and without an updated kernel -- including
      stopping a user so that their keys get evicted.

Change-Id: If64028d8580584b2c33c614cabd5d6b93657f608

Merge "Mark libvold_headers as recovery_available."

Mark libvold_headers as recovery_available.

recovery modules use <cryptfs.h> (in particular CRYPT_FOOTER_OFFSET).

Test: mmma bootable/recovery
Change-Id: I97b038476ccbeb0a5ac4a6cde86063325bdbb152

vold: use new ioctls to add/remove fscrypt keys when supported

When the kernel supports the new fscrypt key management ioctls, use them
instead of add_key() and keyctl_unlink().

This will be needed in order to support v2 encryption policies, since v2
encryption policies only support the new ioctls.

The new ioctls have other advantages too.  For example,
FS_IOC_REMOVE_ENCRYPTION_KEY automatically evicts exactly the necessary
kernel objects, so the drop_caches sysctl is no longer needed.  This
makes evicting keys faster and more reliable.
FS_IOC_REMOVE_ENCRYPTION_KEY also detects if any files are still open
and therefore couldn't be "locked", whereas this went undetected before.

Therefore, to start out this patch adds support for using the new ioctls
for v1 encryption policies, i.e. on existing devices.

(Originally based on a patch by Satya Tangirala <satyat@google.com>)

Bug: 140500828
Test: tested that a device using v1 policies continues to work, both
      with and without an updated kernel.  See
      If64028d8580584b2c33c614cabd5d6b93657f608 for more details.
      Also checked via the log that the filesystem-level keyring is in
      fact used when supported.
Change-Id: I296ef78138578a3fd773797ac0cd46af1296b959

Merge "Add drosen to OWNERS"

Add drosen to OWNERS

Test: build/make/tools/checkowners.py -c -v system/vold/OWNERS
Change-Id: Ic774577a0368f8cdbeb043f8021aec7457198276

Merge "Create a per-boot key on each boot"

Merge "vold: use system-clang-format"

vold: use system-clang-format

Link .clang-format to the standard .clang-format file (4-space-indent
version) from build/soong, rather than use a custom file.

Among other changes, the standard file has the "IncludeBlocks: Preserve"
setting, so include blocks stay in order.

Don't actually reformat all the code yet.

Test: Tried 'clang-format -i $(find . -name \*.cpp -o -name \*.h)'
      and checked that the changes look sane.
Change-Id: I11ecbd03b31e44ba7b3e01175a6fc317f8173ab0

Merge "Add ebiggers to OWNERS"

Create a per-boot key on each boot

Bug: 140882488
Test: Booted twice, checked logs to ensure encryption
    is different each time, adb created files in directory.
Change-Id: I74077bf8f727dab726c25f512ed7406a74cbe0bf

Add ebiggers to OWNERS

Test: n/a
Change-Id: I08ece80400dae0c0d25c2fcef7168bbed9034745

Merge "Request rollback resistance for FBE keys."

Merge "Remove libhwbinder/libhidltransport deps"

Remove libhwbinder/libhidltransport deps

Since these were combined into libhidlbase.

Bug: 135686713
Test: build only (libhwbinder/libhidltransport are empty)
Change-Id: I890b572d537d66ecb49effd8efc782279c52956e

Merge "DO NOT MERGE - Merge Android 10 into master"

DO NOT MERGE - Merge Android 10 into master

Bug: 139893257
Change-Id: I9dc8417f0d87c87eac13437834e69a52c1887258

Merge "Fix ext4/metadata/udc issue"
am: ee867be1f1

Change-Id: I69b89b464a4d04b27e1da7d3990dcbec9525afe4

Merge "Fix ext4/metadata/udc issue"

Merge "Fix crash in mainline"
am: 3a0d51f6b7

Change-Id: I63925fd090707f56076a59349c237a83f4ec8234

Merge "Fix crash in mainline"

Fix crash in mainline

Current behavior:

Assume not checkpointing
cp_startCheckpoint creates the file in metadata
cp_needsCheckpoint will now set isCheckpointing to true
cp_commitCheckpoint will now think there is a checkpoint, and try to
commit it. This will fail on ext4 and it will return false, leading to
bad things.

cp_startCheckpoint is called when staging an apex module for update.
After this point, several things could go wrong:

If a keystore key is deleted, it calls cp_needsCheckpoint to see if the
delete should be deferred until cp_commitCheckpoint. The delete will now
be deferred, meaning that this key will never be deleted, using up the
key sots in trustzone

If a trim is scheduled through idle maintenance, this also calls
cp_needsCheckpoint, so the trims will not occur.

If either of these happens before a system crash, the device will not
recover since the system calls commitCheckpoint which will now crash.

When the system then goes on to reboot, the checkpoint will not be
triggered, since the commitCheckpoint call will have deleted the
checkpoint flag file before crashing.

Bug: 138952436
Test: vdc checkpoint startCheckpoint 5
      vdc checkpoint needsCheckpoint
      vdc checkpoint commitChanges
      stop;start

      commitChanges fails, then device loops

      After applying this test, commitChanges succeeds and device does
      not loop

Change-Id: I135099625f77344d1f8d2e8688735871c44ef2f5

Merge "Fix race condition is commitCheckpoint"
am: 1059810759

Change-Id: I3cb7931ee01d208cb6f5f435aa5fc40cacd78b65

Merge "Fix race condition is commitCheckpoint"

Fix race condition is commitCheckpoint

If cp_commitCheckpoint is called twice at the same time, the second call
to setBowState will fail.

Add lock to remove possibility, and protect all uses of isCheckpointing

Bug: 138952436
Test: Boots after flashing in checkpoint mode
Change-Id: I131298adc506c3c176774d15e642b13d5f991087

Fix ext4/metadata/udc issue

Test: Cannot test since no device supports this combo
Bug: 137924328
Change-Id: I451c90e0826ede71876f3e4f260e7083f3ab3fdb

Merge "libdm now requires linking to libext2_uuid."
am: 9e821da9fe

Change-Id: Id33c9fc83352535cb45f27e70dec6000c73b07a5

Merge "libdm now requires linking to libext2_uuid."

[automerger skipped] Merge "DO NOT MERGE - Merge pie-platform-release (PPRL.190705.004) into master"
am: 711f4faac3 -s ours
am skip reason: subject contains skip directive

Change-Id: I334dfe94d70709434fd3c98c581a80cc4a7c00a4

[automerger skipped] DO NOT MERGE - Merge pie-platform-release (PPRL.190705.004) into master
am: 33080d8b49 -s ours
am skip reason: subject contains skip directive

Change-Id: Id76bbc6615fa330e65f857c365e96c446855a242

Merge "DO NOT MERGE - Merge pie-platform-release (PPRL.190705.004) into master"

DO NOT MERGE - Merge pie-platform-release (PPRL.190705.004) into master

Bug: 136196576
Change-Id: I2fc2c9bb2631e627ebe74b6f081819c1eb0f3fcd

Snap for 5622519 from 59295fbb94e3a75c3341419aadbc66c560296179 to pi-platform-release

Change-Id: I402d144258df8eefe4c87766616ba32221bfbb67

DO NOT MERGE - Merge qt-dev-plus-aosp-without-vendor (5699924) into stage-aosp-master

Bug: 134405016
Change-Id: I19ac2279aa2cb1c5ad444d25484aa1ec0d7efac6

[automerger skipped] Merge "Add property to prevent commit for Vts test" am: 5bcfb5bf45
am: 3507d68556 -s ours
am skip reason: change_id I20441964dbc7b6ad5b445fa17a1374c1282bbbd8 with SHA1 3f1ce062d5 is in history

Change-Id: I2a5fe3fc7bbf3af55facde1ab07bd0559d8e7d87

Merge "Add property to prevent commit for Vts test"
am: 5bcfb5bf45

Change-Id: Ic6b0e863fb9c6ddea2cb19390a9520c3c87cf704

[automerger skipped] Merge "Make ext4 userdata checkpoints work with metadata encryption" into qt-dev
am: dde9704664 -s ours
am skip reason: change_id I8365a40298b752af4bb10d00d9ff58ce04beab1f with SHA1 236e5e800e is in history

Change-Id: I11c77206000895c27aee9ad8326778ec95e233df

Merge "Add property to prevent commit for Vts test"

Merge "Make ext4 userdata checkpoints work with metadata encryption" into qt-dev

libdm now requires linking to libext2_uuid.

Bug: 135771280
Test: mm vold -j
Change-Id: Id71c71926841581d4d3bc4a66f4c06294df21028

Merge "Make ext4 userdata checkpoints work with metadata encryption" am: 2c792e0720
am: 5f19ef31c8

Change-Id: I7da7077c70484cb5873b9316058bc73158c19ab6

Merge "Make ext4 userdata checkpoints work with metadata encryption"
am: 2c792e0720

Change-Id: I1aed54ccf98fb73b29ed13fa971bbfbb25a489ae

Make ext4 userdata checkpoints work with metadata encryption

When both ext4 user data checkpoints and metadata encryption are
enabled, we are creating two stacked dm devices. This had not been
properly thought through or debugged.

Test: Enable metadata encryption on taimen (add
keydirectory=/metadata/vold/metadata_encryption to flags for userdata in
fstab.hardware)
    Unfortunately metadata is not wiped by fastboot -w, so it is
    necessary to rm metadata/vold -rf whenever you wipe data.
    fastboot flashall -w works
    fastboot reboot -w works
    A normal boot works
    Disable checkpoint commits with
    setprop persist.vold.dont_commit_checkpoint 1
    vdc checkpoint startCheckpoint 10
    adb reboot
    wait for device to fully boot then
    adb reboot
    Wait for device to fully boot then
    adb logcat -d | grep Checkpoint shows the rollback in the logs

    This tests encryption on top of checkpoints with commit, encryption
    without checkpoints, and rollback, which seems to be the key cases.

    Also ran same tests on unmodified Taimen and Blueline

Bug: 135905679
Merged-In: I8365a40298b752af4bb10d00d9ff58ce04beab1f
Change-Id: I8365a40298b752af4bb10d00d9ff58ce04beab1f

Merge "Make ext4 userdata checkpoints work with metadata encryption"

Merge "vold: use RAII wake locks" am: b585363d93
am: 99fd2a4b5a

Change-Id: I8e37d315ecb6bad994d2a9c748cfc835756e265e

Merge "vold: use RAII wake locks"
am: b585363d93

Change-Id: I21be9e28c19901c9ca3aa91eb2f7394d1f788ff2

Merge "vold: use RAII wake locks"

Make ext4 userdata checkpoints work with metadata encryption

When both ext4 user data checkpoints and metadata encryption are
enabled, we are creating two stacked dm devices. This had not been
properly thought through or debugged.

Test: Enable metadata encryption on taimen (add
keydirectory=/metadata/vold/metadata_encryption to flags for userdata in
fstab.hardware)
    Unfortunately metadata is not wiped by fastboot -w, so it is
    necessary to rm metadata/vold -rf whenever you wipe data.
    fastboot flashall -w works
    fastboot reboot -w works
    A normal boot works
    Disable checkpoint commits with
    setprop persist.vold.dont_commit_checkpoint 1
    vdc checkpoint startCheckpoint 10
    adb reboot
    wait for device to fully boot then
    adb reboot
    Wait for device to fully boot then
    adb logcat -d | grep Checkpoint shows the rollback in the logs

    This tests encryption on top of checkpoints with commit, encryption
    without checkpoints, and rollback, which seems to be the key cases.

Bug: 135905679
Change-Id: I8365a40298b752af4bb10d00d9ff58ce04beab1f

[automerger skipped] Restore historical behavior with fsck_msdos (always accept fixes).
am: 3601f4790b -s ours
am skip reason: change_id I1d50a7e52fda34e59eb6f051c7fde115a6cd5255 with SHA1 3d3a9a7f1c is in history

Change-Id: Ib97568c9eaecb3c52e4703f7d14a8235b9cc0cc4

vold: use RAII wake locks

Prevents wake lock leaks, e.g. b/133175847

Bug: 133175847
Test: boot blueline
Change-Id: Icda4c81e00a61adec6a12c61c329867fef284dc5

Restore historical behavior with fsck_msdos (always accept fixes).

Bug: 133725065
Merged-In: I1d50a7e52fda34e59eb6f051c7fde115a6cd5255
Change-Id: I1d50a7e52fda34e59eb6f051c7fde115a6cd5255

Merge "Merged-In Revert "vold: use RAII wake locks"" am: 2ebb5c5b96
am: fce081efa6

Change-Id: If58a55eecb04453f69e51cdc242f5ab71fb7ddc1

Merge "Merged-In Revert "vold: use RAII wake locks""
am: 2ebb5c5b96

Change-Id: I6fe423a47de01eaf3d5bcc27fbfd7d96ea184156

Merge "Merged-In Revert "vold: use RAII wake locks""

Merged-In Revert "vold: use RAII wake locks"

This reverts commit 242130f3f8180baef35649f350ca737d0b0c6ae3.

Reason for revert: breaks the build

Change-Id: Ide809a114b2a04538f3ba4ed8af934bf326e54f3

Merge "Block and wait for /dev/block/loop<N> to appear in case it was created asynchronously." am: ee5eb39169
am: 5973b8cf00

Change-Id: Ieb48b5b3ca4e5576d22b7db9bcc229b8fb2f47fb

Merge "Block and wait for /dev/block/loop<N> to appear in case it was created asynchronously."
am: ee5eb39169

Change-Id: Ib82969daab218360712f1b3bf2c2069c95932ee2

Merge "Block and wait for /dev/block/loop<N> to appear in case it was created asynchronously."

Merge "vold: use RAII wake locks" am: 798aa303da
am: 56c6681ba8

Change-Id: I3f87e1ad31701c24fdc426c3bd562a47871e3631

Merge "vold: use RAII wake locks"
am: 798aa303da

Change-Id: I157e8ceb8ece246d00ce345bd110023977a6d208

Merge "vold: use RAII wake locks"

vold: use RAII wake locks

Prevents wake lock leaks, e.g. b/133175847

Bug: 133175847
Test: boot blueline
Change-Id: I62fd1c6c3abbfd35aebe11343abd717a7cf4eef7

Block and wait for /dev/block/loop<N> to appear in case it was created asynchronously.

Bug: 134711825
Test: StorageManagerTest
Change-Id: Id8616804bba622226ca21b8eff0d3eb577b4b7e0

Merge "Fail startCheckpoint if checkpoints not supported" am: 6c704f736c
am: 7c35004b27

Change-Id: Ie1906ef96432bed1058cc8ce6ecb6cd58adc769c

Merge "Fail startCheckpoint if checkpoints not supported"
am: 6c704f736c

Change-Id: I631c9828782452ab763d108d85082cd2120c5ee7

Merge "Fail startCheckpoint if checkpoints not supported"

Add property to prevent commit for Vts test

Old approach (do not start class main) does not work because when
testings userdebug GSI on user system, adb does not start until the
framework starts.

Bug: 134126407
Test: Test passes with userdebug GSI on user Taimen
Merged-in: I20441964dbc7b6ad5b445fa17a1374c1282bbbd8
Change-Id: I20441964dbc7b6ad5b445fa17a1374c1282bbbd8

Add property to prevent commit for Vts test
am: 3f1ce062d5

Change-Id: Ia742cb1ff865f5fd7b13843e72ee5309d90560db

Add property to prevent commit for Vts test

Old approach (do not start class main) does not work because when
testings userdebug GSI on user system, adb does not start until the
framework starts.

Bug: 134126407
Test: Test passes with userdebug GSI on user Taimen
Change-Id: I20441964dbc7b6ad5b445fa17a1374c1282bbbd8

[automerger skipped] Merge "DO NOT MERGE - Merge pie-platform-release (PPRL.190605.003) into master" am: 170b45c75f -s ours
am: b74ed73043 -s ours
am skip reason: subject contains skip directive

Change-Id: I5b825a62b888b1d3a654da7ebc3c5cacb56f226d

[automerger skipped] Merge "DO NOT MERGE - Merge pie-platform-release (PPRL.190605.003) into master"
am: 170b45c75f -s ours
am skip reason: subject contains skip directive

Change-Id: Iab16bbdc743962c766e7d556b7eeef4098f8a4ba

[automerger skipped] DO NOT MERGE - Merge pie-platform-release (PPRL.190605.003) into master am: 1aebde23aa -s ours
am: d81505cac0 -s ours
am skip reason: subject contains skip directive

Change-Id: I5487c6e6a413585c86d346f0c8bf434bd29b4ecd

[automerger skipped] DO NOT MERGE - Merge pie-platform-release (PPRL.190605.003) into master
am: 1aebde23aa -s ours
am skip reason: subject contains skip directive

Change-Id: Ib9778c146fb82c715408db89cdaf45339f23ef05

Merge "DO NOT MERGE - Merge pie-platform-release (PPRL.190605.003) into master"

DO NOT MERGE - Merge pie-platform-release (PPRL.190605.003) into master

Bug: 134605042
Change-Id: Ie32488cf0d10e1a5622d24f604a7a5e84c56e79c

Merge "Fix include order" am: 0a0b5b5f02
am: 44c18e1723

Change-Id: I80ae48916a7cb5182bb802c6919387204b860b09

Merge "Fix include order"
am: 0a0b5b5f02

Change-Id: I002b546d733dd55ced79aeb118c6394ce973d609

Merge "Fix include order"

[automerger skipped] Merge "Defer deleteKey in KeyStorage in Checkpointing mode" am: fc4ad04ffe
am: 288fca9266 -s ours
am skip reason: change_id Ie5fc2d098355e2d095c53e9a95a6a8c7ab7ed051 with SHA1 8cc5716ef1 is in history

Change-Id: I7d9f111a30c196b86f84cdaa3fd1081733be789f

Merge "Defer deleteKey in KeyStorage in Checkpointing mode"
am: fc4ad04ffe

Change-Id: Ib4f127130bdf05fe092fec15d999e5d645441303

Merge "Defer deleteKey in KeyStorage in Checkpointing mode"

Merge "Restore historical behavior with fsck_msdos (always accept fixes)." am: a2518c7fe7
am: 8941a145a0

Change-Id: I3ccf537b4802baf6ff43b1ff3b24f44c59e9fa08

Merge "Restore historical behavior with fsck_msdos (always accept fixes)."
am: a2518c7fe7

Change-Id: I91202edd2dbca6e8eb4c58fa25453da22045a062

Merge "Restore historical behavior with fsck_msdos (always accept fixes)."

Fix include order

Change-Id: Id839cc52801f3d0fce2d46faecf813812613e431
Test: None

Defer deleteKey in KeyStorage in Checkpointing mode

Don't delete keys in checkpointing mode. Instead wait until the
checkpoint has been committed.

Bug: 134631661
Test: Flash A with a working build. Flash B with a broken build. Test
      that the device rolls back to A without getting sent to recovery.
Merged-In: Ie5fc2d098355e2d095c53e9a95a6a8c7ab7ed051
Change-Id: Ie5fc2d098355e2d095c53e9a95a6a8c7ab7ed051

Defer deleteKey in KeyStorage in Checkpointing mode
am: 8cc5716ef1

Change-Id: I38a8d0de1760f0d526cb00c441129dc025049358

[automerger skipped] Merge "DO NOT MERGE - Skip pi-platform-release (PPRL.190605.003) into stage-aosp-master" into stage-aosp-master
am: b02c30cbf3 -s ours
am skip reason: subject contains skip directive

Change-Id: I456b2e5bf172a79d1c6aaf535de73b96897f5a4a

[automerger skipped] DO NOT MERGE - Skip pi-platform-release (PPRL.190605.003) into stage-aosp-master
am: 3a6c897d05 -s ours
am skip reason: subject contains skip directive

Change-Id: Ie610a4b4078750bd62db70c8998643689dc6e25c

Merge "DO NOT MERGE - Skip pi-platform-release (PPRL.190605.003) into stage-aosp-master" into stage-aosp-master

Defer deleteKey in KeyStorage in Checkpointing mode

Don't delete keys in checkpointing mode. Instead wait until the
checkpoint has been committed.

Bug: 134631661
Test: Flash A with a working build. Flash B with a broken build. Test
      that the device rolls back to A without getting sent to recovery.

Change-Id: Ie5fc2d098355e2d095c53e9a95a6a8c7ab7ed051

Restore historical behavior with fsck_msdos (always accept fixes).

Bug: 133725065
Change-Id: I1d50a7e52fda34e59eb6f051c7fde115a6cd5255

Merge "Match src paths with aidl package name" am: 94f300295d
am: 4be1fb5196

Change-Id: I19f23733b9114fe661b2e59b792cb9b1a2490465

Merge "Match src paths with aidl package name"
am: 94f300295d

Change-Id: I0e7afb27913038f302e43a97091825a0689dc1b6

Merge "Match src paths with aidl package name"