Merge "Sign APKs using SHA-256 instead of SHA-1 when possible."

Sign APKs using SHA-256 instead of SHA-1 when possible.

This changes the build system to provide the signapk tool with the
minSdkVersion of the APK being signed. signapk in turn will then use
SHA-256 instead of SHA-1 if minSdkVersion is 18 (JB MR2) or higher
(see c2c49ed0c13846f7f96249c7419971dfcddc9215).

To avoid increasing incremental OTA update package sizes for already
released platforms, release build scripts disable the above logic when
signing target files ZIPs for pre-N platforms.

Bug: 25643280

(cherry picked from commit de5bc04717505ad0e5b55605bccf43974f4c5c7a)

Change-Id: I4b100750e47788ab6ed897a0a5abfd33542e8676

Merge "Revert "Sign APKs using SHA-256 instead of SHA-1 when possible.""

Revert "Sign APKs using SHA-256 instead of SHA-1 when possible."

This reverts commit 74df828cb574a6f30be9b9dcf286773ca1835f72. This commit is breaking a build, again...

Change-Id: I2df561d68302ba4c83e90a64a7bf203645033a3b

Merge "Sign APKs using SHA-256 instead of SHA-1 when possible."

Merge "Doclava template changes associated with default methods"

Doclava template changes associated with default methods

The ordering of method declaration modifiers changed slightly
to reflect the ordering given in:

http://docs.oracle.com/javase/specs/jls/se8/html/jls-8.html#jls-8.4.3
http://docs.oracle.com/javase/specs/jls/se8/html/jls-9.html#jls-9.4

Bug: 26241119
(cherry-picked from commit ca59875e12e47162fc765bc43d6651b555c04d81)

Change-Id: I8489ad5010fc811b22167af50ba29221aac8b6cb

Merge "Write clean_steps.mk with multiple commands"

Write clean_steps.mk with multiple commands

$(INTERNAL_CLEAN_STEPS) could be too big to be fit in a single
command line.

Bug: 26707439
Change-Id: Ieed6c772980d06c2418a9246b025bca7a6f568aa

Merge "Place the META/ dir first in the target_files.zip."

Place the META/ dir first in the target_files.zip.

To help early verification of a target_files.zip being uploaded to our
servers, we place the META/ directory first in the .zip file, so checks
against the product_id.txt and product_version.txt don't need to wait
for the whole file to upload.

Note that META/*filesystem_config.txt files are generated and added to
the .zip file at a later point, so they are not included at the
beginning.

Bug: 26806325
TEST=`make dist` and `unzip -l out/dist/edison-target_files-eng.$USER.zip` shows most META/ files first.

Change-Id: I1955645412688f5c7823063ed56606b251daccfd

Merge "README: Update docs"

Sign APKs using SHA-256 instead of SHA-1 when possible.

This changes the build system to provide the signapk tool with the
minSdkVersion of the APK being signed. signapk in turn will then use
SHA-256 instead of SHA-1 if minSdkVersion is 18 (JB MR2) or higher
(see c2c49ed0c13846f7f96249c7419971dfcddc9215).

To avoid increasing incremental OTA update package sizes for already
released platforms, release build scripts disable the above logic when
signing target files ZIPs for pre-N platforms.

Bug: 25643280
Change-Id: I058393e0971d0d6559dbd69ea902754c6c7cab14
(cherry picked from commit de5bc04717505ad0e5b55605bccf43974f4c5c7a)

Merge "Revert "Revert "Make OpenJDK 8 the default"""

Merge "Use dependency files generated by llvm-rs-cc"

Use dependency files generated by llvm-rs-cc

This was a regression since kati has been introduced. This CL
introduces include-depfile function to make it easier to write
Makefiles which work with both make and kati.

As ninja can handle only a single dependency file per a build
rule, now we merge multiple .d files generated by llvm-rs-cc
into a .d file.

Change-Id: Iaf64a8f0523ab98115837e6e06abd50f06620363

Merge "Add libc_malloc_debug to the always build list."

Merge "Error out if MALLOC_IMPL is defined."

Merge "Revert "Sign APKs using SHA-256 instead of SHA-1 when possible.""

Revert "Sign APKs using SHA-256 instead of SHA-1 when possible."

This reverts commit de5bc04717505ad0e5b55605bccf43974f4c5c7a because it's breaking some builds. Turns out some APKs have multiple sdkVersion attributes returned by aapt.

Change-Id: I013d6ef5eac473dd3900e0b9edf4c32cdc838bab

Revert "Revert "Make OpenJDK 8 the default""

Reapply the switch to JDK 8 on aosp/master.

This reverts commit 85bddfdedffb425d85657314591a57191113806b.

Change-Id: If2e8733ba78b007d37914c0512cd6be1bd4c1e69

Merge "Revert "Make OpenJDK 8 the default""

Revert "Make OpenJDK 8 the default"

Temporary revert to help out Brillo folks.
It will be resubmitted tomorrow.

This reverts commit 4495f6afb8c23950c24dc9ee114050582da08f05.

Change-Id: Id378c7d3a6e72e9be50f9404b19d5763568987a5

Merge "Sign APKs using SHA-256 instead of SHA-1 when possible."

Merge "Make OpenJDK 8 the default"

Make OpenJDK 8 the default

To return to OpenJDK 7:
export LEGACY_USE_JAVA7=true

And run envsetup.sh/lunch again.

Bug: 25786468
Change-Id: I8e00591a24d13e3b8b6baaafe0fdff6536c58770

Merge "Add an RS_CLANG variable as well for RenderScript."

Add an RS_CLANG variable as well for RenderScript.

Change-Id: I33a73c4c2b19aa17bc18a64c92a86565111de3d0

Merge "Add clang rules for RS_LLVM_* tools."

Error out if MALLOC_IMPL is defined.

Bug: http://b/26390299
Change-Id: Icd3ce6853c8207b1a9ce1f9d546a61d5b113f15a

Merge "bootstat: Add bootstat to the embedded target to support logging boot time across devices."

Merge "Generate OTA packages for A/B update."

Add clang rules for RS_LLVM_* tools.

This change adds new variables for RS_LLVM_* tools, which correspond
to the version of LLVM checked in currently to external/, instead of
mapping to the latest host prebuilts. This will help prevent version
differences for newer IR generated by the updated host prebuilts, which
then might not be readable with the on-device LLVM bits we build from
external/.

Change-Id: I6c7b0fa9082e9c8244cc508cb23960569a057740

Merge "Make signapk sign using APK Signature Scheme v2."

Merge "CleanSpec: Clean up $(PRODUCT_OUT)/recovery/root/sdcard."

CleanSpec: Clean up $(PRODUCT_OUT)/recovery/root/sdcard.

Incremental build going across CL in [1] needs to remove the old
symlink to avoid hitting mkdir error.

[1]: commit 3f56a330412b56212acc5a9ed19b747c8943b7f2

Change-Id: Iff62ed55eb2782ba3e1e9b6de39a691de2427384

bootstat: Add bootstat to the embedded target to support logging boot
time across devices.

Bug: 21724738
Change-Id: I165e8597103ea235a0826e321a1658823c4b4664

Merge "Set flag when using sdk tools in place"

Merge "Makefile: Fix the location for payload signing key."

Makefile: Fix the location for payload signing key.

CL in [1] put it in a wrong path.

[1] commit 38812d684b73b4e2bbd2a4277fd9b0d8b3c7a810

Bug: 25715402
Change-Id: I01a105888844011eee083d5f4d694223599fa067

Merge "Pass the arm/thumb cflags to assembly files"

Merge "Makefile: Add the payload public key into system image."

Sign APKs using SHA-256 instead of SHA-1 when possible.

This changes the build system to provide the signapk tool with the
minSdkVersion of the APK being signed. signapk in turn will then use
SHA-256 instead of SHA-1 if minSdkVersion is 18 (JB MR2) or higher
(see c2c49ed0c13846f7f96249c7419971dfcddc9215).

To avoid increasing incremental OTA update package sizes for already
released platforms, release build scripts disable the above logic when
signing target files ZIPs for pre-N platforms.

Bug: 25643280
Change-Id: I048393e0971d0d6559dbd69ea902754c6c7cab14

Merge "Separate aidl dependencies from compiler dependencies"

Merge "Keep aidl generated C++ inside the generated folder"

Makefile: Add the payload public key into system image.

For non-Brillo devices using AB update, add the payload signing public
key to the system image
(system/etc/update_engine/update-payload-key.pub.pem).

We first need to sign the payload with some private key, and pack it
into an Android OTA package. Then the whole zip package will be signed
again with the device key. This is to comply with the two existing OTA
flows (Android and CrOS).

We use the same device key to do the two signings, but update_engine
expects the key in RSA public key format. This CL extracts the public
key from x509 certificate and adds it to the system image.

Bug: 25715402
Change-Id: I6f6c1148534250ddb6d9e554175c7a35bceda99e

Set flag when using sdk tools in place

New version of build/ execute the tools from prebuilts/sdk/tools in
place, old versions copy them to $(HOST_OUT_EXECUTABLES).  build/ and
prebuilts/sdk often use mixed versions, set a flag that
prebuilts/sdk/tools/Android.mk can use to determine when it is using an
old build/ directory.

Change-Id: Iad2f96c35203fd3b0976946d229bfa8ab4acb150

Make signapk sign using APK Signature Scheme v2.

APKs are now signed with the usual JAR signature scheme and then
with the APK Signature Scheme v2.

APK Signature Scheme v2 is a whole-file signature scheme which aims
to protect every single bit of the APK as opposed to the JAR signature
scheme which protects only the names and uncompressed contents of ZIP
entries.

The two main goals of APK Signature Scheme v2 are:
1. Detect any unauthorized modifications to the APK. This is achieved
   by making the signature cover every byte of the APK being signed.
2. Enable much faster signature and integrity verification. This is
   achieved by requiring only a minimal amount of APK parsing before
   the signature is verified, thus completely bypassing ZIP entry
   decompression and by making integrity verification parallelizable
   by employing a hash tree.

Bug: 25794543
Change-Id: I275d2a6d0a98504891985309b9dfff2e0e44b878

Merge "Command-line flag to disable signing with APK Signature Scheme v2."

Command-line flag to disable signing with APK Signature Scheme v2.

This change makes signapk not reject the --disable-v2 command-line
flag which may be used by build scripts in some branches. The flag
is currently ignored.

This change is landed separately from the actual support for APK
Signature Scheme v2 because of unbundled branches which use prebuilt
versions of signapk.

Bug: 25794543
Change-Id: I900966244b8b6296b1f443bf98830cc7f7cc81a8

Separate aidl dependencies from compiler dependencies

Both aidl and clang/gcc were putting their dependencies in the same
place.  Move aidl's dependencies to a file ending with .aidl.P rather
than the compiler's .P.

While here, inform kati that we have these special dep files.

Bug:26409006
Test: Rebuild, note both files being generated

Change-Id: I29d2eea822235d60713c2059f3a314e475eb5aa3

Keep aidl generated C++ inside the generated folder

Transform ../ to dotdot/ for C++ generateds from .aidl source files.
This forces us to use one layer of indirection to calculate the build
rules for .aidl files, since we can no longer use a pattern rule.

This was tested by modifying system/tools/aidl's Android.mk to refer to
its .aidl files by going up two directories and then repeating the
directories again.  When I print the build rules with $(info) I see that
dotdot/ appears in appropriate places (C++ paths, but not .aidl paths).

Bug: 26407018
Test: Described above.

Change-Id: I397c9d10408c0c66d8b5a247a1f34eb4bf4f74ce

Generate OTA packages for A/B update.

It calls brillo_update_payload to generate the payload for A/B update.
And packages the payload according to Android OTA package format.

Note that it only supports generating full/incremental OTAs with this
CL. Signing for release may not work properly at the moment.

Bug: 25715402
Change-Id: I4ac8505bacad28a572a9320dc8b52dd0f1ce47f5

Merge "Set USE_CLANG_PLATFORM_BUILD to default true."

Merge "Makefile: Pack brillo_update_payload and shflags into otatools."

Makefile: Pack brillo_update_payload and shflags into otatools.

brillo_update_payload and shflags are the scripts to generate A/B OTA
package (payload). Include them into otatools.zip.

brillo_update_payload was already included in previous CL. Move it to
the folder for executables.

Bug: 25715402
Change-Id: Idf9c05767c24c55d058cc30e696f06d4eb5fd53b

Pass the arm/thumb cflags to assembly files

This effectively changes the default instruction set of assembly files
from arm to thumb in order to match the default for C/C++.

Change-Id: I8684f144a1195b53b3e0fdd04cacf77f6a131c7e

Set USE_CLANG_PLATFORM_BUILD to default true.

BUG: 26102335
Change-Id: I3b9fa2dfbee361410caf163147945ab448bb8ddf

Merge "Remove synchronized from the public API docs"

Merge "Add -Werror=date-time to target builds"

Merge "Fix print error of numbers of blocks"

Remove synchronized from the public API docs

The information is not useful. Javadoc hasn't included this
information for years.

Bug: 25767152
(cherry-picked from commit a37bdc89b47893f740ab652fe8b58c44e440f334)

Change-Id: Id03a6e383118ab716ce870a1d7a3740656420fe7

Fix print error of numbers of blocks

The total number of blocks to pack as new data was printed incorrectly.
Fix printing.

Change-Id: I6a6bb8dd6682d9c57943ceb1a728995f9529e2fd

Merge "Adjust the size limit for splitting large files"

Adjust the size limit for splitting large files

Modify the number of max blocks per transfer to reduce splitting of
large files during patch generation. This will reduce the size of
final incremental OTA updater package. In specific, the size limit
for each file to transfer is set to 1/8 cachesize instead of a fix
number.

Bug: 26472126

Change-Id: Iffb135e378c4c7a91640f2fc4c40e9e93d1fe4bb

Merge "Allow building kati & makeparallel with soong"

Allow building kati & makeparallel with soong

This uses far fewer hacks in order to build these host tools, but will
require more libraries(libc++,etc) from unbundled and stripped down
branches.

Once this becomes the only option, all builds will happen after soong
runs. Then the toolchain / global cflags information will be able to be
moved from make to soong (and exported back to make).

Change-Id: I270b1d92bcef28a96fbc3ec9910d9bd0c101ac0f

Merge "Switch to Vista instead of Win2K."

Merge "makeparallel: print path on exec failure"

Merge "Ignore Android.mk files with USE_SOONG=true"

Merge "Unconditionally use SHA-256 when minSdkVersion is 18 or higher."

Switch to Vista instead of Win2K.

Bug: http://b/26524325
Bug: http://b/25282907

The latest Clang/LLVM requires Vista APIs in order to execute, so we
need to bump the minimum required Windows version for our host tools.

Change-Id: Ic1a760bc240060f5de39ce3a68484886021ff3d9

Merge "Remove -Wa,noexecstack from unsupported arm clang flags"

Remove -Wa,noexecstack from unsupported arm clang flags

This was marked as unsupported only on arm[64], even though it works.
For soong, we want to keep a single list of unsupported clang flags
for all architectures.

Change-Id: I9c4ae0f255c549d2346ba7abae57e22c86ddcc61

Merge "Fix mounting /sdcard under recovery."

Unconditionally use SHA-256 when minSdkVersion is 18 or higher.

SHA-1 is deprecated, but the replacement SHA-256 is only supported
for JAR/APK and OTA update package signatures on API Level 18 and
newer. This change thus adds a --min-sdk-version command-line
parameter to signapk. When this parameter is set to 18 or higher,
SHA-256 is used instead of SHA-1. When the parameter is not provided,
SHA-1 is used same as before.

This change also removes any other digests from the MANIFEST.MF.
This is to ignore any MANIFEST.MF digests already there in the APK,
such as when re-signing an already signed APK.

Build scripts will be modified to provide the --min-sdk-version
parameter in a follow-up change. This is not done in this change
because of prebuilts which require a prebuilt version of signapk
to support this parameter before the build scripts can be modified.

Bug: 25643280
Change-Id: I6a2782e465600fe2a3ad0c10bd80db2b80a6fb76

Merge "List SHA-1 digests of APK entries' contents in .SF files."

List SHA-1 digests of APK entries' contents in .SF files.

Due to a bug introduced in 8562fd478d7f1b1b693de5db67928f1993522c0a
SHA-1 digests of APK entries' contents were listed under wrong
attribute name. The effect is equivalent to not listing SHA-1
digests.

This change fix the issue by listing SHA-1 digests under the correct
attribute name. However, these digests are not that useful because:
(1) typically the digest of the MANIFEST.MF verifies and thus the
per-entry digests are ignored, and (2) per-entry digests of entries
with names longer than 64 characters are wrong in any case because the
digest generation code does not take into account that such names are
split over multiple lines.

An alternative to this change would be to completely omit outputting
per-entry sections of .SF files, thus saving space and speeding up APK
verification (.SF files would decompress faster).

Bug: 26513901
Change-Id: If95d58e9baa62b1113639fe70724e1e9c9f4e15c

Merge "Remove special case handling of "ro." properties"

Fix mounting /sdcard under recovery.

The CL in [1] changed to create a symlink to /storage/self/primary for
/sdcard. It breaks the mount of /sdcard under recovery.

[1] commit 595003a3d06a13862052ef2f4f578371dae5ad65

Bug: 26509280
Change-Id: I98d02d54d707c2c8826c5ee119cf1a3ffa0c4bc9

Merge "Docs: Shorten feedback button text."

Docs: Shorten feedback button text.

Bug: 26452230
Change-Id: I8069d5087775a38f23e2aae86eb16fea81a65cd3

Merge "Generate .c for .y and .l"

Merge "Move "include configure_local_jack.mk""

Generate .c for .y and .l

- For .l/.y source files, generate .c files; for .ll/.yy source files,
  generate c++ files.
- Simplified the rules by adding the generated sources to
  my_generated_sources.
- Simplified generated header file naming by always using .h extension
  with bison's "--defines=" option.
- Removed the unnecesarry conditional inclusion to the generated
  headers. Bison already automatically generates such things.

Bug: 26492989
Change-Id: I9ab6dc149c258f7642bc36c3fa32f90ff7ee51a4

makeparallel: print path on exec failure

If ninja is missing makeparallel prints an unhelpful error:
out/host/linux-x86/bin/makeparallel: exec failed: No such file or directory
which suggests that makeparallel is what is missing, not what is
reporting the error.  Print the path passed to exec as well.

Change-Id: Ic04c1cde6da9c3a974b5c43e3fb3bdb6da6605f7

Ignore Android.mk files with USE_SOONG=true

When USE_SOONG=true, ignore any Android.mk file that has an Android.bp
file in the same directory.

Change-Id: Id79bd90c2aed5dafc2f8ad2c5b7eb0aa6e81dc18

Move "include configure_local_jack.mk"

Move "include configure_local_jack.mk" out of the scope of
"ifdef LOCAL_RESOURCE_DIR".

Change-Id: I67bbb4e6b59414559219d24136ff91ba799fda25

Remove special case handling of "ro." properties

Currently, properties that begin with "ro." are special cased to skip
over the "ro." part of the prefix before matching with entries in
property_contexts.  A change to init is removing this special case and
therefore, the "ro." prefixes must be explicitly added to
property_contexts.

Bug 26425619

Change-Id: I735eb9fc208eeec284cda8d778db946eeec24192

Merge "Remove libsqlite_jni from all product configs."

Add -Werror=date-time to target builds

The lack of a changing timestamp improves reproducibility of builds, and
helps create smaller OTAs.

Bug: 24204119
Change-Id: I68acfb53be962ffd5c488337517dadb950a13b6f

Merge "Docs: Changing text on Feedback button. Bug: 26452230"

Remove libsqlite_jni from all product configs.

It's only used by libcore tests so there's no need to ship it on
all products.

bug: 26457850
Change-Id: I907f781d215e94e1cbf554d81fda9e6eed07a4de

Merge "Check block0 for remounting partition R/W"

Docs: Changing text on Feedback button.
Bug: 26452230

Change-Id: I716b773ed649dea4634f3db3fcb9daba0d0fab86

Merge "Have symbol versions in .so.toc files"

Merge "Kill BOARD_MALLOC_ALIGNMENT."

Kill BOARD_MALLOC_ALIGNMENT.

Bug: http://b/26403338
Change-Id: I55d2c417d972f78caddc5fb28a065807feb86b0a

Merge "Replace MALLOC_IMPL with MALLOC_SVELTE."

Merge "Docs: Encode URL input to search box Bug: 26287939"