Merge "Make /linkerconfig/<apexname> directories accessible to others" am: b52f719faf

Change-Id: Id755473867942a98d93d1091a3e7556fccbd43bd

Merge "Make /linkerconfig/<apexname> directories accessible to others"

Make /linkerconfig/<apexname> directories accessible to others

When linkerconfig is exec'ed by init, umask is by default set to 0x0077.
As a result, even though we create the directories with mkdir(...,
0755), they are marked as inaccessible for group and others.

Fixing the issue by explicitly setting umask to 0x0022.

Bug: 144914078
Test: build a device with flattened APEX. Check the mode bits of the
directories of under /linkerconfig.

$ ls -al /linkerconfig
total 96
drwxr-xr-x  9 root root   200 2020-02-21 13:47 .
drwxr-xr-x 22 root root  4096 2020-02-21 13:54 ..
drwx--xr-x  2 root root    60 2020-02-21 13:47 com.android.adbd
drwx--xr-x  2 root root    60 2020-02-21 13:47 com.android.art
drwx--xr-x  2 root root    60 2020-02-21 13:47 com.android.conscrypt
drwx--xr-x  2 root root    60 2020-02-21 13:47 com.android.media.swcodec
drwx--xr-x  2 root root    60 2020-02-21 13:47 com.android.os.statsd
drwx--xr-x  2 root root    60 2020-02-21 13:47 com.android.runtime
drwx--xr-x  2 root root    60 2020-02-21 13:47 com.android.sdkext
-rw-r--r--  1 root root 91651 2020-02-21 13:47 ld.config.txt

Change-Id: Id2f7f8a363ba239943942ba6e3bc984cd8f630b0

Merge "Rename APEX Namespace" am: 52120b489b

Change-Id: I1ad4220320ce62274f553afa7e81b322e82e1f51

Merge "Rename APEX Namespace"

Merge "Fix full content test" am: 9fa8d06ecc

Change-Id: I41c27ed81cfb803954d773a07a4d0747bea4b33f

Merge "Fix full content test"

Fix full content test

Full content test was not working properly because the way of checking
if VNDK is enabled has been changed. This fix generates test context to
mock it available for VNDK.

Test: atest passed
Change-Id: I46064d1d5505dc5c6af438e69faae166dee9dc58

Rename APEX Namespace

Current APEX Namespace is named with APEX name itself, which also uses
.(dot) so linker configuration can keep the syntax safe. Update name of
namespace from APEX by replacing '_' with '.' so keep configuration safe
for future syntax update.

Bug: 148826508
Test: m -j passed
Test: boot succeeded from cuttlefish and walleye
Change-Id: I9185c909678e2e39d539622d51d8f378b819b466

Add com.android.os.statsd to legacy linkerconfig am: 2b465ce881

Change-Id: Ib2a29f358385d1b67a27f58e900dcd76a2efa20f

Add com.android.os.statsd to legacy linkerconfig

Similar to aosp/1237667, but for legacy stuff.

Bug: None
Test: Legacy stuff boots.
Change-Id: Iad17f5529ea6bb520c0ee5a4071a82ffd7c2cc27

Merge "Update linkerconfig for libs in statsd" am: 5504faa670

Change-Id: I969a8e8828d5e9273c863688c48d6d2ba9297d95

Merge "Update linkerconfig for libs in statsd"

Merge "Add com.android.os.statsd to linkerconfig" am: 91fccce607

Change-Id: Ia2aa4670b96557434b1c1c8675409e17515f00a3

Merge "Add com.android.os.statsd to linkerconfig"

Add com.android.os.statsd to linkerconfig

Adds com.android.os.statsd to System BuildSection. I believe this is to
get the namespace the proper visibility for jni.

Test: build/boots
Change-Id: Id516e79e12fde608888587ec15ab0f3358f4918d
Merged-In: Id516e79e12fde608888587ec15ab0f3358f4918d
(cherry picked from commit 91454166a50d86d2367c8ec5b4686087ecc13184)

Merge "Remove extra using statements" am: 28133def11

Change-Id: Iab0964273993949a3eb3c0c331eb58bc75e3c5e1

Merge "Remove extra using statements"

Update linkerconfig for libs in statsd

Bug: 148605160
Test: m -j
Change-Id: Idb6308e8f518536e97106c445b1945945040a4c3

Merge "Fix Camera bug" am: 5c811ebf1c

Change-Id: I78f49c50833251698c1fc5351e3a5ee66819e872

Merge "Fix Camera bug"

Remove extra using statements

android::base::Errorf and android::base::ErrnoErrorf are now #define's
instead of functions, so remove their using statements.

Test: build
Change-Id: I7333b916ee87668fb9fd15b9293de5da41c43409

Fix Camera bug

Bug: 149538115
Test: Flash and take a picture, verified no crash
Change-Id: Idd455f8803cf6f1b1f4c95d854a6077e33bae5e1

Allow libincident.so to be linked from apex am: 4e15bf53f0

Change-Id: Iea0a310c93367544a21a0964a7985647f888ef52

Allow libincident.so to be linked from apex

Bug: 145923087
Test: m -j
Change-Id: I787f15750e19c5028b334161c5a7d4fa13003c6f

Fix linkerconfig_backward_compatibility_test am: 2dd4e4d2cb

Change-Id: I978ed22941f49942163419544398f8925af3ddaa

Fix linkerconfig_backward_compatibility_test

The current GetValue() falls back to GetProperty(). This makes the test
show different result on different running environment. For consistent
test result, MockVariables() now overrides all product/vendor variables.

Bug: n/a
Test: atest --host linkerconfig_backward_compatibility_test
      atest linkerconfig_backward_compatibility_test

Change-Id: I4b7533e10058b0236a8aef4c54fbb58f3bec0ccc

Read vndk libraries txt files from vndk apex am: 7c2b73a71f

Change-Id: I24a5c1482e9a059025dac3aba1ea1e1cf485b7b2

Generate vendor stuff only if vndk is avilable am: 3f83cfb602

Change-Id: I90769d8e5ae9ea3116454aa3bf4d43d04021a877

Read vndk libraries txt files from vndk apex

Vndk apex contains some txt files which list libraries it contains.
- llndk.libraries.txt
- vndksp.libraries.txt
- vndkcore.libraries.txt
- vndkprivate.libraries.txt

These files can be read from vndk apex instead of /system/etc.

Bug: 145184886
Test: build / flash / boot
Change-Id: I2b242b71768af2a30de519ccd4d73b1a86e46382

Generate vendor stuff only if vndk is avilable

Linkerconfig runs even when there is no apexes available. When vndk apex
is not available, having vendor section or namespaces requiring vndk
libraries is meaningless.

This is necessary because we'd like to load some variables from vndk
apex, but relying on those variables when vndk apex is not available may
fail to generate linker configuration.

Bug: 145184886
Test: build / flash / boot
Change-Id: I7c77757254a63c8bc7470c4ae87f2db3779e6465

Merge "Add required modules for linkerconfig" am: bade76eb13

Change-Id: I9cad270d6fbfa1125f1524954f2b8f7765228499

Merge "Add required modules for linkerconfig"

Merge "2 more missing Result::ok() calls in system/linkerconfig" am: ffacdd9477

Change-Id: I0fbc15f0cb04554567ee042fb97a91e09a6faf6f

Merge "2 more missing Result::ok() calls in system/linkerconfig"

Merge changes I2ead6a77,I6bf2204a am: 4add3c0b71

Change-Id: I3b673660490dc97f6d080a9c0112a6b62a98c99c

Merge changes I2ead6a77,I6bf2204a

* changes:
  Remove ResolveVariables()
  Make ConfigWriter simpler

Add required modules for linkerconfig

linkerconfig relies on some txt files.
Adding those modules as required:
- llndk.libraries.txt
- vndkprivate.libraries.txt
- vndkcore.libraries.txt
- vndkcorevariant.libraries.txt
- vndksp.libraries.txt
- sanitizer.libraries.txt

Bug: N/A
Test: m installclean; m linkerconfig
      check if those txt files are installed together

Change-Id: I8ab98591026dad06b3140043c54b7134ca3dac33

2 more missing Result::ok() calls in system/linkerconfig

Test: cd system/linkerconfig && atest
Change-Id: I2c6f8eb4b81065b90512f88a9f248affecacf019

Merge "Use apex_name for the name of linker namespace" am: 2fa82ebd25

Change-Id: I92d3bdbf307e06d8439d957d779312498c12e20f

Merge "Use apex_name for the name of linker namespace"

Remove ResolveVariables()

ResolveVariables() takes long because it uses regex pattern search and
replace them with values. It can be avoided by resolving variables while
configurations are being built.

For easy transition, "Var()" utility function is introduced which should
be called after LoadVariables(). This will be enforced by moving Var()
into Context so that it only be called when Context is available (which
is, after LoadVariables() is called)

Bug: 149020353
Test: atest --test-mapping system/linkerconfig
      build / flash / boot
Change-Id: I2ead6a77dcc9ec14b4e083897a2818714438beb5

Make ConfigWriter simpler

- Remove varg WriteLine
- No prefix
- Add WriteVars for writing multiple lines using "="/ "+="

This refactoring is a prep for removing "ResolveVariables()" which is very slow.

Bug: 149020353
Test: atest --test-mapping system/linkerconfig
Change-Id: I6bf2204a9ac0794b0bdf8028999a3543821a26be

Last missing Result::ok() calls in system/linkerconfig am: 51be4fe748

Change-Id: I71de5d9c437049101bdf9c185242058776981c35

Last missing Result::ok() calls in system/linkerconfig

No functionality change.

Test: cd system/linkerconfig && atest
Change-Id: I5ffa14d1d935c8e01c694338400e366a19895ba6

Remove unused files am: 35df8b6140

Change-Id: I3d3de0df7afb119313feb7704d5e03a054b09510

Use apex_name for the name of linker namespace

Till now short names are used for apex namespaces but there are no
explicit rule for this. Instead of extracting namespace name from apex
name (com.android.foo => foo), we'd better use apex name as it is
because it is well-established identifier for apexes.

Bug: 148826508
Test: build/flash/boot
      atest

Change-Id: I4f77eb85652a999274844436ba14b5c05831cf5b

Remove unused files

conscrypt and neuralnetworks namespaces are now generated automatically.

Bug: N/A
Test: build
Change-Id: Ic13d3f4206ecfda1937adf2111977b279fba05ef

Auto-generate runtime namespace am: b818280515

Change-Id: I9ae5f026915c98aa1070560fd1923536c0a8d3b7

Auto-generate media namespace am: 834efc8c45

Change-Id: Idff81f99b6a7baf98882615653563e7cc69b09f2

Auto-generate apex namespaces: cronet,nn,conscrypt am: 9960aca469

Change-Id: I7e6ecab4463e0c50864ef186952d549b6a63b40f

Auto-generate runtime namespace

runtime apex provides bionic(libc/libm/libdl) libraries. But actually
they are supposed to be accessed via symlinks in /system/lib (i.e.
system namespace).

By amending soong not to emit those bionic libs as providing libs of
runtime apex, now runtime apex can be auto-generated by linkerconfig.

Bug: 144664390
Test: build / flash / boot
Change-Id: Idda42801a608e5fcb495bfccdd07ca6c0666a53d

Auto-generate media namespace

Now, media namespace is auto-generated.
This is done by adding /apex/<name>/lib as permitted path as well as
search path, because media apex needs a permitted path
/com.android.media/lib/extractors.

Bug: 144664390
Test: build / flash / boot
      atest --test-mapping system/linkerconfig
Change-Id: I9186b0768b3bce3ad19f3d14010725af0bbf5861

Auto-generate apex namespaces: cronet,nn,conscrypt

Some visible namespaces are now auto-generated using activated apex
info. This is quite a significant change for init/bootstrap stages.
For example, at init stage which has no apexes activated, linkerconfig
dosn't generate apex namespaces at all. Previously, it was statically
generated whether those apexes are available or not.

Amon remaining apexes, media and runtime will be removed soon.

Bug: 144664390
Test: compare generated ld.config.txt between changes
      build / flash / boot
      atest --test-mapping system/linkerconfig
Change-Id: I334071dd59273e194ccdca1ef2cff0b7ee1b5c35

Merge "Configuration for special APEX binaries" am: ce9da40b83

Change-Id: I182bca74f03de286823a6f0b61b04043e819920f

Merge "Configuration for special APEX binaries"

Configuration for special APEX binaries

Some of the linker configuration for APEX binaries are not enough just
to use auto-generated contents. This change implements some of the
additional namespaces for some special APEXes with binaries - ART and
Media SWCodec.

Bug: 147987608
Test: m -j passed
Test: Tested adbd and swcodec(Youtube) on Cuttlefish and Crosshatch
Change-Id: I58345dc31bb97138c9c632039a10ab000e23bcb6

Convert system/linkerconfig to Result::ok() am: 5c325567e2

Change-Id: I3d10df9aaaa1dbb9456960c24b20c7d7c4f6bab4

Convert system/linkerconfig to Result::ok()

No functionality changes, this is a mechanical cleanup.

Test: m
Change-Id: I759398fdf01d1703b0c128fb4f34d33a6f1a2027

Move part of Context into modules::BaseContext am: 32c2ef7510

Change-Id: Ie1318021f558fce908222f5df2c174fe1db33812

Add default "provides" list to system namespace am: 91079f0f9b

Change-Id: Ie67d2b6d6bd4f5762a03f7559a6ff1ebcdd2c7ec

Add "--strict" flag am: b4af747146

Change-Id: Ic1e6d5a1e28fedc98470dc8a3f0ef9375fedf85f

Build adbd/resolv namespace automatically am: 7482996bd3

Change-Id: I7edb3004451f2b94e2f0f019ca603c4c1b423b72

Move part of Context into modules::BaseContext

ApexInfo/strict is used in Section::Resolve and it's very generic.
Moving it into BaseContext makes code simpler

Bug: N/A
Test: atest --test-mapping system/linkerconfig
Change-Id: I8acbdb7ed3368b6c10474be1c30a12fbc81c8ca6

Add default "provides" list to system namespace

Contrary to APEX modules, system doesn't have meta data represening
"provides". So adding the "provides" list to system namespaces.

Bug: 144664390
Test: build / flash / boot
Test: atest --test-mapping system/linkerconfig
Change-Id: I808736814221a0d0cff2f163d64da01b398dc265

Add "--strict" flag

--strict flag tells linkerconfig to resolve constraints in strict mode.
In strict mode, when a required module is not found, resolution fails.
Otherwise, missing requirements are ignored silently.

Linkerconfig may run at a very early stage when there is no apexes or
only bootstrap apexes are activated. --strict mode can be turned on when
all apexes are activated.

Bug: 144664390
Test: build / flash / boot
Change-Id: I13cab3aabb605338d031f825fe4af5f9a410a715

Build adbd/resolv namespace automatically

adbd/resolv APEXes can be generated automatically.

Bug: 144664390
Test: build / flash / boot
Change-Id: I025bf186d7071e6051bd65d94ec9b3185b8c1a43

Merge "Pass Context to Build.*Configuration" am: 0d45fe440d

Change-Id: Iced94b1a39b5f8393f0b44a2f55aa8be01bca1d4

Merge "Pass Context to Build.*Configuration"

Merge "Add libadbd_auth.so to stub library list." am: 18c7e5691e

Change-Id: I5a1c64b8a1b0034dadcbed117dd0914c1dbfbe4a

Merge "Add libadbd_auth.so to stub library list."

Pass Context to Build.*Configuration

Context is prepared with activated APEX modules and passed to the
configuration builders.

This doesn't change the current behavior, and there will be follow-up
changes which uses Context to generate APEX-related configuration
dynamically.

Bug: 144664390
Test: compare geneated ld.config.txt files with old ones.
Change-Id: Ice4c7e57d8f5894e4b18510a116e5b38da8d8462

Merge "Fix handling mkdir failure" am: e2b32b57df

Change-Id: I30369633a9c3d5cfed6b3937d5b0d6f6b45326b0

Merge "Fix handling mkdir failure"

Add libadbd_auth.so to stub library list.

Test: treehugger
Change-Id: I90cc7906e73f90234fcd13aad42e1affb69ff9dc

Use provide/require to link namespaces am: 6bc990e58b

Change-Id: I73db78d92bb9d68376ee272ed4091a3fb5afee73

Use provide/require to link namespaces

Add provide/require information for adbd/art/conscrypt/neuralnetworks
namespace and use it to link namespaces.

With this change, this information is hard-coded but will come from
apex_manifest.pb.

Bug: 144659031
Test: Cuttlefish boots
Change-Id: I617818744b6e015c81170b345f9dfa8ca9b993ec

Fix handling mkdir failure

The commit(98a691144d433bd05ad0d26f4caab38e8a3d9c39) was simply wrong
because mkdir() returns -1 and set errno instead of returning it.

Bug: n/a
Test: run linkerconfig twice with same target_dir

Change-Id: Iea8a7357219153abd00f342a1d7794b787bf09dc

Merge "Link to system namespace using stub libraries"
am: ad91df7caf

Change-Id: Ieccc2683b327886544caffb634629cfaf2d4f30b

Merge "Link to system namespace using stub libraries"

Sort namespaces in a section
am: cfb788f92d

Change-Id: I8689f1f90dc6c0c83ec7e223863fd7e37104bce2

Skip log when mkdir fails with EEXIST
am: 98a691144d

Change-Id: I931757987681937ab26e0dcb29357152116225e0

Do UpdatePermission only on target.
am: 5f2463648e

Change-Id: I588612191400ea71c45b413710c144c199bfa916

Sort namespaces in a section

The order of namespaces doesn't matter.
It would be easier to compare when they are sorted, especially when we
generate them with dynamic APEX information.

Bug: N/A
Test: atest --test-mapping system/linkerconfig
Change-Id: I5845247152895c2503c49f7eafd52fb5665b24ba

Skip log when mkdir fails with EEXIST

This is useful when running linkerconfig many times with the same
target_directory.

Bug: N/A
Test: run linkerconfig on host
Change-Id: I38b70a5078afdc0f79d26789c04ec2ed075be491

Do UpdatePermission only on target.

Otherwise, UpdatePermission fails when running on host.

Bug: N/A
Test: run linkerconfig on host
Change-Id: I37207beb2404daa052b8011075d2c5eaaefa63c2

Link to system namespace using stub libraries

As stub libraries list is generated, linkerconfig can use this to
generalize list of libraries linked to system namespace from other
(usually APEX) libraries.

Bug: 147210213
Test: m -j passed && Cuttlefish succeeded to boot
Change-Id: I350390a023c0d186da11844152b51b06ace60e8a

Merge "Add adbd apex configuration."
am: 3a81b768ff

Change-Id: I024f54fa24be27fcdc55e818bc4e418ef599f0cb

Merge "Add adbd apex configuration."

Merge "Add liblog to system libraries." am: c5be7e7196

Change-Id: I2e0b8b69c2b098392c464101f0ed4319a95f1715

Merge "Add liblog to system libraries."

Add adbd apex configuration.

The JDWP socket abstraction is moving from a server shared library
in the ART apex loaded by adbd, to a client shared library in the
adbd apex.

Test: manually booted internal, attached jdb to a random app twice
Change-Id: Ic8c9c7470321c965d1d614d7c99179b772dfd8c8

Add liblog to system libraries.

Test: treehugger
Change-Id: I79954cfd6a3a32f0988a24a18954db8f8459fd04

Merge "Generate linkerconfig for APEX binaries"
am: a18a241e40

Change-Id: I6b7e9b386f792b13d4f0c79bdbd04b4f11f2ced5

Merge "Generate linkerconfig for APEX binaries"

Generate linkerconfig for APEX binaries

Generate linkerconfig for APEX binaries. Dependency can be resolved with
platform namespace which offers stub libraries, and other APEX modules
based on its providing library list.

Bug: 147987608
Test: m -j passed && checked linkerconfig generated per binary APEX
Change-Id: I27a872d5e82618dc0621ed9a86c176171d2f00ab

Read product vndk libraries only when available
am: fec6e10f9b

Change-Id: I4796410af07b78d535d401b5abfd6b5a27c816ef

Read product vndk libraries only when available

Current linkerconfig implementation tries to read vndk library list with
product vndk version even when the version is not specified. This change
will let linkerconfig load those files only when product vndk version is
available.

Test: m -j passed && Checked execution from cuttlefish
Change-Id: Ifb861d7c71a43ac77b27a6c29419b5f965d6097d

Merge "Add product section for product interface enforcement" am: 9a3e85c31f am: c1765189e9

Change-Id: I217376ea52b7a5883aeff1ea9608b38994a8d804

Merge "Add product section for product interface enforcement"
am: 9a3e85c31f

Change-Id: I66e83612faf7a5a74bc7c11d1ac2f325d4ca1de9