Merge "Make /linkerconfig/<apexname> directories accessible to others"

Make /linkerconfig/<apexname> directories accessible to others

When linkerconfig is exec'ed by init, umask is by default set to 0x0077.
As a result, even though we create the directories with mkdir(...,
0755), they are marked as inaccessible for group and others.

Fixing the issue by explicitly setting umask to 0x0022.

Bug: 144914078
Test: build a device with flattened APEX. Check the mode bits of the
directories of under /linkerconfig.

$ ls -al /linkerconfig
total 96
drwxr-xr-x  9 root root   200 2020-02-21 13:47 .
drwxr-xr-x 22 root root  4096 2020-02-21 13:54 ..
drwx--xr-x  2 root root    60 2020-02-21 13:47 com.android.adbd
drwx--xr-x  2 root root    60 2020-02-21 13:47 com.android.art
drwx--xr-x  2 root root    60 2020-02-21 13:47 com.android.conscrypt
drwx--xr-x  2 root root    60 2020-02-21 13:47 com.android.media.swcodec
drwx--xr-x  2 root root    60 2020-02-21 13:47 com.android.os.statsd
drwx--xr-x  2 root root    60 2020-02-21 13:47 com.android.runtime
drwx--xr-x  2 root root    60 2020-02-21 13:47 com.android.sdkext
-rw-r--r--  1 root root 91651 2020-02-21 13:47 ld.config.txt

Change-Id: Id2f7f8a363ba239943942ba6e3bc984cd8f630b0

Merge "Rename APEX Namespace"

Merge "Fix full content test"

Fix full content test

Full content test was not working properly because the way of checking
if VNDK is enabled has been changed. This fix generates test context to
mock it available for VNDK.

Test: atest passed
Change-Id: I46064d1d5505dc5c6af438e69faae166dee9dc58

Rename APEX Namespace

Current APEX Namespace is named with APEX name itself, which also uses
.(dot) so linker configuration can keep the syntax safe. Update name of
namespace from APEX by replacing '_' with '.' so keep configuration safe
for future syntax update.

Bug: 148826508
Test: m -j passed
Test: boot succeeded from cuttlefish and walleye
Change-Id: I9185c909678e2e39d539622d51d8f378b819b466

Add com.android.os.statsd to legacy linkerconfig

Similar to aosp/1237667, but for legacy stuff.

Bug: None
Test: Legacy stuff boots.
Change-Id: Iad17f5529ea6bb520c0ee5a4071a82ffd7c2cc27

Merge "Update linkerconfig for libs in statsd"

Merge "Add com.android.os.statsd to linkerconfig"

Add com.android.os.statsd to linkerconfig

Adds com.android.os.statsd to System BuildSection. I believe this is to
get the namespace the proper visibility for jni.

Test: build/boots
Change-Id: Id516e79e12fde608888587ec15ab0f3358f4918d
Merged-In: Id516e79e12fde608888587ec15ab0f3358f4918d
(cherry picked from commit 91454166a50d86d2367c8ec5b4686087ecc13184)

Merge "Remove extra using statements"

Update linkerconfig for libs in statsd

Bug: 148605160
Test: m -j
Change-Id: Idb6308e8f518536e97106c445b1945945040a4c3

Merge "Fix Camera bug"

Remove extra using statements

android::base::Errorf and android::base::ErrnoErrorf are now #define's
instead of functions, so remove their using statements.

Test: build
Change-Id: I7333b916ee87668fb9fd15b9293de5da41c43409

Fix Camera bug

Bug: 149538115
Test: Flash and take a picture, verified no crash
Change-Id: Idd455f8803cf6f1b1f4c95d854a6077e33bae5e1

Allow libincident.so to be linked from apex

Bug: 145923087
Test: m -j
Change-Id: I787f15750e19c5028b334161c5a7d4fa13003c6f

Fix linkerconfig_backward_compatibility_test

The current GetValue() falls back to GetProperty(). This makes the test
show different result on different running environment. For consistent
test result, MockVariables() now overrides all product/vendor variables.

Bug: n/a
Test: atest --host linkerconfig_backward_compatibility_test
      atest linkerconfig_backward_compatibility_test

Change-Id: I4b7533e10058b0236a8aef4c54fbb58f3bec0ccc

Read vndk libraries txt files from vndk apex

Vndk apex contains some txt files which list libraries it contains.
- llndk.libraries.txt
- vndksp.libraries.txt
- vndkcore.libraries.txt
- vndkprivate.libraries.txt

These files can be read from vndk apex instead of /system/etc.

Bug: 145184886
Test: build / flash / boot
Change-Id: I2b242b71768af2a30de519ccd4d73b1a86e46382

Generate vendor stuff only if vndk is avilable

Linkerconfig runs even when there is no apexes available. When vndk apex
is not available, having vendor section or namespaces requiring vndk
libraries is meaningless.

This is necessary because we'd like to load some variables from vndk
apex, but relying on those variables when vndk apex is not available may
fail to generate linker configuration.

Bug: 145184886
Test: build / flash / boot
Change-Id: I7c77757254a63c8bc7470c4ae87f2db3779e6465

Merge "Add required modules for linkerconfig"

Merge "2 more missing Result::ok() calls in system/linkerconfig"

Merge changes I2ead6a77,I6bf2204a

* changes:
  Remove ResolveVariables()
  Make ConfigWriter simpler

Add required modules for linkerconfig

linkerconfig relies on some txt files.
Adding those modules as required:
- llndk.libraries.txt
- vndkprivate.libraries.txt
- vndkcore.libraries.txt
- vndkcorevariant.libraries.txt
- vndksp.libraries.txt
- sanitizer.libraries.txt

Bug: N/A
Test: m installclean; m linkerconfig
      check if those txt files are installed together

Change-Id: I8ab98591026dad06b3140043c54b7134ca3dac33

2 more missing Result::ok() calls in system/linkerconfig

Test: cd system/linkerconfig && atest
Change-Id: I2c6f8eb4b81065b90512f88a9f248affecacf019

Merge "Use apex_name for the name of linker namespace"

Remove ResolveVariables()

ResolveVariables() takes long because it uses regex pattern search and
replace them with values. It can be avoided by resolving variables while
configurations are being built.

For easy transition, "Var()" utility function is introduced which should
be called after LoadVariables(). This will be enforced by moving Var()
into Context so that it only be called when Context is available (which
is, after LoadVariables() is called)

Bug: 149020353
Test: atest --test-mapping system/linkerconfig
      build / flash / boot
Change-Id: I2ead6a77dcc9ec14b4e083897a2818714438beb5

Make ConfigWriter simpler

- Remove varg WriteLine
- No prefix
- Add WriteVars for writing multiple lines using "="/ "+="

This refactoring is a prep for removing "ResolveVariables()" which is very slow.

Bug: 149020353
Test: atest --test-mapping system/linkerconfig
Change-Id: I6bf2204a9ac0794b0bdf8028999a3543821a26be

Last missing Result::ok() calls in system/linkerconfig

No functionality change.

Test: cd system/linkerconfig && atest
Change-Id: I5ffa14d1d935c8e01c694338400e366a19895ba6

Use apex_name for the name of linker namespace

Till now short names are used for apex namespaces but there are no
explicit rule for this. Instead of extracting namespace name from apex
name (com.android.foo => foo), we'd better use apex name as it is
because it is well-established identifier for apexes.

Bug: 148826508
Test: build/flash/boot
      atest

Change-Id: I4f77eb85652a999274844436ba14b5c05831cf5b

Remove unused files

conscrypt and neuralnetworks namespaces are now generated automatically.

Bug: N/A
Test: build
Change-Id: Ic13d3f4206ecfda1937adf2111977b279fba05ef

Auto-generate runtime namespace

runtime apex provides bionic(libc/libm/libdl) libraries. But actually
they are supposed to be accessed via symlinks in /system/lib (i.e.
system namespace).

By amending soong not to emit those bionic libs as providing libs of
runtime apex, now runtime apex can be auto-generated by linkerconfig.

Bug: 144664390
Test: build / flash / boot
Change-Id: Idda42801a608e5fcb495bfccdd07ca6c0666a53d

Auto-generate media namespace

Now, media namespace is auto-generated.
This is done by adding /apex/<name>/lib as permitted path as well as
search path, because media apex needs a permitted path
/com.android.media/lib/extractors.

Bug: 144664390
Test: build / flash / boot
      atest --test-mapping system/linkerconfig
Change-Id: I9186b0768b3bce3ad19f3d14010725af0bbf5861

Auto-generate apex namespaces: cronet,nn,conscrypt

Some visible namespaces are now auto-generated using activated apex
info. This is quite a significant change for init/bootstrap stages.
For example, at init stage which has no apexes activated, linkerconfig
dosn't generate apex namespaces at all. Previously, it was statically
generated whether those apexes are available or not.

Amon remaining apexes, media and runtime will be removed soon.

Bug: 144664390
Test: compare generated ld.config.txt between changes
      build / flash / boot
      atest --test-mapping system/linkerconfig
Change-Id: I334071dd59273e194ccdca1ef2cff0b7ee1b5c35

Merge "Configuration for special APEX binaries"

Configuration for special APEX binaries

Some of the linker configuration for APEX binaries are not enough just
to use auto-generated contents. This change implements some of the
additional namespaces for some special APEXes with binaries - ART and
Media SWCodec.

Bug: 147987608
Test: m -j passed
Test: Tested adbd and swcodec(Youtube) on Cuttlefish and Crosshatch
Change-Id: I58345dc31bb97138c9c632039a10ab000e23bcb6

Convert system/linkerconfig to Result::ok()

No functionality changes, this is a mechanical cleanup.

Test: m
Change-Id: I759398fdf01d1703b0c128fb4f34d33a6f1a2027

Move part of Context into modules::BaseContext

ApexInfo/strict is used in Section::Resolve and it's very generic.
Moving it into BaseContext makes code simpler

Bug: N/A
Test: atest --test-mapping system/linkerconfig
Change-Id: I8acbdb7ed3368b6c10474be1c30a12fbc81c8ca6

Add default "provides" list to system namespace

Contrary to APEX modules, system doesn't have meta data represening
"provides". So adding the "provides" list to system namespaces.

Bug: 144664390
Test: build / flash / boot
Test: atest --test-mapping system/linkerconfig
Change-Id: I808736814221a0d0cff2f163d64da01b398dc265

Add "--strict" flag

--strict flag tells linkerconfig to resolve constraints in strict mode.
In strict mode, when a required module is not found, resolution fails.
Otherwise, missing requirements are ignored silently.

Linkerconfig may run at a very early stage when there is no apexes or
only bootstrap apexes are activated. --strict mode can be turned on when
all apexes are activated.

Bug: 144664390
Test: build / flash / boot
Change-Id: I13cab3aabb605338d031f825fe4af5f9a410a715

Build adbd/resolv namespace automatically

adbd/resolv APEXes can be generated automatically.

Bug: 144664390
Test: build / flash / boot
Change-Id: I025bf186d7071e6051bd65d94ec9b3185b8c1a43

Merge "Pass Context to Build.*Configuration"

Merge "Add libadbd_auth.so to stub library list."

Pass Context to Build.*Configuration

Context is prepared with activated APEX modules and passed to the
configuration builders.

This doesn't change the current behavior, and there will be follow-up
changes which uses Context to generate APEX-related configuration
dynamically.

Bug: 144664390
Test: compare geneated ld.config.txt files with old ones.
Change-Id: Ice4c7e57d8f5894e4b18510a116e5b38da8d8462

Merge "Fix handling mkdir failure"

Add libadbd_auth.so to stub library list.

Test: treehugger
Change-Id: I90cc7906e73f90234fcd13aad42e1affb69ff9dc

Use provide/require to link namespaces

Add provide/require information for adbd/art/conscrypt/neuralnetworks
namespace and use it to link namespaces.

With this change, this information is hard-coded but will come from
apex_manifest.pb.

Bug: 144659031
Test: Cuttlefish boots
Change-Id: I617818744b6e015c81170b345f9dfa8ca9b993ec

Fix handling mkdir failure

The commit(98a691144d433bd05ad0d26f4caab38e8a3d9c39) was simply wrong
because mkdir() returns -1 and set errno instead of returning it.

Bug: n/a
Test: run linkerconfig twice with same target_dir

Change-Id: Iea8a7357219153abd00f342a1d7794b787bf09dc

Merge "Link to system namespace using stub libraries"

Sort namespaces in a section

The order of namespaces doesn't matter.
It would be easier to compare when they are sorted, especially when we
generate them with dynamic APEX information.

Bug: N/A
Test: atest --test-mapping system/linkerconfig
Change-Id: I5845247152895c2503c49f7eafd52fb5665b24ba

Skip log when mkdir fails with EEXIST

This is useful when running linkerconfig many times with the same
target_directory.

Bug: N/A
Test: run linkerconfig on host
Change-Id: I38b70a5078afdc0f79d26789c04ec2ed075be491

Do UpdatePermission only on target.

Otherwise, UpdatePermission fails when running on host.

Bug: N/A
Test: run linkerconfig on host
Change-Id: I37207beb2404daa052b8011075d2c5eaaefa63c2

Link to system namespace using stub libraries

As stub libraries list is generated, linkerconfig can use this to
generalize list of libraries linked to system namespace from other
(usually APEX) libraries.

Bug: 147210213
Test: m -j passed && Cuttlefish succeeded to boot
Change-Id: I350390a023c0d186da11844152b51b06ace60e8a

Merge "Add adbd apex configuration."

Merge "Add liblog to system libraries."

Add adbd apex configuration.

The JDWP socket abstraction is moving from a server shared library
in the ART apex loaded by adbd, to a client shared library in the
adbd apex.

Test: manually booted internal, attached jdb to a random app twice
Change-Id: Ic8c9c7470321c965d1d614d7c99179b772dfd8c8

Add liblog to system libraries.

Test: treehugger
Change-Id: I79954cfd6a3a32f0988a24a18954db8f8459fd04

Merge "Generate linkerconfig for APEX binaries"

Generate linkerconfig for APEX binaries

Generate linkerconfig for APEX binaries. Dependency can be resolved with
platform namespace which offers stub libraries, and other APEX modules
based on its providing library list.

Bug: 147987608
Test: m -j passed && checked linkerconfig generated per binary APEX
Change-Id: I27a872d5e82618dc0621ed9a86c176171d2f00ab

Read product vndk libraries only when available

Current linkerconfig implementation tries to read vndk library list with
product vndk version even when the version is not specified. This change
will let linkerconfig load those files only when product vndk version is
available.

Test: m -j passed && Checked execution from cuttlefish
Change-Id: Ifb861d7c71a43ac77b27a6c29419b5f965d6097d

Merge "Add product section for product interface enforcement"

Scan Active APEXes

Added a helper function ScanActiveApexes() which returns active APEXes.

Bug: 144659031
Test: atest --host linkerconfig_modules_unittest
Change-Id: Id953e9b3db7e63641571b8e36377ef2c29e70eb9

Add product section for product interface enforcement

If ro.product.vndk.version is defined, product partition will have
seprate section from system section.
Modules in /product allowed to use VNDKs only from /system partition.
Modules in /system or /system_ext are not allowed to link to the
libraries in /product.

Bug: 124024578
Bug: 120954888
Test: build with "PRODUCT_PRODUCT_VNDK_VERSION := current"
      check device boot and basic functions

Change-Id: I0f9cd8b27c56c6a786b10aa23ffc4b197cea714d

Target out directory

Linkerconfig will generate more than 1 file, based on APEX modules and
emulation. To support this, linkerconfig should take out target
directory as argument rather than out target file.

Bug: 146993126
Test: m -j passed && Cuttlefish succeeded to boot
Change-Id: Iabc611ad0dc31a5ab5627356a8552796ab452d7e

Remove VNDK version for using core variant libraries

In current, name of the file contains VNDK using core variant library
list goes with VNDK version like other library list files. However, this
list is dependent on the system image not the VNDK version. To meet this
condition, this file name should not contain VNDK version number to avoid confusion.
This change removes VNDK version number from the file name.

Bug: 142599349
Test: m -j passed && aosp_cf_x86_go_phone booted
Change-Id: Ie167639e5ae2bae2ad269ffde168cfa5ac7de217

Add --legacy for easy of testing

Generate linker config for targets which are not treble-ized.
This argument is only for test on host.

Test: m linkerconfig && linkerconfig --legacy --root $OUT --vndk R
Change-Id: Id1ca59de2016de2de6b9a52f1ac217edea7c71f0

Build linker configuration for recovery in build time

As recovery has not enough space for linkerconfig binary, and also
linker configuration for recovery is does not require any environmental
variables, so linker configuration for recovery better be generated
from build time. This change enables to build linker configuration for
recovery from build and install into recovery system/etc.

Bug: 146414198
Test: m -j passed
Test: Checked linker config generated under recovery's system/etc
Change-Id: I08b77aa96191d3ccb67f8b8ca8fd918ca126de92

Merge "Do not build linkerconfig for recovery"

Add Cronet namespace

Bug: 139397529
Test: build
Test: manual test with Cronet
Change-Id: I1728747fcb6e04bf528266957695378f8d2b28fa

Do not build linkerconfig for recovery

Linkerconfig should be built as static, but recovery does not have
enough space for static binary. As recovery linker configuration is
quite static and simple, this can be generated from build time. As a
first step linkerconfig binary should be removed from recovery.

Bug: 146384333
Test: m -j passed && crosshatch recovery worked with this change
Change-Id: Ia4155c3295feb518bcfd0ab6e6eef8f794e0b1f9

s/ANROID/ANDROID

Test: treehugger
Change-Id: If112b4dfd77d772c2feec2c931190d63bea7cb2b

Merge "Read apex_manifest and generate Namespace"

Read apex_manifest and generate Namespace

Add a small utility to initialize a Namespace with APEX.
Until we can just scan all "activated" APEXes and generate all
namespaces with them, we could use this to fill in namespaces for
APEXes.

Bug: 144659031
Bug: 144659057
Test: atest --host linkerconfig_modules_unittest
Change-Id: If9787ff6c7bc680b5d778b03813103e661a2d0a0

Merge "Remove unnecessary shared_lib for neuralnetworks"

Linker configuration for recovery

Implements linker configuration for recovery. Linkerconfig will generate
recovery configuration on --recovery argument.

Bug: 139638519
Test: m -j passed & tested from crosshatch
Change-Id: I02a38bde8075167dd67334d69507f2604b7d3b33

Remove unnecessary shared_lib for neuralnetworks

Because libneuralnetworks doesn't require libsync.so, remove it from
allowed shared_libs list.

Bug: 144659031
Test: CtsNNAPITestCases
Change-Id: Ica410d01dd54881b2e5cfdd32013c0f11caa0511

Merge "Remove unnecessary shared_libs for resolv APEX"

Remove unnecessary shared_libs for resolv APEX

resolv APEX doesn't need libcgrouprc.so, liblog.so, and libvndksupport.so.

Bug: 144659031
Test: m && device boot
      atest --test-mapping system/netd
Change-Id: Ic06008b808a185f5f5662f1758363fe776dbda45

Add path to the boot image in the ART apex.

Test: m

Change-Id: Ia92ae90b7d80fab9ad87207c0f699292451e8578

Add jooyung to owners

Add jooyung@ to OWNERS list.

Test: no test required
Change-Id: I9bd783cadf7c324f728c1264cb082562db0a7678

Merge "Add ART module members to linkerconfig owners."
am: 0c04afcb05

Change-Id: Icee5851c6ddb7c28ae7fba553ae68ec2920cbbd8

Merge "Add ART module members to linkerconfig owners."

Add ART module members to linkerconfig owners.

Test: build/make/tools/checkowners.py -c system/linkerconfig/OWNERS
Change-Id: Icd285aa36ffb560df2700ed09223ca9f082e7ee5

Add /system/lib to the permitted paths for ns of APEXes
am: 406aa34b07

Change-Id: I64fa27f23235959873494bd8fa5adb3a6a83f6cd

Add /system/lib to the permitted paths for ns of APEXes

With b/144533348, there will be symlinks from libs in APEXes to the libs
in the system partition. This is to reduce the size of APEXes when the
APEX is bundled with the platform.

Adding the /system/lib to the permitted paths so that the realpaths of
the symlinks are allowed for the namespaces.

Note that this however does not open all libs in the system partition to
the APEX namespaces, because searching of the libs are NOT done in
/system/lib, but in /apex/<module>/lib directory.

Bug: 144533348
Test: m
Change-Id: Ieb5dd795f6575123db4575f2a078cf136295b832

Add constraints resolution for dependencies
am: b9f20d1929

Change-Id: I7444d7025e31e849b59bd1d48f7919bfa80fb7b2

Add constraints resolution for dependencies

Each namespace may provide some list of libraries to other namespaces
and require some from others. From this constraints, generate mapping
between linker namespaces.

Bug: 144659031
Test: atest --host linkerconfig_modules_unittest
Change-Id: Ib3a948d4c5654557ad03adf8bade98cf527adc0f

Merge "Make sure that namespace links are ordered"
am: 964d6bddf1

Change-Id: I2e9791e854653ffd0d75d0572be1532538f6bf54

Merge "Make sure that namespace links are ordered"

Merge "Add runtime to unrestricted."
am: 637bd4d9bd

Change-Id: I9b9d9b15295b94689a39417d1204c4f50e6a4bc7

Merge "Add runtime to unrestricted."

Make sure that namespace links are ordered

Unit test added.

Bug: 144464148
Test: atest --host linkerconfig_modules_unittest
Change-Id: Id23f325b9354d4bf45c4d357e3cda6dbe82ee6d0

Use ordered sequences for namespace links
am: b461a7bffd

Change-Id: Id6a72654b0844c92fb1df08946a9791ca9934fbd

Use ordered sequences for namespace links

The order of namespace links matters since linker searches in order.

Bug: 144464148
Test: atest --host linkerconfig_contents_fulltest
Test: see manually generated ld.config.txt (sphal ns)
Change-Id: Ice3db7060bb7b1b2ebeba9d3a3fcfa22b623ccc6

Merge "vndk-ext should come before vndk(VNDK APEX)"
am: 1314c36936

Change-Id: Iaf16abaf2c5f4ac25c384f6d68b4e2262707c1b5

Merge "vndk-ext should come before vndk(VNDK APEX)"

vndk-ext should come before vndk(VNDK APEX)

vndk-ext (/vendor/{LIB}/vndk) should come before vndk
(/apex/com.android.vndk.v{VER}/{LIB}) so that vndk-ext eclipse vndk.

Test: atest --host linkerconfig_contents_fulltest
Test: add vndkext lib to /vendor/{LIB}/vndk and check if it is loaded
correctly.

Change-Id: I554e2d0fdf5429e7e2bb3b3b955d852351d54a9f

Add runtime to unrestricted.

Without this change, malloc debug and malloc hooks will not work
when executed from /data/local/tmp. This would represent a regression
from Q, and it also mean that atest could not run the system tests.

Also add the malloc debug and malloc hooks tests to this directory.

Test: malloc debug and malloc hooks system tests pass.
Change-Id: I5ecaa2710aef97d6b9468aa005bdf0a74f72014a

Retain relevant comments from system/core/rootdir/etc/ld.config.txt.
am: 7e36aeaa61

Change-Id: I12a163401f179ff3a393071a1f3b07b85e109f39

Retain relevant comments from system/core/rootdir/etc/ld.config.txt.

This CL carries over the comments from the old text config that was deleted
in https://r.android.com/1128832.

Test: N/A - comment changes only
Bug: 138920271
Change-Id: I4309599228cace3d19bba7bc992e80fe2eb66c69

Add runtime namespace
am: 72410b5474

Change-Id: I984c724a9e153a2fe950a833b660589a61354a1f