Merge remote-tracking branch 'cm/cm-14.1' into cm-14.1-x86

Update Android to tzdb 2020d [N-MR2 branch]

Change-Id: I60dd3afedbc14d55911071eec2a0077fb520ef1d

Update Android to tzdb 2020c [N-MR2 branch]

Change-Id: I438bd3a2958641314d399b64c7601ba01cb534e5

Update Android to tzdb 2020b [N-MR2 branch]

Change-Id: I87c67c2e6bad05e966598efb0685258ac28c5ad2

Merge remote-tracking branch 'cm/cm-14.1' into cm-14.1-x86

Update Android to tzdb 2020a [N-MR2 branch]

Change-Id: I98c1b222685e23d33577b04f6c140ed0eaaa6584

Merge remote-tracking branch 'x86/nougat-x86' into cm-14.1-x86

Merge remote-tracking branch 'cm/cm-14.1' into cm-14.1-x86

Merge tag 'android-7.1.2_r39' into nougat-x86

Android 7.1.2 Release 39 (5787804)

zoneinfo: Update tzdata to 2019c

Change-Id: I0b56919d36bcd34980f9477c97cd91d48019172e

zoneinfo: Update tzdata to 2019b

Change-Id: I5d9b4df925abcee731c8c6a33d61884b6241424f

zoneinfo: Update tzdata to 2019a

Change-Id: I9669b9546c3d2112b6d2ed36ef35737d506be7a5

zoneinfo: Update tzdata to 2018i

Test:
m -j bionic-unit-tests
m -j bionic-unit-tests-gcc
adb shell mkdir /data/tests
find out/target/product/chagalllte/data/ -type f -exec adb push '{}' /data/tests/ \;
adb shell "chmod 755 /data/tests/*"
adb push out/target/product/chagalllte/system/lib/libdl_preempt_test_1.so /data/tests/
adb push out/target/product/chagalllte/system/lib/libdl_preempt_test_2.so /data/tests/
adb push out/target/product/chagalllte/system/lib/libdl_test_df_1_global.so /data/tests/
adb shell "for TEST in /data/tests/*; do echo \"Running \$TEST:\"; LD_LIBRARY_PATH=/data/tests "\$TEST"; done"
adb shell rm -rf /data/tests

All time-related ("time.") tests must pass

Change-Id: I1233940de9f2074b1ce74ca154a3125a02e05858

zoneinfo: Update tzdata to 2018g

Change-Id: Ie9d8b25634eb342a22574ae257fb032a73c545ba

zoneinfo: Update tzdata to 2018f

Change-Id: I9be60d479df976b40bfe6dc3de10cbb38a207249

We require text relocations

Don't show annoying warnings.

zoneinfo: update timezone data to tzdata2018e

Change-Id: I0d0ad02266ee2b2a3d6ff2177a4f86dcf80c9af4

Merge remote-tracking branch 'x86/nougat-x86' into cm-14.1-x86

Merge tag 'android-7.1.2_r36' into nougat-x86

Android 7.1.2 Release 36 (N2G48H)

Merge remote-tracking branch 'cm/cm-14.1' into cm-14.1-x86

Merge tag 'android-7.1.2_r27' into nougat-x86

Android 7.1.2 release 27

Merge tag 'android-7.1.2_r24' into cm-14.1

Android 7.1.2 release 24

Merge cherrypicks of [2310999, 2310925, 2310891, 2311000, 2310892, 2310858, 2310986, 2310963, 2311043, 2310928, 2311044, 2310990, 2311022, 2311023, 2310917, 2310994, 2311024, 2311045, 2310967, 2310995, 2311003, 2311059, 2311025, 2311060, 2310953, 2311061, 2311004, 2311046, 2311005, 2311047, 2311006, 2311079, 2310954, 2311026, 2310896, 2310898, 2310997, 2311062, 2310955, 2311029, 2310998, 2311080, 2311119, 2311030, 2310933, 2311140, 2311063, 2310934, 2311049, 2311050, 2311084, 2311031, 2311145, 2311164] into nyc-mr2-security-c-release

Change-Id: I667231caeb04aec980799c4d1b0323eeec48e6cb

linker: remove link from external library on unload

When unloading library make sure the soinfo_link to parent
from linked external libraries is removed as well.

Bug: 36104177
Bug: http://b/37433850
Test: manual
Change-Id: I601b54144acecac54744805b38313c46045c54cb
(cherry picked from commit ee398f820700de30941fd82e38bd917e1513cbc6)
(cherry picked from commit b37d10cc8017c102530c096537890b7c6215ad2b)

Merge cherrypicks of [2310196, 2310339, 2310340, 2310175, 2310320, 2310321, 2310322, 2310323, 2310217, 2310311, 2310349, 2310313, 2310331, 2310314, 2310286, 2310368, 2310383, 2310272, 2310439, 2310317, 2310318, 2310370, 2310352, 2310459, 2310287, 2310384, 2310237, 2310422, 2310440, 2310372, 2310289, 2310374, 2310355, 2310461, 2310423, 2310375, 2310376, 2310385, 2310386, 2310275, 2310462, 2310442, 2310443, 2310539, 2310378, 2310445, 2310238, 2310446, 2310540, 2310335, 2310582, 2310454, 2310659, 2310392, 2310393, 2310437, 2310679, 2310626] into nyc-mr2-release

Change-Id: I5a1de2b2288cffd704b65b4847a53e99ba9c2053

linker: remove link from external library on unload

When unloading library make sure the soinfo_link to parent
from linked external libraries is removed as well.

Bug: 36104177
Bug: http://b/37433850
Test: manual
Change-Id: I601b54144acecac54744805b38313c46045c54cb
(cherry picked from commit ee398f820700de30941fd82e38bd917e1513cbc6)
(cherry picked from commit b37d10cc8017c102530c096537890b7c6215ad2b)

Merge cherrypicks of [2307556, 2307630, 2307631, 2307557, 2307632, 2307656, 2307743, 2307635, 2307799, 2307577, 2307800, 2307707, 2307803, 2307781, 2307773, 2307637, 2307804, 2307618, 2307734, 2307708, 2307805, 2307709, 2307806, 2307820, 2307746, 2307774, 2307839, 2307735, 2307782, 2307808, 2307840, 2307738, 2307783, 2307749, 2307775, 2307860, 2307899, 2307822, 2307823, 2307880, 2307778, 2307825, 2307882, 2307787, 2307919, 2307844, 2307905, 2307883, 2307829, 2307907, 2307832, 2307944, 2307945, 2307911] into nyc-mr2-pixel-monthly-release

Change-Id: I5ee69cd2add2d4c7eec11ee5982ab10fc84a6e31

linker: remove link from external library on unload

When unloading library make sure the soinfo_link to parent
from linked external libraries is removed as well.

Bug: 36104177
Bug: http://b/37433850
Test: manual
Change-Id: I601b54144acecac54744805b38313c46045c54cb
(cherry picked from commit ee398f820700de30941fd82e38bd917e1513cbc6)
(cherry picked from commit b37d10cc8017c102530c096537890b7c6215ad2b)

linker: remove link from external library on unload

When unloading library make sure the soinfo_link to parent
from linked external libraries is removed as well.

Bug: 36104177
Bug: http://b/37433850
Test: manual
Change-Id: I601b54144acecac54744805b38313c46045c54cb
(cherry picked from commit ee398f820700de30941fd82e38bd917e1513cbc6)
(cherry picked from commit b37d10cc8017c102530c096537890b7c6215ad2b)

linker: Allow text-relocs for x86 (only)

This effectively reverts

https://android.googlesource.com/platform/bionic/+/e4ad91f86a47b39612e030a162f4793cb3421d31%5E%21/#F0

for x86 platforms.  Unfortunately, this seems like it is required
if we are going to support ffmpeg.  The ffmpeg team decreed that they
require text relocations for x86 (only) and that they would not
fix the fact that android 6.0 makes ffmpeg unusable on x86:

https://trac.ffmpeg.org/ticket/4928

Change-Id: I68397f4d62f4f6acd8e0d41b7ecdc115969b890a

Add syscalls ioperm and iopl

libc: ARM: Add 32-bit Kryo memcpy

* Memcpy is based on Scorpion due to Qualcomm's
  128-bit cache line size optimizations.

* PLDOFFSET and PLDSIZE are from the ARM64 Kryo memcpy routine.

Below are the results of the benchmark, tested on a OnePlus 3 with MSM8996.

Before:
BM_string_memcpy/8                          1000k          8    0.934 GiB/s
BM_string_memcpy/64                         1000k         11    5.785 GiB/s
BM_string_memcpy/512                        1000k         25   19.918 GiB/s
BM_string_memcpy/1024                         50M         42   23.938 GiB/s
BM_string_memcpy/8Ki                          10M        473   17.291 GiB/s
BM_string_memcpy/16Ki                          5M        565   28.976 GiB/s
BM_string_memcpy/32Ki                       1000k       1105   29.631 GiB/s
BM_string_memcpy/64Ki                       1000k       2194   29.864 GiB/s

After:
BM_string_memcpy/8                          1000k          6    1.145 GiB/s
BM_string_memcpy/64                         1000k          7    8.560 GiB/s
BM_string_memcpy/512                        1000k         18   27.370 GiB/s
BM_string_memcpy/1024                         50M         33   30.340 GiB/s
BM_string_memcpy/8Ki                          10M        266   30.770 GiB/s
BM_string_memcpy/16Ki                          5M        553   29.599 GiB/s
BM_string_memcpy/32Ki                       1000k       1121   29.219 GiB/s
BM_string_memcpy/64Ki                       1000k       2208   29.678 GiB/s

Test: make otapackage
Test: Ran bionic unit tests on Pixel device. Verified memcpy wins on
Test: Pixel device.

Change-Id: Id7a9c37ef75a306dd5cf8d374d79d0fe83f8a3ba

libc: use Cortex-A7/A53 memset on Kryo

Tested on OnePlus 3 with MSM8996

Before (Krait):
BM_string_memset/8                          1000k          7    1.071 GiB/s
BM_string_memset/64                         1000k          9    6.720 GiB/s
BM_string_memset/512                        1000k         19   26.699 GiB/s
BM_string_memset/1024                       1000k         29   34.214 GiB/s
BM_string_memset/8Ki                          10M        184   44.302 GiB/s
BM_string_memset/16Ki                          5M        351   46.656 GiB/s
BM_string_memset/32Ki                          5M        686   47.744 GiB/s
BM_string_memset/64Ki                       1000k       1355   48.342 GiB/s

After (A7/A53):
BM_string_memset/8                          1000k          7    1.017 GiB/s
BM_string_memset/64                         1000k          7    8.039 GiB/s
BM_string_memset/512                        1000k         13   37.976 GiB/s
BM_string_memset/1024                       1000k         21   47.595 GiB/s
BM_string_memset/8Ki                          10M        150   54.354 GiB/s
BM_string_memset/16Ki                         10M        285   57.336 GiB/s
BM_string_memset/32Ki                          5M        555   59.016 GiB/s
BM_string_memset/64Ki                       1000k       1097   59.720 GiB/s

Test: make otapackage
Test: Verified this wins in all dimensions on a Pixel device.

Change-Id: I4cb72cc0363877de7c41d6f991149fda42fd0b4b

Add kryo support.

Currently, using kryo is the same as using krait, but there are specialized
routines that are pending that will be used after this commit.

Bug: 36728278

Test: Built and booted a sailfish using kryo.
Change-Id: Id7510640673c31f7536367041212db6d96a564f0

Merge tag 'android-7.1.2_r2' into cm-14.1

Android 7.1.2 Release 2 (N2G47E)

# gpg: Signature made Mon 03 Apr 2017 01:41:41 AM CDT
# gpg:                using DSA key E8AD3F819AB10E78
# gpg: Can't check signature: No public key

libc: memcpy_base: Disable opt for certain targets

memcpy_base.S optimization is yielding low
memory scores for 8x26 and 8x10. So this opt is
being conditionally compiled.

CRs-fixed: 790279

Change-Id: I5a5a60dfa81d86fd43b6be73fa344da861ebb33c

linker: Restore optional platform text relocations use

 * TARGET_NEEDS_PLATFORM_TEXT_RELOCATIONS was introduced
    in commit I994ab1a600a0b237b496ceebe2dd54febc28a6bd
    but lost during changes to allow user builds too
    in commit I92fadb191d74ccaede175715e9bd42650857ae88

Change-Id: Ia891988203f4025f798c31b14a001670d5916401

linker: Allow devices to force shim libs

There are certain contexts in which the environment is cleansed.
Two examples that I know of are gps processes and mali gles blobs.

Generally, it is a better idea to use the environment variable because
then you can customize it on a per-service / script level and it is
easier to test and debug changes on the fly.

However, to avoid having libdimytry hexedit these blobs, allow a
last resort device level forced list of shim libraries.

Change-Id: I2f6aff9325beb5aa2f748bf72e6c3c0535d5aac2

Merge tag 'android-7.1.1_r21' into cm-14.1

Android 7.1.1 release 21

# gpg: Signature made Wed 01 Feb 2017 04:40:05 PM CST
# gpg:                using DSA key E8AD3F819AB10E78
# gpg: Can't check signature: No public key

linker: Allow only specified non-PIE executables

For devices that rely on (hopefully a small number of) vendor provided
non position independent executables, a listing of those executables
can be provided to the linker to allow them to run. This limits the
severity of bypassing this security feature entirely.

Header file linker_non_pie_executables.h should be created per-device,
where the syntax of linker_non_pie_executables[] can be referenced
from linker_non_pie.cpp in this commit. The linker is made aware of
the header's existence via:

  LINKER_NON_PIE_EXECUTABLES_HEADER_DIR := path/to/include

This commit is designed very closely to commit 'non-pie: Allow only
select libs to be non-pie' (Ife1b2fcc75b418379fc382ae276e63905e8528e0)
by Anthony King, but has been amended for use with Android 7.1.

Change-Id: If4fe98e64bbdd91bfdec5de83247ea3d5688437e
(cherry picked from commit 91b06f97680cfceabba61c1b7859de18d1709312)

linker: allow text relocations on user builds

* This check was originally added to prevent this flag
  from making it in to production builds at inc. We're
  not shipping any production builds and in the interest
  of security regarding userdebug vs user, adb root for
  example, allow building with this flag on more secure
  builds.

Change-Id: I92fadb191d74ccaede175715e9bd42650857ae88
(cherry picked from commit 0178c1ee75ce5bf3f53d678f080200d348f346d0)

Revert "Revert "Reenable support for non-PIE executables""

* Conditionally revert under TARGET_NEEDS_NON_PIE_SUPPORT flag

This reverts commit 76e289c026f11126fc88841b3019fd5bb419bb67.

[mikeioannina]: Fix 5.1 compatibility
6.0 compatibility fixes by Stefan Berger <s.berger81@gmail.com>

Change-Id: I438b1f9f3dff2503a2dd51acbf2351d57f9e0f0b
(cherry picked from commit 9936a6389dc19f3eb5a5f7db7cb2e2efd791c033)

Fix streaming(memcpy) performance on Cortex-A7
am: b7ec7cac7d

Change-Id: I4f832430c4c473d76934511c2cf4ec2fbe4d0bc3

Add cortex-a7 specific routines.
am: 8402b42312

Change-Id: I50484b7bf4d541bc19054559633a838e02fe2c30

Fix streaming(memcpy) performance on Cortex-A7

Stream-mode detection for L1 in A7-core is failing for
non cache-line-size (non 64 byte) aligned addresses.
This leads to destination data getting cached unnecessarily.
This A7 issue is confirmed by ARM

This issue is solved by aligning destination address to 64 byte before
entering the loop in memcpy routine.
Though we get lower score for micro_bench memcpy when L1 cache is bypassed,
it is desirable since it avoids unnecessary eviction of other process data
from L1 which is good for overall system performance.

Higher micro_bench memcpy numbers for < 64byte alignment shows good numbers
but this is at the cost of L1 cache pollution. During memcpy/memset,
unnecessary data is filled in L1 cache, this causes eviction of other
process data from L1.
For example during msmset(0), L1 cache gets filled with 0s which should be
avoided.

Additionally, there is another issue with cortex A7 that impacts performance
for all alignments / all Android Wear versions:
Store Buffer on A7 is 32 byte which limits the 32-byte back to back stores.
In the current implementation back to back 32bytes writes is causing CPU stalls.
This issue can be solved by interleaved Loads and Stores.
This helps in avoiding CPU stalls during memcpy by utilizing efficiently the
A7 internal load and store buffers.

Bug: 31917556

Change-Id: Ie5f12f2bb5d86f627686730416279057e4f5f6d0
(cherry picked from commit cbfdc7f9054e0bc8071aaf3a70afc00273a8a869)

Add cortex-a7 specific routines.

Test: Changed angler target to use cortex-a7 and I compiled.
Test: Booted this version on angler and ran bionic-unit-tests.

Bug: 31917556

Change-Id: Ice7f6ea38a2569582161a8e659d7877918c1a45a
(cherry picked from commit ecebb49ac636b90b3db48b7375c26c07c95fd104)

Update timezone data to 2016g.

The 2016g release of the tz code and data is available. It reflects the
following changes, which were either circulated on the tz mailing list
or are relatively minor technical or administrative changes:

  Changes to future time stamps

    Turkey switched from EET/EEST (+02/+03) to permanent +03,
    effective 2016-09-07.  (Thanks to Burak AYDIN.)  Use "+03" rather
    than an invented abbreviation for the new time.

    New leap second 2016-12-31 23:59:60 UTC as per IERS Bulletin C 52.
    (Thanks to Tim Parenti.)

  Changes to past time stamps

    For America/Los_Angeles, spring-forward transition times have been
    corrected from 02:00 to 02:01 in 1948, and from 02:00 to 01:00 in
    1950-1966.

    For zones using Soviet time on 1919-07-01, transitions to UT-based
    time were at 00:00 UT, not at 02:00 local time.  The affected
    zones are Europe/Kirov, Europe/Moscow, Europe/Samara, and
    Europe/Ulyanovsk.  (Thanks to Alexander Belopolsky.)

  Changes to past and future time zone abbreviations

    The Factory zone now uses the time zone abbreviation -00 instead
    of a long English-language string, as -00 is now the normal way to
    represent an undefined time zone.

    Several zones in Antarctica and the former Soviet Union, along
    with zones intended for ships at sea that cannot use POSIX TZ
    strings, now use numeric time zone abbreviations instead of
    invented or obsolete alphanumeric abbreviations.  The affected
    zones are Antarctica/Casey, Antarctica/Davis,
    Antarctica/DumontDUrville, Antarctica/Mawson, Antarctica/Rothera,
    Antarctica/Syowa, Antarctica/Troll, Antarctica/Vostok,
    Asia/Anadyr, Asia/Ashgabat, Asia/Baku, Asia/Bishkek, Asia/Chita,
    Asia/Dushanbe, Asia/Irkutsk, Asia/Kamchatka, Asia/Khandyga,
    Asia/Krasnoyarsk, Asia/Magadan, Asia/Omsk, Asia/Sakhalin,
    Asia/Samarkand, Asia/Srednekolymsk, Asia/Tashkent, Asia/Tbilisi,
    Asia/Ust-Nera, Asia/Vladivostok, Asia/Yakutsk, Asia/Yekaterinburg,
    Asia/Yerevan, Etc/GMT-14, Etc/GMT-13, Etc/GMT-12, Etc/GMT-11,
    Etc/GMT-10, Etc/GMT-9, Etc/GMT-8, Etc/GMT-7, Etc/GMT-6, Etc/GMT-5,
    Etc/GMT-4, Etc/GMT-3, Etc/GMT-2, Etc/GMT-1, Etc/GMT+1, Etc/GMT+2,
    Etc/GMT+3, Etc/GMT+4, Etc/GMT+5, Etc/GMT+6, Etc/GMT+7, Etc/GMT+8,
    Etc/GMT+9, Etc/GMT+10, Etc/GMT+11, Etc/GMT+12, Europe/Kaliningrad,
    Europe/Minsk, Europe/Samara, Europe/Volgograd, and
    Indian/Kerguelen.  For Europe/Moscow the invented abbreviation MSM
    was replaced by +05, whereas MSK and MSD were kept as they are not
    our invention and are widely used.

  Changes to zone names

    Rename Asia/Rangoon to Asia/Yangon, with a backward compatibility link.
    (Thanks to David Massoud.)

Test: Ran CTS modules CtsLibcoreTestCases and CtsBionicTestCases.
Bug: 31848040
Change-Id: I4e9857616570ca9a540e27c109951ab265fea792

Revert "bionic: Registration of trapping calls during libc initialization"

 * Breaks camera on some devices.

This reverts commit 0ca32a954f09c5eca1afd9b009389e10a88d3537.

Change-Id: Id8652cf0e35ecf1ff4bb00899e1342ce04ebc409
(cherry picked from commit 6b9dac8b7f047fed67a608ae777877facf20f0fe)

linker: Make platform text relocations denial optional

 * Use the TARGET_NEEDS_PLATFORM_TEXT_RELOCATIONS := true
    configuration to allow a device to use legacy proprietary
    libraries like camera on non-user build variants

 * Partial revert "Remove textrels support for platform libs"
    commit 8068786ae67835291521e52f39c695e40f3ad20d.

Change-Id: I994ab1a600a0b237b496ceebe2dd54febc28a6bd

libc: allow forcing compilation with gcc

* fixes flo/mako sensors

Change-Id: Ic9327ed627b64aafc6a41db45dcb4d28e585c580

bionic: Use a more simple strrchr for arm64

 * Current version seems like overkill, and it doesn't compile with
   Clang. Use a simplified version from ARM.

Change-Id: I2fe5467b6a504ea04b5f28a08d92e7c2306772d0

libc: AArch64: Tune memcpy

* Further tuning for performance.

Change-Id: Id08eaab885f9743fa7575077924a947c1b88e4ff

libc: ARM64: add assembly strrchr

Change-Id: I59a0aa618bf8139dc0368af9ddf881eba5d3eadf

libc: ARM64: improve performance in strlen

Change-Id: Ic20f93a0052a49bd76cd6795f51e8606ccfbf11c

libc: ARM64: optimize memset.

 This is an optimized memset for AArch64.  Memset is split into 4 main
 cases: small sets of up to 16 bytes, medium of 16..96 bytes which are
 fully unrolled.  Large memsets of more than 96 bytes align the
 destination and use an unrolled loop processing 64 bytes per
 iteration.  Memsets of zero of more than 256 use the dc zva
 instruction, and there are faster versions for the common ZVA sizes 64
 or 128.  STP of Q registers is used to reduce codesize without loss of
 performance.

Change-Id: I0c5b5ec5ab8a1fd0f23eee8fbacada0be08e841f

libc: ARM64: Optimize memcpy.

 This is an optimized memcpy for AArch64.  Copies are split into 3 main
 cases: small copies of up to 16 bytes, medium copies of 17..96 bytes
 which are fully unrolled.  Large copies of more than 96 bytes align
 the destination and use an unrolled loop processing 64 bytes per
 iteration.  In order to share code with memmove, small and medium
 copies read all data before writing, allowing any kind of overlap.  On
 a random copy test memcpy is 40.8% faster on A57 and 28.4% on A53.

Change-Id: Ibb9483e45bbc0e8ca3d5ce98a31c55dfd8a5ac28

libc: ARM64: remove bcopy from memset

* Deprecated by ce9ce28e5d760e32ab6c894dfaf7b8dad6de7ff6

* Already removed from Denver memset

Change-Id: I7beda29a799c7fa11f5a239d78626f4da1b581a2

libc: arm: add optimized memchr implementation

This optimization is extracted from cortex-strings and bionic-ized,
and applied to arm-v7a cpus (a7, a9, a15, a53, denver, krait).

I ran stringbench[1] on ARM Juno, this optimization could outperform
origin C implementation by 77%.

[1] https://android.git.linaro.org/gitweb/platform/external/stringbench.git

Change-Id: I1c3fb0c89ce2b3ee7e44f492367b6caf6db58ccf
Signed-off-by: Yingshiuan Pan <yingshiuan.pan@linaro.org>

libc: Add Scorpion-optimized variant

 * Based on cortex-a8 variant with the following changes:
   Use krait memset/strcmp/memmove
 * Enable with TARGET_CPU_VARIANT := scorpion

Change-Id: I01d0f22efba5a418ddd20fca0d0c570d855e0f6f

bionic: fix scorpion architecture

use memmove.S from denver instead of krait

Change-Id: I6b346c79e803033bd20a5f6f96ddd3f1f1146f7a

libc: kryo: Override aosp routines

Change-Id: Ic7551bf1261a6bcfaf4e78bc88c13d86ee5d529c

bionic: Sort and cache hosts file data for fast lookup

The hosts file is normally searched linearly.  This is very slow when
the file is large.  To mitigate this, read the hosts file and sort the
entries in an in-memory cache.  When an address is requested via
gethostbyname or getaddrinfo, binary search the cache.

In case where the cache is not available, return a suitable error code
and fall back to the existing lookup code.

This has been written to behave as much like the existing lookup code as
possible.  But note bionic and glibc differ in behavior for some corner
cases.  Choose the most standard compliant behavior for these where
possible.  Otherwise choose the behavior that seems most reasonable.

Change-Id: I3b322883cbc48b0d76a0ce9d149b59faaac1dc58

bionic: Teach fnmatch(3) to handle UTF-8 characters in patterns

This is NOT comprehensive UTF-8 support.  It is just a quick hack to
make alternation work in bracket expressions so that the system file
manager can find files with non-ASCII names in root mode.  Bracket
expressions that contain non-ASCII ranges are explicitly avoided to
avoid the complexities of unicode collation rules.

Things like the following will now work:

fnmatch("те[с][т].jpg", "тест.jpg", 0);
fnmatch("test[αβγ].txt", "testβ.txt", 0);

Things like the following will still fail:

fnmatch("тес[а-я].txt", "тест.txt", 0);

Jira: CYNGNOS-2336

Change-Id: If38dc6692bc22d20128b0cd8a7632754a496d7fb

linker: Allow text-relocs for x86 (only)

This effectively reverts

https://android.googlesource.com/platform/bionic/+/e4ad91f86a47b39612e030a162f4793cb3421d31%5E%21/#F0

for x86 platforms.  Unfortunately, this seems like it is required
if we are going to support ffmpeg.  The ffmpeg team decreed that they
require text relocations for x86 (only) and that they would not
fix the fact that android 6.0 makes ffmpeg unusable on x86:

https://trac.ffmpeg.org/ticket/4928

Change-Id: I68397f4d62f4f6acd8e0d41b7ecdc115969b890a

Don't leak sockets if setsockopt() or fchown() fail.

Change-Id: Idcf8c08ff50d21c3a04b7ef80c4044f3f9762f2b

linker: Add support for dynamic "shim" libs

Add a new environment variable

LD_SHIM_LIBS

that is a colon (":") separated list of vertical bar ("|") separated pairs.
The pairs are the name for a soinfo reference (executable or shared library)
followed by the name of the shim library to load.  For example:

LD_SHIM_LIBS=rmt_storage|libshim_ioprio.so:/system/lib/libicuuv.so|libshim_icu53.so

will instruct the linker to load the dynamic library libshim_ioprio.so
whenver rmt_storage is executed [*] and will load libshim_icu53.so whenever
any executable or other shared library links against /system/lib/libicuuv.so.

There are no restrictions against circular references.  In this example,
libshim_icu53.so can link against libicuuv.so which provides a simple and
convenient means of adding compatibility symbols.

[*] Note that the absolute path is not available to the linker and therefore
using the name of executables does depend on the invocation and therefore
should only be used if absolutely necessary.  That is, running
/system/bin/rmt_storage would not load any shim libs in this example because
it does not match the name of the invocation of the command.

If you have trouble determining the sonames being loaded, you can also set
the environment variable LD_DEBUG=1 which will cause additional information
to be logged to help trace the detection of the shim libs.

Change-Id: I0ef80fa466167f7bcb7dac90842bef1c3cf879b6

linker: Fix the fact that shim libs do not properly call constructors

Change-Id: I34333e13443a154e675b853fa41442351bc4243a

linker: Don't try to walk the g_active_shim_libs when doing dlsym

This is a bug in the original shim_lib implementation which was
doing the shim lib resolution both when loading the libraries
and when doing the dynamic symbol resolution.

Change-Id: Ib2df0498cf551b3bbd37d7c351410b9908eb1795

Revert "Revert "linker: Reset the active shim libs each time we do a dlopen""

This reverts commit fd0140b028dedabc572f4659cc015edfeee3cd60.

Change-Id: I42b3acfcdc6b84251a396b9e42604bb5685196bd

Make shim lib load failure non-fatal.

Instead, print an appropriate warning message. Aborting symbol
resolution on shim lib load failure leads to weird symbol lookup
failures, because symbols in libraries referenced after the one loading
the shim won't be loaded anymore without a log message stating why that
happened.

Change-Id: Ic3ad7095ddae7ea1039cb6a18603d5cde8a16143

bionic: Do not allow LD_SHIM_LIBS for setuid executables

That's really not safe...

Change-Id: If79af951830966fc21812cd0f60a8998a752a941

bionic: linker: Load shim libs *before* the self-linked libs

By loading them earlier, this allows us to override a symbol in
a library that is being directly linked.

I believe this explains why some people have had problems shimming
one lib but when the changet he shim to be against a different
lib it magically works.

It also makes it possible to override some symbols that were
nearly impossible to override before this change.  For example, it is
pretty much impossible to override a symbol in libutils without
this change because it's loaded almost everywhere so no matter
where you try to place the shimming, it will be too late and
the other symbol will have priority.

In particularly, this is necessary to be able to correctly
shim the VectorImpl symbols for dlx.

Change-Id: I461ca416bc288e28035352da00fde5f34f8d9ffa

linker: Update find_library call for shimlibs

commits 0cdef7e7f3c6837b56a969120d9098463d1df8d8
"Respect caller DT_RUNPATH in dlopen()."
and 42d5fcb9f494eb45de3b6bf759f4a18076e84728
"Introducing linker namespaces"
added new arguments to find_library, add them here.

Change-Id: I8f35a45b00d14f8b2ce01a0a96d2dc7759be04a6

linker: Update LD_SHIM_LIBS parser function

 * Upgrade the code using the same changes as
    42d5fcb9f494eb45de3b6bf759f4a18076e84728
    bda20e78f0f314dbbf0f0bbcf0740cf2d6a4b85e

Change-Id: Ic8be0871945bd9feccd0f94a6770f3cc78a70a0f

Inject shim libs as if they were DT_NEEDED.

The previous separate approach had one flaw: If the shim lib requires
another lib that's already loaded, find_library_internal() would return
the previously loaded copy, but the later load action would fail as the
ELF reader map of the initial loading round was already discarded and
thus a new ElfReader instance for the soinfo instance was created, which
didn't know about the previous reading/loading state.

Change-Id: Ib224dbd35d114197097e3dee14a077cc9130fedb

linker: load shims prior to dt_needed check

This allows shims to override existing symbols, not just
inject new symbols.

Change-Id: Ib9216bcc651d8d38999c593babb94d76dc1dbc95

bionic: Let popen fall back to /sbin/sh

minivold in recovery uses popen, where /system/bin/sh is not available.

Change-Id: I2136b0ca4188b7b44416f5d79492fc006382d4ad

bionic: Add flag to restore legacy mmap behavior

* Pre-lollipop mmap would not care whether offset was signed
  or unsigned.
* Lollipop adds 64-bit support which results in sign extension
  of offset, causing a negative offset when
  a positive offset > 2^31 is given.

Change-Id: I5d19d898fc131cf848217974915d1b466a474f99

Check for bad packets in getaddrinfo.c's getanswer.

The near duplicate in gethnamaddr.c was already doing so (this fix
is basically copy and pasted from there, but with both copies modified
to avoid skirting undefined behavior).

Bug: http://b/32322088
Test: browser still works
Change-Id: Ied6662be567fb1bddc7ceb138cae1da77fb57976
(cherry picked from commit 27a4459d945e34fabd7166791a5b862ccea83f23)
(cherry picked from commit 418fe1eb1aeefc2268a40c5cec0ceb62672fa026)

Merge c1bc1aae77adc93d95f468b5b02d1140b15861ce on remote branch

Change-Id: Id1861ea7a66203dc7cc1e884426f235d9a6fa3ec

Check for bad packets in getaddrinfo.c's getanswer. am: 105a0bdfa5 am: 214dd6e0fb am: 71e3bb5d42  -s ours am: 170de03123 am: 59c1e60f83 am: 148a06a7c3 am: 16de57d711 am: 7a163f01d0 am: f2ecd5dc25 am: 9b48faee8a am: 492039369d am: 7cd170c2f4 am: 5c03247adb
am: f1f00fc1f6

Change-Id: I30d5c6beb53418e3869180c42185271fc9c553c5

Check for bad packets in getaddrinfo.c's getanswer. am: 105a0bdfa5 am: 214dd6e0fb am: 71e3bb5d42  -s ours am: 170de03123 am: 59c1e60f83 am: 148a06a7c3 am: 16de57d711 am: 7a163f01d0 am: f2ecd5dc25 am: 9b48faee8a am: 492039369d am: 7cd170c2f4
am: 5c03247adb

Change-Id: I84c4d03f3763e9c3f1e091e7fc6f9b8da0c10679

Check for bad packets in getaddrinfo.c's getanswer. am: 105a0bdfa5 am: 214dd6e0fb am: 71e3bb5d42  -s ours am: 170de03123 am: 59c1e60f83 am: 148a06a7c3 am: 16de57d711 am: 7a163f01d0 am: f2ecd5dc25 am: 9b48faee8a am: 492039369d
am: 7cd170c2f4

Change-Id: I91141842fd5526887ccd7d99f02368dea36788a6

Check for bad packets in getaddrinfo.c's getanswer. am: 105a0bdfa5 am: 214dd6e0fb am: 71e3bb5d42  -s ours am: 170de03123 am: 59c1e60f83 am: 148a06a7c3 am: 16de57d711 am: 7a163f01d0 am: f2ecd5dc25 am: 9b48faee8a
am: 492039369d

Change-Id: I0a3e4b288a282d3a11249bf804161de3f0848bde

Check for bad packets in getaddrinfo.c's getanswer. am: 105a0bdfa5 am: 214dd6e0fb am: 71e3bb5d42  -s ours am: 170de03123 am: 59c1e60f83 am: 148a06a7c3 am: 16de57d711 am: 7a163f01d0 am: f2ecd5dc25
am: 9b48faee8a

Change-Id: I814f637cca0c7309d730450e4d3f05aa1b5d684c

Check for bad packets in getaddrinfo.c's getanswer. am: 105a0bdfa5 am: 214dd6e0fb am: 71e3bb5d42  -s ours am: 170de03123 am: 59c1e60f83 am: 148a06a7c3 am: 16de57d711 am: 7a163f01d0
am: f2ecd5dc25

Change-Id: I175cc9208a110413eece74afd03476b2776a7a88

Check for bad packets in getaddrinfo.c's getanswer. am: 105a0bdfa5 am: 214dd6e0fb am: 71e3bb5d42  -s ours am: 170de03123 am: 59c1e60f83 am: 148a06a7c3 am: 16de57d711
am: 7a163f01d0

Change-Id: I1d37717604f210fbc1c1ddabbd69ec55f118cc48

Check for bad packets in getaddrinfo.c's getanswer. am: 9ea3f1c8a5 am: 62b2f0523e am: 91b8b9dd71  -s ours am: 2ad4e6e4f6 am: c58d806231 am: ffcf543b9c am: c08dc9cbb3 am: bc9f3827ab am: 39d3f63f99 am: 9f6aad92e1
am: 6363136e67

Change-Id: I6c44291a07246b6c808a28318fab41341254e07b

Check for bad packets in getaddrinfo.c's getanswer. am: 105a0bdfa5 am: 214dd6e0fb am: 71e3bb5d42  -s ours am: 170de03123 am: 59c1e60f83 am: 148a06a7c3
am: 16de57d711

Change-Id: I93395c898ac3b1ef6ebeb6ca53c52a057b7d108d

Check for bad packets in getaddrinfo.c's getanswer. am: 9ea3f1c8a5 am: 62b2f0523e am: 91b8b9dd71  -s ours am: 2ad4e6e4f6 am: c58d806231 am: ffcf543b9c am: c08dc9cbb3 am: bc9f3827ab am: 39d3f63f99
am: 9f6aad92e1

Change-Id: I6e20fed16e234c25d5fcd575597eab5ae2288f6b

Check for bad packets in getaddrinfo.c's getanswer. am: 105a0bdfa5 am: 214dd6e0fb am: 71e3bb5d42  -s ours am: 170de03123 am: 59c1e60f83
am: 148a06a7c3

Change-Id: I2b04ead381c43e5afee710813cff4f1b12d10419

Check for bad packets in getaddrinfo.c's getanswer. am: 9ea3f1c8a5 am: 62b2f0523e am: 91b8b9dd71  -s ours am: 2ad4e6e4f6 am: c58d806231 am: ffcf543b9c am: c08dc9cbb3 am: bc9f3827ab
am: 39d3f63f99

Change-Id: I9f8a9b9e3b7a1eeb8bd7fd9ab80a25ff04f533ea

Check for bad packets in getaddrinfo.c's getanswer. am: 105a0bdfa5 am: 214dd6e0fb am: 71e3bb5d42  -s ours am: 170de03123
am: 59c1e60f83

Change-Id: I674cdcf370ca9820273aa21fe0b409c0d4351792

Merge "Check for bad packets in getaddrinfo.c's getanswer." into nyc-dev am: 568757393a am: cefc226477 am: 2206299bbf
am: ac1a7b0b43

Change-Id: Ie67641d5c1363efd04049e318a09f432baa321ec

Check for bad packets in getaddrinfo.c's getanswer. am: 9ea3f1c8a5 am: 62b2f0523e am: 91b8b9dd71  -s ours am: 2ad4e6e4f6 am: c58d806231 am: ffcf543b9c am: c08dc9cbb3
am: bc9f3827ab

Change-Id: Ib1a2089dd005e2312d46add2da8fd2e38887faa6

Check for bad packets in getaddrinfo.c's getanswer. am: 105a0bdfa5 am: 214dd6e0fb am: 71e3bb5d42  -s ours
am: 170de03123

Change-Id: Ib9c8bcb874cdc99c06951102da7cee61b5d09dc2

Check for bad packets in getaddrinfo.c's getanswer. am: 418fe1eb1a am: 263fb70e6c am: d929beb65c
am: 0818861f31

Change-Id: I04ea56a41daf49855c6dc07aa2fe0a0b33a07d44

Merge "Check for bad packets in getaddrinfo.c's getanswer." into nyc-dev am: 568757393a am: cefc226477
am: 2206299bbf

Change-Id: I07c8e188931424acd4987eae9cceae2e4f7b2373

Check for bad packets in getaddrinfo.c's getanswer. am: 9ea3f1c8a5 am: 62b2f0523e am: 91b8b9dd71  -s ours am: 2ad4e6e4f6 am: c58d806231 am: ffcf543b9c
am: c08dc9cbb3

Change-Id: Iea58d7677bfdc67c381dd5e0d415328704f98525

Check for bad packets in getaddrinfo.c's getanswer. am: 105a0bdfa5 am: 214dd6e0fb
am: 71e3bb5d42  -s ours

Change-Id: I9128113ef3843603ce29409baa375d72a2c70804

Check for bad packets in getaddrinfo.c's getanswer. am: 418fe1eb1a am: 263fb70e6c
am: d929beb65c

Change-Id: I3424df295560dc1fb97ea3044cd9bf2a201f4cd6

Merge "Check for bad packets in getaddrinfo.c's getanswer." into nyc-dev am: 568757393a
am: cefc226477

Change-Id: I4c317f9307640688bead99bf19e556c8e7724f88

Check for bad packets in getaddrinfo.c's getanswer. am: 9ea3f1c8a5 am: 62b2f0523e am: 91b8b9dd71  -s ours am: 2ad4e6e4f6 am: c58d806231
am: ffcf543b9c

Change-Id: I4b1d461cea68db0d8b88a7e0d5755987b8c9c2d3

Check for bad packets in getaddrinfo.c's getanswer. am: 418fe1eb1a
am: 263fb70e6c

Change-Id: I875853245a74d4b164555dc665450db7d3335c0f

Merge "Check for bad packets in getaddrinfo.c's getanswer." into nyc-dev
am: 568757393a

Change-Id: I7dd7da0c79692a2773fafbbd7c7583c5404789f4

Check for bad packets in getaddrinfo.c's getanswer. am: 9ea3f1c8a5 am: 62b2f0523e am: 91b8b9dd71  -s ours am: 2ad4e6e4f6
am: c58d806231

Change-Id: Iccad5db8fbed8d449c07fbfcdcbf5fc0d7f160e5

Check for bad packets in getaddrinfo.c's getanswer.
am: 418fe1eb1a

Change-Id: Ieb228346980c1718e42aa6673dcee530f54ac2fc

Merge "Check for bad packets in getaddrinfo.c's getanswer." into nyc-dev

Check for bad packets in getaddrinfo.c's getanswer. am: 9ea3f1c8a5 am: 62b2f0523e am: 91b8b9dd71  -s ours
am: 2ad4e6e4f6

Change-Id: I36e2e234308fe8e527acd45c53b918fd4a8f20cf

Check for bad packets in getaddrinfo.c's getanswer. am: 105a0bdfa5
am: 214dd6e0fb

Change-Id: Icb2a9662e7909d5e9e23fddf632999053398d0f6

Check for bad packets in getaddrinfo.c's getanswer. am: 9ea3f1c8a5 am: 62b2f0523e
am: 91b8b9dd71  -s ours

Change-Id: Ifd8532b08f3545aa93561cb73226f116ace49e19