Merge remote-tracking branch 'goog/ics-aah-exp' into merge

Merge "Use NuPlayer for media playback everywhere"

Use NuPlayer for media playback everywhere

if media.stagefright.use-nuplayer is set to true.

Change-Id: Ibb217e7d7d5195b7feeea557554fe78e1585744c

LibAAH_RTP: Fix an issue which crept in during code review.

Fix a mistake which came in as part of a merge conflict resolution
during code review of the recent unicast mode refactor of LibAAH_RTP.
Nop packet which were supposed to carry TS transformations for the
pause state accidentally got flagged as Flush operations.  The flush
packet successfully carried the TS transformation, but also had the
undesired side effect of constantly flushing the stream.

Change-Id: I4c6aa0043fc274a1d7e880ed1d19cf277f22194b
Signed-off-by: John Grossman <johngro@google.com>

Merge "Remove enforceFrameCount"

Support gapless playback for mp3 and m4a

Gapless playback for appropriately tagged mp3 and m4a files.
Currently this is implemented in OMXCodec, which most players
use, but should be easy to support in other players as well by
using the SkipCutBuffer utility class.

Change-Id: I748c669adc1cfbe5ee9a7dea2fad945d48882551

Merge "Split libmedia into libmedia and libmedia_native"

Split libmedia into libmedia and libmedia_native

This is still in the old location

Change-Id: Ic1be549b5b607cfd519cb4cecc581624510a4ee1

Remove enforceFrameCount

It was only used to decide whether to issue a warning.
The warning was issued the first time track was created but
not at re-creation.  Now it is a verbose message every time,
not a warning since it happens all the time with key clicks on A2DP.

Change-Id: I9d39f53c0a7eb84b666e55b1b76ff830cf8f37ba

Merge "Add MetaData::dumpToLog"

Add MetaData::dumpToLog

Utility method for dumping the content of a MetaData object to the log.

Change-Id: I2d91b991e1d9fed2215e8995a73c2b1854205074

LibAAH_RTP: Properly handle EOS conditions.

EOS was being treated as a flush operation which was causing problems.
In particular, the transmitter was delcaring that playback was
complete early (by the clock lead time of the system, which was 1
second in this case).  Also, the receiver was treating the EOS message
just like the flush message, immediately destroying the substreams
associated with the program without letting them play out first.

Change the transmitter to send the EOS message like it always does,
but have it wait until the media time of the last sample has arrived
before reporting playback complete to the app level of things.

On the receiver side of things, don't treat the EOS message like the
flush message.  Instead, have the EOS message simply put the substream
into EOS mode, allowing it to signal EOS to its decoder and shut off
the isAboutToUnderflow hack.

Change-Id: Ibe3ac01044373f83edb7a5f4b70478bd78c16d11

LibAAH_RTP: Get rid of PipeEvent

Bionic/Android support eventfd, so there is really no reason to have
PipeEvent around any more.  This change gets rid of it in LibAAH_RTP
and replaces it with eventfds.

Change-Id: I841fcb71bf5015d521d7517c69f44eac0ea92278
Signed-off-by: John Grossman <johngro@google.com>

LibAAH_RTP: Add unicast mode support to the RXPlayer

Add support for unicast mode to the AAH RXPlayer.  At the API level,
things should be pretty simple.  To use unicast mode, instead of
passing the multicast address and port in the data source URL, just
pass the unicast address and port of the transmitters command and
control port.  For example, instead of

aahRX://224.128.60.5:8867

one might instead pass

aahRX://192.168.63.5:55476

Change-Id: I7b40716983d7a91def86dcf40f093dda4255aae3
Signed-off-by: John Grossman <johngro@google.com>

LibAAH_RTP: Fix a stuttering audio bug.

Fix a bug discovered while working on adding unicast mode to the TX/RX
players.  Also some general cleanup/consolidation regarding timeout
code.

The bug went like this.  When a TX player had hit EOS, it would send
an EOS command payload to its receivers.  Later, when application
level code shutdown and cleaned up the player, it would send another.
In situations where there is massive packet loss, there is a chance
that not only did both of the EOS packets get dropped, but that they
never got filled in by the retry algorithm because the receiver gave
up on the RTP gap due to an aboutToUnderflow situation in at least one
of its active substreams.

When this happens, there are two major problems.  First, all of the
substreams associated with the TX player which has now gone away have
become effectively leaked.  They will only get cleaned up if the
entire RTP stream (the TX Group) goes away for 10 seconds or more, or
when the RX Player itself is reset by application level code or a
fatal error.  These substreams are holding decoder and renderer
resources which are probably in very short supply, which is a Bad
Thing.

Second, there is now at least one substream in the RX player which is
never going to receive another payload (its TX player source is gone),
but is still considered to be active by the rx player.  Assuming that
this substream's program was in the play state when the track ended,
there is now at least one substream which is always
"aboutToUnderflow".  From here on out, when the retry algorithm is
attempting to decide whether or not it has the time to attempt to fill
in a gap in the muxed RTP sequence, it always decides that it does not
have the time because of the orphaned substream which is stuck in its
about to underflow state.  This effectively means that the retry
algorithm is completely shut off until the rx player gets reset
somehow (something which does not happen during normal operation).
Since the environment had to be extremely lossy to trigger this chain
of events in the first place, and its probably no better now, your
playback is just going to be chock full of gaps which produces
horrible stuttering in the presentation stage of the system.

Two new failsafes have been introduced to keep the double EOS drop
from causing this.  First, a timeout has been introduced on the
substream level, in addition to the already existing RTP level
timeout.  If a substream fails to receive an activity for 10 seconds
(same timeout as the master RTP timeout), it will be automatically
flushed and purged.

Second, the nature of the master RTP timeout on the transmitter side
has been changed.  Instead of just sending an empty NOP command packet
to indicate that the main RTP stream is still alive, the transmitter
now sends a new time of command packet; the Active Program Update
packet.  This packet contains a list of all the active program ID
attached to this TX group.  Upon receiving one of these APU packets,
RX players reset the inactivity timers for all substreams which are
members of the programs listed in the packet, but they also
immediately purge any substreams associated with programs not present
in the APU.

Between the two of these, no matter how nasty and selective the packet
smashing gremlins in your system happen to be, substreams will always
eventually clean up and avoid getting stuck in a perma-stutter
situation.

Also in this CL:
+ Extract some common utility code into a utils.cpp file so that it
  can be shared across the library.
+ Stop using custom timeout logic in the RXPlayer.  Instead, use the
  common Timeout helper class in utils.cpp.

Signed-off-by: John Grossman <johngro@google.com>
Change-Id: I350869942074f2cae020f719c2911d9092ba8055

LibAAH_RTP: Refactor TXGroup code, add unicast mode.

Significantly refactor the TXGroup code to allow transmit groups to
operate in a unicast fanout mode in addition to the traditional pure
multicast mode.  Important changes include...

+ Each transmit group active in the system now has its own socket to
  send and receive traffic on.  In the past, this socket was used to
  listen for retry requests from clients.  Now it is also used to
  listen for group membership reports (IGMPv3 style) from unicast
  clients.  Having an individual socket per transmit group allows
  unicast clients to join the group needing only the IP address and
  port of the transmitters socket, and not needing any additional
  "group id" to be sent to the client beforehand.
+ Setup for the transmitter is now slightly different.  As before, to
  setup for multicast mode, a user can call setRetransmitEndpoint
  passing an IPv4 multicast address and specific port to transmit to.
  It used to also be the case that a user could pass a specific
  unicast address and port to transmit to as well.  This is no longer
  allowed.  Instead, to operate in unicast mode, a user passes 0.0.0.0
  (IPADDR_ANY) as the IP address.  In addition, they need to pass
  either 0 for a port to create a new unicast mode TX group, or they
  need to pass a specific port to cause the player to attempt to use
  an existing unicast mode TX group.  The specific port should be the
  command and control port of the TX group which was bound to when the
  group was originally created.
+ A magic invoke was added to allow clients to fetch the command and
  control port on which a TX Player's TX Group is listening.

The API described above is most likely temporary and should eventually
be replaced with one where TX groups are formal top level objects with
their own independent interface and life-cycle management.

Signed-off-by: John Grossman <johngro@google.com>
Change-Id: Ib4e9737c10660d36c50f1825c9824fff5390b1c7

Merge "Parse gapless info from mp4 files"

LibAAH_RTP: Change names to prepare for refactor.

Rename AAH_TXSender to AAH_TXGroup in preparation for refactoring to
support unicast retransmission.

Signed-off-by: John Grossman <johngro@google.com>
Change-Id: I3984db27d1c61c6155d5d7cb9c38eead421b9249

Parse gapless info from mp4 files

Change-Id: I4c83d4e12e996dc29708268e68a4bb74b368c6f3

am fcf2f4b1: am 98e1b541: Reconcile with ics-mr1-release

* commit 'fcf2f4b17338501d8498a2a16eb832445b293e8f':

am 98e1b541: Reconcile with ics-mr1-release

* commit '98e1b541f271e92b9dc25d54e275c28102746b04':

Reconcile with ics-mr1-release

Change-Id: Id19190393a665dd1b07c073970925758aa383691

am a4a09465: am 35a8f94d: Reconcile with ics-mr1-release

* commit 'a4a09465569d0f4cce36f089fa02d5ef9b95db81':
  Fix 5960562: Show emergency button on PukUnlock screen

Merge "Clean up Track constructor"

am 35a8f94d: Reconcile with ics-mr1-release

* commit '35a8f94da6a8a3a6757e5663bfcbcd044f72a92a':
  Fix 5960562: Show emergency button on PukUnlock screen

Reconcile with ics-mr1-release

Change-Id: I10d78e60e39606f85cfa6fc7e9a7da14db0eeb0a

Merge "AudioMixer can be configured for fewer max tracks"

Merge "Update comments"

Merge "Whitespace"

Merge "new doesn't fail on Android"

am d58b6cd1: am cbc90453: am 14958e21: Merge "audioflinger: fix issue with camcorder and A2DP" into ics-mr1

* commit 'd58b6cd1e3fdf3deb5147daec556fe424a568732':

am a48285c4: am 165ee4c5: am 14958e21: Merge "audioflinger: fix issue with camcorder and A2DP" into ics-mr1

* commit 'a48285c4f22ffc43f1771ebd1ff35dcec48db2c7':
  audioflinger: fix issue with camcorder and A2DP

am 044e7503: am eaa08d35: am 2a0d685e: Merge "MediaPlayerService: fix AudioSink latency" into ics-mr1

* commit '044e7503ccdcd81adb69b5218b3b92ede47b005a':

resolved conflicts for merge of ec94ecad to master

Change-Id: I13bc9671cc1ef02bede7e83253aa8a005367fa0c

Merge "Handling end times of subtitles."

Handling end times of subtitles.

Change-Id: Ic19ec8980d0a2bf9f265d375cd56e638a2460af8

am eb99cacc: am b388138f: resolved conflicts for merge of 3fe7ee65 to ics-mr1-plus-aosp

* commit 'eb99caccd7165385fc83b0175c6d176c990f179b':

am 04353390: resolved conflicts for merge of 393dd03e to ics-scoop-plus-aosp

* commit '04353390722b9195434cc86af4414004eff058e8':
  AudioTrack: relax check on minimum buffer size

AudioMixer can be configured for fewer max tracks

Change-Id: I371b17cef071d083eecf35cd3627a3adff907a33

Clean up Track constructor

The 'thread' parameter can never be NULL.
Use constructor initialization list when possible.
Make more members const.
Only put the relevant code under "if (mCblk != NULL)".
Add comment about track name leak.

Change-Id: Ib963390a69bed1999638cc982a759edd1d5f4712

Merge "Add libmedia_native"

Merge "Move COM tag parsing to constructor"

Move COM tag parsing to constructor

Change-Id: Icfcf05655ca98ccccad4f94834770c2f4098a764

Merge "Parse mp3 encoder padding/delay"

Parse mp3 encoder padding/delay

Get the mp3 encoder padding and delay from a XING frame or iTunSMPB tag.

Change-Id: Icde598c8857d7e7c187a718f478ee9799d6a1b8a

Merge "Do not set camera preview display if the surface is null."

Whitespace

Fix indentation, and add blank lines in key places for clarity

Change-Id: I57a0a8142394f83203161aa9b8aa9276abf3ed7c

Add libmedia_native

Change-Id: I3ac357c78fb89f108d15c6e5b9fa317de0e9fb9a

Merge "Add libmedia_native"

Update comments

Change-Id: I327663a020670d0a72ff57bd0b682e2ce0528650

new doesn't fail on Android

Change-Id: I5079a3bf31097dd0807b2d806d5f8d3cff2077ab

am cbc90453: am 14958e21: Merge "audioflinger: fix issue with camcorder and A2DP" into ics-mr1

* commit 'cbc90453248bd3f9a11fdbc07e544d4a39592934':

am 165ee4c5: am 14958e21: Merge "audioflinger: fix issue with camcorder and A2DP" into ics-mr1

* commit '165ee4c53da462b1b6d131e25456dade51c18496':
  audioflinger: fix issue with camcorder and A2DP

am 14958e21: Merge "audioflinger: fix issue with camcorder and A2DP" into ics-mr1

* commit '14958e21c12f922d7501d32c3bec05109eb342d5':
  audioflinger: fix issue with camcorder and A2DP

am 14958e21: Merge "audioflinger: fix issue with camcorder and A2DP" into ics-mr1

* commit '14958e21c12f922d7501d32c3bec05109eb342d5':
  audioflinger: fix issue with camcorder and A2DP

am 14958e21: Merge "audioflinger: fix issue with camcorder and A2DP" into ics-mr1

* commit '14958e21c12f922d7501d32c3bec05109eb342d5':
  audioflinger: fix issue with camcorder and A2DP

Merge "audioflinger: fix issue with camcorder and A2DP" into ics-mr1

Merge "audio_channel_in/out_mask_from_count"

Do not set camera preview display if the surface is null.

MediaRecorder.setPreviewDisplay() is not required if applications
use MediaRecorder.setCamera(). Besides, this causes a problem when
apps use Camera.setPreviewTexture. Camera service thinks the
surface texture from Camera.setPreviewTexture and the surface from
MediaRecorder.setPreviewDisplay are different.

bug:5988937

Change-Id: Ia345705b6679ef349db6e354feaa3cc0fe8bcd8c

audioflinger: fix issue with camcorder and A2DP

Some audio HALs do not support well a device selection of 0 (no device)
received on an input stream.

This can happen because of a problem in the audioflinger code that handles
the forwarding of the output device selection to the record thread for use by
the pre processing modules that need it. If the output device is 0 (meaning
no op, which happens when stopping playback over A2DP) audioflinger could not
detect it was an output device selection and would forward it to the input
stream (see AudioFlinger::setParameters() and RecordThread::checkForNewParameters_l().

Issue 6179641.

Change-Id: Idae534521866538e0d12ba259a2834f402a922e2

merge in ics-mr1-release history after reset to ics-mr1

am eaa08d35: am 2a0d685e: Merge "MediaPlayerService: fix AudioSink latency" into ics-mr1

* commit 'eaa08d35154b0b9d62098c80c75f2deeadf72b9e':

am b1853f70: am 2a0d685e: Merge "MediaPlayerService: fix AudioSink latency" into ics-mr1

* commit 'b1853f706371b5050cd8184f5c33955c2f5ae36a':
  MediaPlayerService: fix AudioSink latency

am 2a0d685e: Merge "MediaPlayerService: fix AudioSink latency" into ics-mr1

* commit '2a0d685ed62ff7a5e5a40be0748860c092165984':
  MediaPlayerService: fix AudioSink latency

am b388138f: resolved conflicts for merge of 3fe7ee65 to ics-mr1-plus-aosp

* commit 'b388138ff2986d6883fa9331fa91ae5e18ae81a0':

resolved conflicts for merge of 393dd03e to ics-scoop-plus-aosp

Change-Id: Ib6af53957780a09e59d663206b956a39fe883d6a

resolved conflicts for merge of 3fe7ee65 to ics-mr1-plus-aosp

Change-Id: Ia7e1cd869779e9f512e840b768f5b43992c8a122

Merge "Report an error instead of waiting for EOS indefinitely in sf2."

am 2a0d685e: Merge "MediaPlayerService: fix AudioSink latency" into ics-mr1

* commit '2a0d685ed62ff7a5e5a40be0748860c092165984':
  MediaPlayerService: fix AudioSink latency

am 3fe7ee65: Merge "AudioTrack: relax check on minimum buffer size" into ics-mr1

* commit '3fe7ee651db0aae9485ead227c89db1e24b9e245':
  AudioTrack: relax check on minimum buffer size

am 2a0d685e: Merge "MediaPlayerService: fix AudioSink latency" into ics-mr1

* commit '2a0d685ed62ff7a5e5a40be0748860c092165984':
  MediaPlayerService: fix AudioSink latency

am 3fe7ee65: Merge "AudioTrack: relax check on minimum buffer size" into ics-mr1

* commit '3fe7ee651db0aae9485ead227c89db1e24b9e245':
  AudioTrack: relax check on minimum buffer size

Report an error instead of waiting for EOS indefinitely in sf2.

Change-Id: Id7bcfb90a3b6a61f0df8bd8f39ea4ffa3c433d87

Merge "ACodec is a little more aggressive in its error checking now."

MediaPlayerService: fix AudioSink latency

The AudioSink latency is currently cached when the associated AudioTrack
is created. However, the AudioTrack latency can change if the AudioTrack is moved
from one output stream to another.
The AudioPlayer must also periodically update its view of the latency
as it is needed to compensate the real audio time used for A/V sync.

This fixes an A/V sync problem seen when switching A2DP on and off while
playing a video.

Change-Id: I28b24049ca114e1af3e24791dcc900f463536ba4

Conflicts:

media/libmediaplayerservice/MediaPlayerService.cpp

AudioTrack: relax check on minimum buffer size

Current AudioTrack implementation enforces that the requested audio
buffer size is at least corresponding the audio latency.
This requirement is too strong and leads to problems with current
stagefright and AudioSink implementations when playing over output
streams with long latency.

Ultimately, the AudioSink design should be changed to specify a minimum
buffer size in time or frames units but not in buffer count units.

Change-Id: I8ba603956f92ac49143a8249572665aa548f2f0f

Conflicts:

media/libmedia/AudioTrack.cpp

ACodec is a little more aggressive in its error checking now.

Update components to do the right thing.

Change-Id: Ibfbad3f53effc16368cca4a0e978d01d54d08a1d

Add libmedia_native

Change-Id: Ib8cff8abd73723b793f08da99ad59549f219e0e7

Merge "Remove obsolete software codec header files and amr encoders."

Remove obsolete software codec header files and amr encoders.

Change-Id: Ifbdf252ee312c9cb5ab29498f1e06dae8f23faf7

Merge "Skip XING/VBRI frame when decoding"

am 97824b70: am aa1bd6de: am d8cc1421: am 42c6d163: Merge "Add empty libmedia_native in old location"

* commit '97824b706d8865b50faf2f09d0cf969bec0874e3':
  Add empty libmedia_native in old location

am aa1bd6de: am d8cc1421: am 42c6d163: Merge "Add empty libmedia_native in old location"

* commit 'aa1bd6dec676ab81e14ca428427d2b8c627c83fa':
  Add empty libmedia_native in old location

am d8cc1421: am 42c6d163: Merge "Add empty libmedia_native in old location"

* commit 'd8cc14211a3d5597d6b5807d6c79a4631e36ba2d':
  Add empty libmedia_native in old location

Merge "Remove obsolete OMXComponentBase class"

Remove obsolete OMXComponentBase class

Change-Id: I701ff5a57b0ab49cc772c4f82d03b5005e54ec6f

Skip XING/VBRI frame when decoding

Don't send the XING/VBRI frame to the decoder, as it will result in
extra data being output. Also clean up the XING seeker code a bit.

Change-Id: I714a94180edae9bedc1bc0c96bf382fe6f928ac6

Fix a bug in MediaPlayer's addExternalSource().

Change-Id: I035cbfb7acccc7ff88d659861ece7d0f61314fda

am 42c6d163: Merge "Add empty libmedia_native in old location"

* commit '42c6d163aaf5170ac23a4d1e5baadddd0fb71406':
  Add empty libmedia_native in old location

Merge "Add a new camera open API that allows taking the ownership."

Add empty libmedia_native in old location

Submitting this first, in the old location, will allow early testing of
the build for all the dependent projects.  Then those projects will not
need to be updated atomically when libmedia_native is moved.

Change-Id: I31ab315e53970986d18a4e3b1673e31460f6a3f1

audio_channel_in/out_mask_from_count

and avoid ambiguous term "channels" where it might be confusing
as to whether it is a channel mask or channel count

Change-Id: I744fa08ccb6001a98c97bd638d2c9d56836c4234

Merge "Move CameraParameters.h to frameworks/native."

Merge "Remove dependency on audio_* location"

Add a new camera open API that allows taking the ownership.

The purpose is to let face unlock always get the camera
successfully. What happened was the camera applications may
have opened the camera in onResume under the lock screen.
This API lets face unlock take the camera from the camera
application. A new permission will be added, so other
applicatoins won't be able to take the camera from the face
unlock.

bug:5584464

Change-Id: Ib3d9dcbc2161815b68db42327dc01148453704c6

Merge "Defines MediaPlayer APIs to support multiple audio/video/timedtext tracks."

Move CameraParameters.h to frameworks/native.

CameraParameters.h is indirectly required to implement the Camera
HAL. Move it to frameworks/native.

Bug: 6171735
Change-Id: I1bf4db228333be16fc7caa3c51280a9495293011

Merge "Fix Xing seeking when TOC[0] == 0"

Remove dependency on audio_* location

Change-Id: I4bc66115fcb9ba22b057bd72db3f561dcb18a0d8

Fix Xing seeking when TOC[0] == 0

A file purchased from the Amazon mp3 store had two 0 entries at the
start of the TOC (presumably because there was a lot of silence at
the beginning, which compresses well), which made TOC based seeking
think the TOC was not valid.
b/6170518

Change-Id: Ie7135b4af06ebb925f63a374be780cf3a9404347