支持的格式

在定义 ExoPlayer 支持的格式时,请务必注意,“媒体格式”是在多个级别定义的。从最低级别到最高级别,这些级别分别是:

  • 各个媒体样本(例如视频帧或音频帧)的格式。这些是示例格式。请注意,典型的视频文件至少包含两种采样格式的媒体:一种用于视频(例如 H.264),另一种用于音频(例如 AAC)。
  • 包含媒体样本和关联元数据的容器的格式。这些是容器格式。媒体文件具有单一容器格式(例如 MP4),通常由文件扩展名指示。请注意,对于某些纯音频格式(例如 MP3),样本格式和容器格式可能相同。
  • DASH、SmoothStreaming 和 HLS 等自适应流式传输技术。这些并不是媒体格式,但仍有必要定义 ExoPlayer 提供的支持级别。

以下各部分定义了 ExoPlayer 在每个级别(从最高到最低)的支持。最后两部分介绍了对独立字幕格式和 HDR 视频播放的支持。

自适应流式传输

DASH

ExoPlayer 支持采用多种容器格式的 DASH。媒体流必须经过解复用,这意味着视频、音频和文本必须在 DASH 清单中的不同 AdaptationSet 元素中定义(CEA-608 是一个例外,如下表所述)。此外,还必须支持所包含的音频和视频样本格式(如需了解详情,请参阅样本格式部分)。

功能 支持 评论
容器
FMP4 是 仅限解复用流
WebM 是 仅限解复用流
Matroska 是 仅限解复用流
MPEG-TS 否 无支持计划
字幕
TTML 是 原始格式,或根据 ISO/IEC 14496-30 嵌入到 FMP4 中
WebVTT 是 原始格式,或根据 ISO/IEC 14496-30 嵌入到 FMP4 中
CEA-608 是 使用 SCTE 无障碍描述符发出信号时,嵌入在 FMP4 中
CEA-708 是 使用 SCTE 无障碍描述符发出信号时,嵌入在 FMP4 中
元数据
EMSG 元数据 是 嵌入在 FMP4 中
内容保护
Widevine 是 “cenc”方案:API 19+; “cbcs”方案:API 25+
PlayReady SL2000 是 Android TV,仅限“cenc”方案
ClearKey 是 API 21 及更高级别,仅限“cenc”方案
广告植入
多时段播放 是
服务器引导式广告插播 (xlinks) NO
IMA 服务器端和客户端广告 是 广告植入指南
直播播放
常规直播播放 是
超低延迟 CMAF 直播 是
通用媒体客户端数据 (CMCD) 是 CMCD 集成指南

SmoothStreaming

ExoPlayer 支持采用 FMP4 容器格式的 SmoothStreaming。媒体流必须解复用,这意味着必须在 SmoothStreaming 清单中的不同 StreamIndex 元素中定义视频、音频和文本。所包含的音频和视频样本格式也必须受支持(如需了解详情,请参阅样本格式部分)。

功能 支持 评论
容器
FMP4 是 仅限解复用流
字幕
TTML 是 嵌入在 FMP4 中
内容保护
PlayReady SL2000 是 仅分发至 Android TV
直播播放
常规直播播放 是
通用媒体客户端数据 (CMCD) 是 集成指南

HLS

ExoPlayer 支持采用多种容器格式的 HLS。所包含的音频和视频样本格式也必须受支持(如需了解详情,请参阅样本格式部分)。我们强烈建议 HLS 内容制作者生成高质量的 HLS 直播,如这篇博文中所述。

功能 支持 评论
容器
MPEG-TS 是
FMP4/CMAF 是
ADTS (AAC) 是
MP3 是
字幕
CEA-608 是
CEA-708 是
WebVTT 是
元数据
ID3 是
SCTE-35 否
内容保护
AES-128 是
Sample AES-128 否
Widevine 是 API 19 及更高级别(“cenc”方案)和 25 及更高级别(“cbcs”方案)
PlayReady SL2000 是 仅分发至 Android TV
服务器控制
增量更新 是
正在阻止重新加载播放列表 是
阻止加载预加载提示 是 长度未定义的字节范围除外
广告植入
服务器引导式广告植入(插页式广告) 部分 仅限 VOD,X-ASSET-URI。 直播和X-ASSET-LIST将在稍后添加。
IMA 服务器端和客户端广告 是 广告植入指南
直播播放
常规直播播放 是
低延迟 HLS (Apple) 是
低延迟 HLS(社区) 否
通用媒体客户端数据 CMCD 是 CMCD 集成指南

渐进式容器格式

ExoPlayer 可以直接播放以下容器格式的视频流。 此外,还必须支持所包含的音频和视频样本格式(如需了解详情,请参阅样本格式部分)。如需了解图片容器和格式支持,请参阅图片。

容器格式 支持 评论
MP4 是
M4A 是
FMP4 是
WebM 是
Matroska 是
MP3 是 部分视频流只能使用恒定比特率跳转**
Ogg 是 包含 Vorbis、Opus 和 FLAC
WAV 是
MPEG-TS 是
MPEG-PS 是
FLV 是 无法跳转*
ADTS (AAC) 是 只能使用恒定比特率跳转**
FLAC 是 使用 FLAC 库或 ExoPlayer 库中的 FLAC 提取器***
AMR 是 只能使用恒定比特率跳转**

* 不支持跳转,因为容器不提供元数据(例如样本索引),无法让媒体播放器以高效的方式执行跳转。 如果需要跳转,我们建议使用更合适的容器格式。

** 这些提取器具有 FLAG_ENABLE_CONSTANT_BITRATE_SEEKING 标志,用于通过恒定比特率假设实现近似跳转。此功能默认处于停用状态。如需为所有支持此功能的提取器启用此功能,最简单的方法是使用 DefaultExtractorsFactory.setConstantBitrateSeekingEnabled,如此处所述。

*** FLAC 库提取器会输出原始音频,该音频可由框架在所有 API 级别进行处理。ExoPlayer 库 FLAC 提取器会输出 FLAC 音频帧,因此依赖于 FLAC 解码器(例如,处理 FLAC 的 MediaCodec 解码器 [从 API 级别 27 开始需要] 或启用了 FLAC 的 FFmpeg 库)。如果应用是使用 FLAC 库构建的,则 DefaultExtractorsFactory 会使用扩展程序提取器。否则,它会使用 ExoPlayer 库提取器。

RTSP

ExoPlayer 同时支持直播和点播 RTSP。下面列出了支持的样本格式和网络类型。

支持的示例格式

  • H264(SDP 媒体说明必须在 fmtp 属性中包含 SPS/PPS 数据,以便进行解码器初始化)。
  • AAC(采用 ADTS 比特流)。
  • AC3。

支持的网络类型

  • 通过 UDP 单播传输 RTP(不支持多播)。
  • 交错式 RTSP,使用 TCP 的 RTP over RTSP。

示例格式

默认情况下,ExoPlayer 使用 Android 的平台解码器。因此,支持的采样格式取决于底层平台,而不是 ExoPlayer。如需查看有关 Android 设备支持的采样格式的文档,请参阅支持的媒体格式。请注意,个别设备可能支持除所列格式之外的其他格式。

除了 Android 的平台解码器之外,ExoPlayer 还可以使用软件解码器扩展程序。这些库必须手动构建,并包含在要使用它们的应用项目中。我们目前提供 AV1、VP9、FLAC、Opus、FFmpeg、MIDI、IAMF 和 MPEG-H 的软件解码器库。

FFmpeg 库

FFmpeg 库支持解码各种不同的音频样本格式。您可以选择在构建库时要包含哪些解码器,如库的 README.md 中所述。下表提供了从音频样本格式到相应 FFmpeg 解码器名称的映射。

示例格式 解码器名称
Vorbis vorbis
Opus opus
FLAC flac
ALAC alac
PCM μ-law pcm_mulaw
PCM A-law pcm_alaw
MP1、MP2、MP3 mp3
AMR-NB amrnb
AMR-WB amrwb
AAC aac
AC-3 ac3
E-AC-3 eac3
DTS、DTS-HD dca
TrueHD mlp truehd

图片

ExoPlayer 支持以下图片格式。如需了解如何与可能支持不同格式集的外部库集成,请参阅图片加载库。

图片格式 支持 备注
BMP 是
GIF 否 不支持提取器
JPEG 是
JPEG 动态照片 是 支持静态图片和视频
JPEG Ultra HDR 是 在 Android 14 之前或在非 HDR 显示屏上回退到 SDR
PNG 是
WebP 是
HEIF/HEIC 是
HEIC 动态照片 是
AVIF(基准) 是 仅在 Android 14 及更高版本上解码

独立字幕格式

ExoPlayer 支持各种格式的独立字幕文件。您可以按照媒体文件页面中的说明旁加载字幕文件。

容器格式 支持 MIME 类型
WebVTT 是 MimeTypes.TEXT_VTT
TTML / SMPTE-TT 是 MimeTypes.APPLICATION_TTML
SubRip 是 MimeTypes.APPLICATION_SUBRIP
SubStationAlpha (SSA/ASS) 是 MimeTypes.TEXT_SSA

HDR 视频播放

ExoPlayer 负责提取各种容器中的高动态范围 (HDR) 视频,包括 MP4 中的杜比视界和 Matroska/WebM 中的 HDR10+。解码和显示 HDR 内容取决于 Android 平台和设备的支持。请参阅 HDR 视频播放,了解如何检查 HDR 解码和显示功能,以及不同 Android 版本对 HDR 支持的限制。

播放需要支持特定编解码器配置文件的 HDR 串流时,ExoPlayer 的默认 MediaCodec 选择器会选择支持该配置文件的解码器(如果有),即使编解码器列表中排在更靠前位置的同一 MIME 类型的其他解码器不支持该配置文件也是如此。如果数据流超出了同一 MIME 类型的硬件解码器的功能,则可能会导致选择软件解码器。