เมื่อกำหนดรูปแบบที่ ExoPlayer รองรับ สิ่งสำคัญที่ควรทราบคือ "รูปแบบสื่อ" มีการกำหนดไว้หลายระดับ โดยเรียงจากระดับต่ำสุดไปสูงสุดดังนี้
- รูปแบบของตัวอย่างสื่อแต่ละรายการ (เช่น เฟรมวิดีโอหรือเฟรมเสียง) ซึ่งเป็นรูปแบบตัวอย่าง โปรดทราบว่าไฟล์วิดีโอทั่วไปจะมีสื่อในรูปแบบตัวอย่างอย่างน้อย 2 รูปแบบ โดยรูปแบบหนึ่งสำหรับวิดีโอ (เช่น H.264) และอีกรูปแบบหนึ่งสำหรับเสียง (เช่น AAC)
- รูปแบบของคอนเทนเนอร์ที่เก็บตัวอย่างสื่อและข้อมูลเมตาที่เกี่ยวข้อง ซึ่งเป็นรูปแบบคอนเทนเนอร์ ไฟล์สื่อมีรูปแบบคอนเทนเนอร์เดียว (เช่น MP4) ซึ่งมักจะระบุด้วยนามสกุลไฟล์ โปรดทราบว่าสำหรับรูปแบบเสียงเท่านั้นบางรูปแบบ (เช่น MP3) รูปแบบตัวอย่างและคอนเทนเนอร์อาจเหมือนกัน
- เทคโนโลยีการสตรีมแบบปรับเปลี่ยนได้ เช่น DASH, SmoothStreaming และ HLS รูปแบบเหล่านี้ไม่ใช่รูปแบบสื่อ แต่ก็ยังจำเป็นต้องกำหนดระดับการรองรับที่ ExoPlayer มีให้
ส่วนต่อไปนี้จะอธิบายการรองรับของ ExoPlayer ในแต่ละระดับ ตั้งแต่สูงสุดไปจนถึงต่ำสุด 2 ส่วนสุดท้ายจะอธิบายการรองรับรูปแบบคำบรรยายแบบสแตนด์อโลนและการเล่นวิดีโอ HDR
การสตรีมแบบปรับอัตโนมัติ
DASH
ExoPlayer รองรับ DASH ที่มีรูปแบบคอนเทนเนอร์หลายรูปแบบ สตรีมสื่อต้องเป็นแบบ Demuxed ซึ่งหมายความว่าต้องมีการกำหนดวิดีโอ เสียง และข้อความในองค์ประกอบ AdaptationSet ที่แตกต่างกันในไฟล์ Manifest ของ DASH (CEA-608 เป็นข้อยกเว้นตามที่อธิบายไว้ในตารางด้านล่าง) นอกจากนี้ รูปแบบตัวอย่างเสียงและวิดีโอที่อยู่ในคอนเทนเนอร์ต้องได้รับการรองรับด้วย (ดูรายละเอียดในส่วนรูปแบบตัวอย่าง)
| ฟีเจอร์ | รองรับ | ความคิดเห็น |
|---|---|---|
| คอนเทนเนอร์ | ||
| FMP4 | ใช่ | สตรีมที่แยกข้อมูลเท่านั้น |
| WebM | ใช่ | สตรีมที่แยกข้อมูลเท่านั้น |
| Matroska | ใช่ | สตรีมที่แยกข้อมูลเท่านั้น |
| MPEG-TS | ไม่ | ไม่มีแผนการสนับสนุน |
| คำบรรยายแทนเสียง/ คำบรรยาย | ||
| TTML | ใช่ | ข้อมูลดิบหรือฝังใน FMP4 ตาม ISO/IEC 14496-30 |
| WebVTT | ใช่ | ข้อมูลดิบหรือฝังใน FMP4 ตาม ISO/IEC 14496-30 |
| CEA-608 | ใช่ | ฝังใน FMP4 เมื่อมีการส่งสัญญาณโดยใช้ข้อบ่งชี้การช่วยเหลือพิเศษ SCTE |
| CEA-708 | ใช่ | ฝังใน FMP4 เมื่อมีการส่งสัญญาณโดยใช้ข้อบ่งชี้การช่วยเหลือพิเศษ SCTE |
| ข้อมูลเมตา | ||
| ข้อมูลเมตา EMSG | ใช่ | ฝังใน FMP4 |
| การปกป้องเนื้อหา | ||
| Widevine | ใช่ | รูปแบบ "cenc": API 19+ รูปแบบ "cbcs": API 25+ |
| PlayReady SL2000 | ใช่ | Android TV, รูปแบบ "cenc" เท่านั้น |
| ClearKey | ใช่ | API 21+ รูปแบบ "cenc" เท่านั้น |
| การแทรกโฆษณา | ||
| การเล่นแบบหลายช่วงเวลา | ใช่ | |
| การแทรกโฆษณาตามคำแนะนำของเซิร์ฟเวอร์ (xlinks) | ไม่ | |
| โฆษณาฝั่งเซิร์ฟเวอร์และฝั่งไคลเอ็นต์ของ IMA | ใช่ | คู่มือการแทรกโฆษณา |
| การเล่นแบบสด | ||
| การเล่นไลฟ์สดปกติ | ใช่ | |
| การเล่นไลฟ์สด CMAF ที่มีเวลาในการตอบสนองต่ำมาก | ใช่ | |
| Common Media Client Data (CMCD) | ใช่ | คู่มือการผสานรวม CMCD |
SmoothStreaming
ExoPlayer รองรับ SmoothStreaming ด้วยรูปแบบคอนเทนเนอร์ FMP4 สตรีมสื่อต้องได้รับการแยกมัลติเพล็กซ์ ซึ่งหมายความว่าต้องกำหนดวิดีโอ เสียง และข้อความในองค์ประกอบ StreamIndex ที่แตกต่างกันในไฟล์ Manifest ของ SmoothStreaming นอกจากนี้ รูปแบบตัวอย่างเสียงและวิดีโอที่อยู่ในคอนเทนเนอร์ต้องได้รับการรองรับด้วย (ดูรายละเอียดในส่วนรูปแบบตัวอย่าง)
| ฟีเจอร์ | รองรับ | ความคิดเห็น |
|---|---|---|
| คอนเทนเนอร์ | ||
| FMP4 | ใช่ | สตรีมที่แยกข้อมูลเท่านั้น |
| คำบรรยายแทนเสียง/คำบรรยาย | ||
| TTML | ใช่ | ฝังใน FMP4 |
| การปกป้องเนื้อหา | ||
| PlayReady SL2000 | ใช่ | Android TV เท่านั้น |
| การเล่นแบบสด | ||
| การเล่นไลฟ์สดปกติ | ใช่ | |
| Common Media Client Data (CMCD) | ใช่ | คู่มือการผสานรวม |
HLS
ExoPlayer รองรับ HLS ที่มีรูปแบบคอนเทนเนอร์หลายรูปแบบ นอกจากนี้ รูปแบบตัวอย่างเสียงและวิดีโอที่อยู่ในคอนเทนเนอร์ต้องได้รับการรองรับด้วย (ดูรายละเอียดในส่วนรูปแบบตัวอย่าง) เราขอแนะนำอย่างยิ่งให้ผู้ผลิตเนื้อหา HLS สร้างสตรีม HLS คุณภาพสูงตามที่อธิบายไว้ในบล็อกโพสต์นี้
| ฟีเจอร์ | รองรับ | ความคิดเห็น |
|---|---|---|
| คอนเทนเนอร์ | ||
| MPEG-TS | ใช่ | |
| FMP4/CMAF | ใช่ | |
| ADTS (AAC) | ใช่ | |
| MP3 | ใช่ | |
| คำบรรยายแทนเสียง/ คำบรรยาย | ||
| CEA-608 | ใช่ | |
| CEA-708 | ใช่ | |
| WebVTT | ใช่ | |
| ข้อมูลเมตา | ||
| ID3 | ใช่ | |
| SCTE-35 | ไม่ | |
| การปกป้องเนื้อหา | ||
| AES-128 | ใช่ | |
| ตัวอย่าง AES-128 | ไม่ | |
| Widevine | ใช่ | API 19 ขึ้นไป (รูปแบบ "cenc") และ 25 ขึ้นไป (รูปแบบ "cbcs") |
| PlayReady SL2000 | ใช่ | Android TV เท่านั้น |
| การควบคุมเซิร์ฟเวอร์ | ||
| การอัปเดตเดลต้า | ใช่ | |
| การบล็อกการโหลดเพลย์ลิสต์ซ้ำ | ใช่ | |
| การบล็อกการโหลดคำแนะนำการโหลดล่วงหน้า | ใช่ | ยกเว้นช่วงไบต์ที่มีความยาวไม่แน่นอน |
| การแทรกโฆษณา | ||
| การแทรกโฆษณาตามคำแนะนำของเซิร์ฟเวอร์ (โฆษณาคั่นระหว่างหน้า) | เพียงบางส่วน | เฉพาะ VOD ที่มี X-ASSET-URI
ระบบจะเพิ่มไลฟ์สดและ X-ASSET-LIST ในภายหลัง |
| โฆษณาฝั่งเซิร์ฟเวอร์และฝั่งไคลเอ็นต์ของ IMA | ใช่ | คู่มือการแทรกโฆษณา |
| การเล่นแบบสด | ||
| การเล่นไลฟ์สดปกติ | ใช่ | |
| HLS ที่มีเวลาในการตอบสนองต่ำ (Apple) | ใช่ | |
| HLS ที่มีเวลาในการตอบสนองต่ำ (ชุมชน) | ไม่ | |
| ข้อมูลไคลเอ็นต์สื่อทั่วไป CMCD | ใช่ | คู่มือการผสานรวม CMCD |
รูปแบบคอนเทนเนอร์แบบโปรเกรสซีฟ
ExoPlayer สามารถเล่นสตรีมในรูปแบบคอนเทนเนอร์ต่อไปนี้ได้โดยตรง นอกจากนี้ รูปแบบตัวอย่างเสียงและวิดีโอที่อยู่ในคอนเทนเนอร์ต้องได้รับการรองรับด้วย (ดูรายละเอียดในส่วนรูปแบบตัวอย่าง) ดูการรองรับคอนเทนเนอร์และรูปแบบรูปภาพได้ที่รูปภาพ
| รูปแบบคอนเทนเนอร์ | รองรับ | ความคิดเห็น |
|---|---|---|
| MP4 | ใช่ | |
| M4A | ใช่ | |
| FMP4 | ใช่ | |
| WebM | ใช่ | |
| Matroska | ใช่ | |
| MP3 | ใช่ | สตรีมบางรายการจะกรอได้โดยใช้การกรออัตราบิตคงที่เท่านั้น** |
| Ogg | ใช่ | มี Vorbis, Opus และ FLAC |
| WAV | ใช่ | |
| MPEG-TS | ใช่ | |
| MPEG-PS | ใช่ | |
| FLV | ใช่ | กรอไม่ได้* |
| ADTS (AAC) | ใช่ | กรอได้โดยใช้การกรออัตราบิตคงที่เท่านั้น** |
| FLAC | ใช่ | การใช้ไลบรารี FLAC หรือเครื่องมือแยก FLAC ในไลบรารี ExoPlayer*** |
| AMR | ใช่ | กรอได้โดยใช้การกรออัตราบิตคงที่เท่านั้น** |
* ไม่รองรับการกรอเนื่องจากคอนเทนเนอร์ไม่มีข้อมูลเมตา (เช่น ดัชนีตัวอย่าง) เพื่อให้มีเดียเพลเยอร์กรอได้อย่างมีประสิทธิภาพ หากจำเป็นต้องมีการกรอวิดีโอ เราขอแนะนำให้ใช้รูปแบบคอนเทนเนอร์ที่เหมาะสมกว่า
** เครื่องมือแยกเหล่านี้มีแฟล็ก FLAG_ENABLE_CONSTANT_BITRATE_SEEKING สำหรับเปิดใช้การค้นหาโดยประมาณโดยใช้สมมติฐานอัตราบิตคงที่ ฟังก์ชันนี้ไม่ได้เปิดใช้โดยค่าเริ่มต้น วิธีที่ง่ายที่สุดในการเปิดใช้ฟังก์ชันนี้สำหรับเครื่องมือแยกข้อมูลทั้งหมดที่รองรับคือการใช้ DefaultExtractorsFactory.setConstantBitrateSeekingEnabled ตามที่อธิบายไว้ที่นี่
*** ตัวแยกไลบรารี FLAC จะแสดงผลเสียงดิบ ซึ่งเฟรมเวิร์กสามารถจัดการได้ในระดับ API ทุกระดับ ตัวแยก FLAC ของไลบรารี ExoPlayer จะแสดงผลเฟรมเสียง FLAC จึงต้องใช้ตัวถอดรหัส FLAC (เช่น ตัวถอดรหัส MediaCodec ที่จัดการ FLAC (ต้องใช้ระดับ API 27 ขึ้นไป) หรือไลบรารี FFmpeg ที่เปิดใช้ FLAC) DefaultExtractorsFactory จะใช้เครื่องมือแยกส่วนขยายหากแอปพลิเคชันสร้างขึ้นด้วยไลบรารี FLAC
ไม่เช่นนั้น ระบบจะใช้เครื่องมือแยกข้อมูลของไลบรารี ExoPlayer
RTSP
ExoPlayer รองรับ RTSP ทั้งแบบสดและแบบออนดีมานด์ รูปแบบตัวอย่างและประเภทเครือข่ายที่รองรับมีดังนี้
รูปแบบตัวอย่างที่รองรับ
- H264 (คำอธิบายสื่อ SDP ต้องมีข้อมูล SPS/PPS ในแอตทริบิวต์ fmtp สำหรับการเริ่มต้นตัวถอดรหัส)
- AAC (พร้อมบิตสตรีม ADTS)
- AC3
ประเภทเครือข่ายที่รองรับ
- RTP ผ่าน UDP Unicast (ไม่รองรับ Multicast)
- Interleaved RTSP, RTP over RTSP โดยใช้ TCP
ตัวอย่างรูปแบบ
โดยค่าเริ่มต้น ExoPlayer จะใช้ตัวถอดรหัสแพลตฟอร์มของ Android ดังนั้นรูปแบบตัวอย่างที่รองรับจึงขึ้นอยู่กับแพลตฟอร์มที่ใช้ ไม่ใช่ ExoPlayer โปรดดูเอกสารประกอบเกี่ยวกับรูปแบบตัวอย่างที่อุปกรณ์ Android รองรับในรูปแบบสื่อที่รองรับ โปรดทราบว่าอุปกรณ์แต่ละเครื่องอาจรองรับรูปแบบอื่นๆ นอกเหนือจากที่ระบุไว้
นอกจากตัวถอดรหัสแพลตฟอร์มของ Android แล้ว ExoPlayer ยังใช้ประโยชน์จากส่วนขยายตัวถอดรหัสซอฟต์แวร์ได้ด้วย คุณต้องสร้างและรวมไลบรารีเหล่านี้ไว้ในโปรเจ็กต์ที่ต้องการใช้ด้วยตนเอง ปัจจุบันเรามีไลบรารีตัวถอดรหัสซอฟต์แวร์สำหรับ AV1, VP9, FLAC, Opus, FFmpeg, MIDI, IAMF และ MPEG-H
ไลบรารี FFmpeg
ไลบรารี FFmpeg รองรับการถอดรหัสรูปแบบตัวอย่างเสียงที่หลากหลาย คุณเลือกตัวถอดรหัสที่จะรวมไว้เมื่อสร้างไลบรารีได้ตามที่ระบุไว้ใน README.md ของไลบรารี ตารางต่อไปนี้แสดงการแมปจากรูปแบบตัวอย่างเสียงกับชื่อตัวถอดรหัส FFmpeg ที่เกี่ยวข้อง
| ตัวอย่างรูปแบบ | ชื่อตัวถอดรหัส |
|---|---|
| Vorbis | vorbis |
| Opus | opus |
| FLAC | flac |
| ALAC | alac |
| PCM μ-law | pcm_mulaw |
| PCM A-law | pcm_alaw |
| MP1, MP2, MP3 | mp3 |
| AMR-NB | amrnb |
| AMR-WB | amrwb |
| AAC | aac |
| AC-3 | ac3 |
| E-AC-3 | eac3 |
| DTS, DTS-HD | dca |
| TrueHD | mlp truehd |
รูปภาพ
ExoPlayer รองรับรูปแบบรูปภาพต่อไปนี้ ดูวิธีผสานรวมกับไลบรารีภายนอกที่อาจรองรับรูปแบบชุดต่างๆ ได้ที่ไลบรารีการโหลดรูปภาพ
| รูปแบบรูปภาพ | รองรับ | หมายเหตุ |
|---|---|---|
| BMP | ใช่ | |
| GIF | ไม่ | ไม่รองรับ Extractor |
| JPEG | ใช่ | |
| รูปภาพเคลื่อนไหว JPEG | ใช่ | รองรับภาพนิ่งและวิดีโอ |
| JPEG Ultra HDR | ใช่ | เปลี่ยนกลับไปเป็น SDR ก่อน Android 14 หรือบนจอแสดงผลที่ไม่ใช่ HDR |
| PNG | ใช่ | |
| WebP | ใช่ | |
| HEIF/HEIC | ใช่ | |
| รูปภาพเคลื่อนไหว HEIC | ใช่ | |
| AVIF (พื้นฐาน) | ใช่ | ถอดรหัสใน Android 14 ขึ้นไปเท่านั้น |
รูปแบบคำบรรยายแบบสแตนด์อโลน
ExoPlayer รองรับไฟล์คำบรรยายแบบสแตนด์อโลนในรูปแบบต่างๆ คุณสามารถโหลดไฟล์คำบรรยายจากภายนอกได้ตามที่อธิบายไว้ในหน้ารายการสื่อ
| รูปแบบคอนเทนเนอร์ | รองรับ | ประเภท MIME |
|---|---|---|
| WebVTT | ใช่ | MimeTypes.TEXT_VTT |
| TTML / SMPTE-TT | ใช่ | MimeTypes.APPLICATION_TTML |
| SubRip | ใช่ | MimeTypes.APPLICATION_SUBRIP |
| SubStationAlpha (SSA/ASS) | ใช่ | MimeTypes.TEXT_SSA |
การเล่นวิดีโอ HDR
ExoPlayer จะจัดการการแยกวิดีโอ High Dynamic Range (HDR) ในคอนเทนเนอร์ต่างๆ รวมถึง Dolby Vision ใน MP4 และ HDR10+ ใน Matroska/WebM การถอดรหัสและการแสดงเนื้อหา HDR ขึ้นอยู่กับการรองรับจากแพลตฟอร์ม Android และอุปกรณ์ ดูการเล่นวิดีโอ HDR เพื่อดูข้อมูลเกี่ยวกับการตรวจสอบความสามารถในการถอดรหัสและการแสดงผล HDR รวมถึงข้อจำกัดของการรองรับ HDR ใน Android เวอร์ชันต่างๆ
เมื่อเล่นสตรีม HDR ที่ต้องรองรับโปรไฟล์ตัวแปลงรหัสหนึ่งๆ ตัวเลือก MediaCodec เริ่มต้นของ ExoPlayer จะเลือกตัวถอดรหัสที่รองรับโปรไฟล์นั้น (หากมี) แม้ว่าตัวถอดรหัสอื่นสำหรับประเภท MIME เดียวกันที่ไม่รองรับโปรไฟล์นั้นจะปรากฏสูงกว่าในรายการตัวแปลงรหัสก็ตาม ซึ่งอาจส่งผลให้มีการเลือกตัวถอดรหัสซอฟต์แวร์ในกรณีที่สตรีมเกินความสามารถของตัวถอดรหัสฮาร์ดแวร์สำหรับประเภท MIME เดียวกัน