提取视频帧

FrameExtractor 类提供了一种从 MediaItem 中提取解码帧的高效方法。

常见用例包括：

  • 生成缩略图：为视频库或进度条创建优质缩略图。
  • 视频编辑预览：在编辑器时间轴中显示精确的帧预览，让用户能够浏览内容并准确直观地查看帧。
  • 在提取过程中直接应用缩放、剪裁或旋转等转换，避免单独的后处理步骤。
  • 内容分析：以一定间隔提取帧，然后将其发送到分析流水线，以执行场景检测、对象识别或质量控制等任务。

概览

使用 FrameExtractor 的过程分为两个步骤：

  1. 构建提取器：使用 FrameExtractor.Builder 创建实例。 将 Context 和要检查的 MediaItem 传递给构建器。您还可以对 Builder 链接配置方法，以进行高级设置。
  2. 提取帧：调用 getFrame() 可提取特定时间戳处的帧，调用 getThumbnail() 可请求具有代表性的缩略图。这些方法是异步的，并返回 ListenableFuture。因此，复杂的解码工作不会阻塞主线程。

Kotlin

suspend fun extractFrames(context: Context, mediaItem: MediaItem) {
  try {
    // 1. Build the frame extractor.
    // `FrameExtractor` implements `AutoCloseable`, so wrap it in
    // a Kotlin `.use` block, which calls `close()` automatically.
    FrameExtractor.Builder(context, mediaItem).build().use { extractor ->
      // 2. Extract frames asynchronously.
      val frame = extractor.getFrame(5000L).await()
      val thumbnail = extractor.thumbnail.await()
      handleFrame(frame, thumbnail)
    }
  } catch (e: Exception) {
    handleFailure(e)
  }
}

ExtractFrames.kt

Java

public void extractFrames(Context context, MediaItem mediaItem) {
  // 1. Build the frame extractor.
  // `FrameExtractor` implements `AutoCloseable`, so use try-with-resources
  // so that the resources are automatically released.
  try (FrameExtractor frameExtractor = new FrameExtractor.Builder(context, mediaItem).build()) {
    // 2. Extract frames asynchronously.
    ListenableFuture<FrameExtractor.Frame> frameFuture = frameExtractor.getFrame(5000L);
    ListenableFuture<FrameExtractor.Frame> thumbnailFuture = frameExtractor.getThumbnail();

    ListenableFuture<List<Object>> allFutures = Futures.allAsList(frameFuture, thumbnailFuture);
    Futures.addCallback(
        allFutures,
        new FutureCallback<List<Object>>() {
          @Override
          public void onSuccess(List<Object> result) {
            handleFrame(Futures.getUnchecked(frameFuture), Futures.getUnchecked(thumbnailFuture));
          }

          @Override
          public void onFailure(Throwable t) {
            handleFailure(t);
          }
        },
        directExecutor());
  }
}

ExtractFrames.java