我们最近分享了 Instagram 如何让用户使用夜间模式拍摄出令人惊艳的弱光照片。该功能非常适合拍摄静止图像,因为有时间将多次曝光的照片组合在一起,从而创建高质量的静态照片。但照片之间发生的瞬间呢?用户与相机的互动不应仅限于按下快门按钮的那一刻。他们还会使用预览功能来构图或扫描二维码。
今天,我们将深入探讨弱光增强 (LLB),这是一项强大的功能,旨在提亮实时摄像头画面。与夜间模式不同,弱光增强功能无需在拍摄时保持静止,而是可以即时应用于实时预览和视频录制。LLB 会根据可用光线自动调整所需的增亮程度,因此它针对每种环境都进行了优化。
在最近的一次更新中,LLB 允许 Instagram 用户对齐完美照片,然后他们现有的夜间模式实现会产生用户一年多来一直享受的相同高画质低光照片。
为什么实时亮度很重要
夜间模式旨在提升最终图片质量,而弱光增强功能则旨在提升黑暗环境中的易用性和互动性。另一个需要考虑的重要因素是,尽管 LLB 和夜间模式可以很好地协同工作,但您也可以单独使用它们。在某些使用场景中,即使不需要夜间模式照片,LLB 本身也具有价值。LLB 通过以下方式改善用户体验:
- 更出色的取景和拍摄效果:在光线昏暗的场景中,标准相机预览画面可能会一片漆黑。LLB 可调亮取景器,让用户在按下快门按钮之前,能够清楚地看到取景框中的画面。在这种情况下,您可以使用夜间模式来获得最佳质量的弱光照片效果,也可以让 LLB 为用户提供“所见即所得”的照片效果。
- 可靠的扫描功能:二维码无处不在,但在昏暗的餐厅或停车场扫描二维码往往令人沮丧。由于摄像头画面明显更亮,扫描算法即使在非常昏暗的环境中也能可靠地检测和解码二维码。
- 增强互动体验:对于涉及实时视频互动的应用(例如 AI 助理或视频通话),LLB 可增加可感知的信息量,确保计算机视觉模型有足够的数据可供处理
Instagram 的不同之处
Android Instagram 应用背后的工程团队始终致力于为用户提供前沿的相机体验。从上面的示例中,您可以看出 LLB 在 Pixel 10 Pro 上带来的显著差异。
不难想象,这会给用户体验带来怎样的差异。如果用户无法看到自己正在拍摄的内容,则更有可能放弃拍摄。
选择实现方式
您可以通过以下两种方式实现弱光增强功能,以便在尽可能多的设备上提供最佳体验:
- 弱光增强 AE 模式:这是一种硬件层自动曝光模式。它直接对图像信号处理器 (ISP) 流水线进行微调,因此可提供最高的质量和性能。请务必先检查这一点。
- Google 弱光增强:如果设备不支持 AE 模式,您可以回退到 Google Play 服务提供的这种基于软件的解决方案。它会对摄像头画面进行后期处理,使其变亮。作为一种全软件解决方案,它可在更多设备上使用,因此该实现可帮助您通过 LLB 覆盖更多设备。
弱光增强 AE 模式(硬件)
机制:
搭载 Android 15 及更高版本的设备支持此模式,并且需要 OEM 在 HAL 中实现支持(目前在 Pixel 10 设备上可用)。它直接与摄像头的图像信号处理器 (ISP) 集成。如果您将 CaptureRequest.CONTROL_AE_MODE 设置为 CameraMetadata.CONTROL_AE_MODE_ON_LOW_LIGHT_BOOST_BRIGHTNESS_PRIORITY,则相机系统会进行控制。
行为:
HAL/ISP 会分析场景并调整传感器和处理参数(通常包括增加曝光时间),以使图像更明亮。这可以显著提高帧的信噪比 (SNR),因为延长曝光时间(而非提高数字传感器增益 [ISO])可让传感器捕获更多光线信息。
优势:
由于利用了专用硬件路径,因此可能会提高图片质量和能效。
权衡:
在光线非常暗的环境中,由于传感器需要更多时间来捕捉光线,因此可能会导致帧速率降低。在光线非常暗的情况下,帧速率可能会降至 10 FPS。
Google 弱光增强(通过 Google Play 服务提供的软件)
机制:
此解决方案通过 Google Play 服务作为可选模块分发,会对摄像头视频流应用后期处理。它采用了一种名为 HDRNet 的先进实时图片增强技术。
Google HDRNet:
此深度学习模型会以较低的分辨率分析图片,以预测一组紧凑的参数(双边网格)。然后,此网格会引导 GPU 对全分辨率图片进行高效、空间变化的增强。该模型经过训练,可在弱光条件下提亮并改善图片质量,重点是提高面部可见度。
流程编排:
HDRNet 模型及其附带逻辑由弱光增强处理器编排。其中包括:
- 场景分析:
一个自定义计算器,可使用相机元数据(传感器感光度、曝光时间等)和图片内容估算真实场景亮度。此分析决定了提升级别。 - HDRNet 处理:
应用 HDRNet 模型来提高帧亮度。所用模型针对弱光场景进行了调优,并针对实时性能进行了优化。 - 混合:
将原始帧和 HDRNet 处理后的帧混合。场景亮度计算器会动态控制混合程度,确保在增强状态和未增强状态之间平滑过渡。
优势:
适用于更广泛的设备(目前支持 Samsung S22 Ultra、S23 Ultra、S24 Ultra、S25 Ultra 以及 Pixel 6 至 Pixel 9),无需特定的 HAL 支持。由于这是一种后期处理效果,因此会保持相机的帧速率。
权衡:
作为一种后处理方法,其质量受限于传感器提供的帧中存在的信息。它无法恢复传感器因极度黑暗而丢失的细节。
通过提供硬件和软件两种途径,“弱光增强”功能提供了一种可扩展的解决方案,可提升整个 Android 生态系统中的弱光相机性能。开发者应优先使用 AE 模式(如果可用),并将 Google 弱光增强功能作为可靠的后备方案。
在应用中实现弱光增强功能
现在,我们来看看如何实施这两种 LLB 产品。无论您在应用中使用的是 CameraX 还是 Camera2,都可以实现以下功能。为获得最佳效果,我们建议您同时实现第 1 步和第 2 步。
第 1 步:弱光增强 AE 模式
LLB AE 模式适用于搭载 Android 15 及更高版本的部分设备,是一种特定的自动曝光 (AE) 模式。
1. 查看供应情况
首先,检查相机设备是否支持 LLB AE 模式。
val cameraInfo = cameraProvider.getCameraInfo(cameraSelector) val isLlbSupported = cameraInfo.isLowLightBoostSupported
2. 启用该模式
如果设备支持 LLB AE 模式,您可以使用 CameraX 的 CameraControl 对象启用该模式。
// After setting up your camera, use the CameraInfo object to enable LLB AE Mode.
camera = cameraProvider.bindToLifecycle(...)
if (isLlbSupported) {
try {
// The .await() extension suspends the coroutine until the
// ListenableFuture completes. If the operation fails, it throws
// an exception which we catch below.
camera?.cameraControl.enableLowLightBoostAsync(true).await()
} catch (e: IllegalStateException) {
Log.e(TAG, "Failed to enable low light boost: not available on this device or with the current camera configuration", e)
} catch (e: CameraControl.OperationCanceledException) {
Log.e(TAG, "Failed to enable low light boost: camera is closed or value has changed", e)
}
}3. 监控状态
您请求了该模式,并不意味着它目前正在“提升”。系统仅在场景确实较暗时才会激活增强功能。您可以设置一个 Observer 来更新界面(例如显示月亮图标),也可以使用扩展函数 asFlow() 转换为 Flow。
if (isLlbSupported) {
camera?.cameraInfo.lowLightBoostState.asFlow().collectLatest { state ->
// Update UI accordingly
updateMoonIcon(state == LowLightBoostState.ACTIVE)
}
}您可以点击此处阅读有关弱光增强 AE 模式的完整指南。
第 2 步:Google 弱光增强
对于不支持硬件 AE 模式的设备,Google 弱光增强功能可作为强大的后备方案。它使用 LowLightBoostSession 来拦截和提亮视频流。
1. 添加依赖项
此功能通过 Google Play 服务提供。
implementation("com.google.android.gms:play-services-camera-low-light-boost:16.0.1-beta06")
// Add coroutines-play-services to simplify Task APIs
implementation("org.jetbrains.kotlinx:kotlinx-coroutines-play-services:1.10.2")2. 初始化客户端
在启动相机之前,请使用 LowLightBoostClient 确保模块已安装且设备受支持。
val llbClient = LowLightBoost.getClient(context)
// Check support and install if necessary
val isSupported = llbClient.isCameraSupported(cameraId).await()
val isInstalled = llbClient.isModuleInstalled().await()
if (isSupported && !isInstalled) {
// Trigger installation
llbClient.installModule(installCallback).await()
}3. 创建 LLB 会话
Google LLB 会处理每一帧,因此您必须将显示 Surface 提供给 LowLightBoostSession,它会返回一个已应用提亮效果的 Surface。对于 Camera2 应用,您可以使用 CaptureRequest.Builder.addTarget() 添加生成的 Surface。对于 CameraX,此处理流水线最适合 CameraEffect 类,您可以使用 SurfaceProcessor 应用特效,并使用 SurfaceProvider 将其提供回 Preview,如以下代码所示。
// With a SurfaceOutput from SurfaceProcessor.onSurfaceOutput() and a
// SurfaceRequest from Preview.SurfaceProvider.onSurfaceRequested(),
// create a LLB Session.
suspend fun createLlbSession(surfaceRequest: SurfaceRequest, outputSurfaceForLlb: Surface) {
// 1. Create the LLB Session configuration
val options = LowLightBoostOptions(
outputSurfaceForLlb,
cameraId,
surfaceRequest.resolution.width,
surfaceRequest.resolution.height,
true // Start enabled
)
// 2. Create the session.
val llbSession = llbClient.createSession(options, callback).await()
// 3. Get the surface to use.
val llbInputSurface = llbSession.getCameraSurface()
// 4. Provide the surface to the CameraX Preview UseCase.
surfaceRequest.provideSurface(llbInputSurface, executor, resultListener)
// 5. Set the scene detector callback to monitor how much boost is being applied.
val onSceneBrightnessChanged = object : SceneDetectorCallback {
override fun onSceneBrightnessChanged(
session: LowLightBoostSession,
boostStrength: Float
) {
// Monitor the boostStrength from 0 (no boosting) to 1 (maximum boosting)
}
}
llbSession.setSceneDetectorCallback(onSceneBrightnessChanged, null)
}4. 传入元数据
为了使算法正常运行,它需要分析相机的自动曝光状态。您必须将拍摄结果传回 LLB 会话。在 CameraX 中,您可以通过使用 Camera2Interop.Extender.setSessionCaptureCallback() 扩展 Preview.Builder 来实现此目的。
Camera2Interop.Extender(previewBuilder).setSessionCaptureCallback(
object : CameraCaptureSession.CaptureCallback() {
override fun onCaptureCompleted(
session: CameraCaptureSession,
request: CaptureRequest,
result: TotalCaptureResult
) {
super.onCaptureCompleted(session, request, result)
llbSession?.processCaptureResult(result)
}
}
)如需了解客户端和会话的详细实现步骤,请参阅《Google 弱光增强指南》。
后续步骤
通过实现这两个选项,您可以确保用户无论在何种光照条件下,都能清晰地看到、可靠地扫描并有效地互动。
如需在可用于生产用途的完整代码库中查看这些功能的实际应用,请参阅 GitHub 上的 Jetpack Camera 应用。它同时实现了 LLB AE 模式和 Google LLB,可作为您自行集成的参考。
-
产品资讯了解 Google Play 在 Play 管理中心内提供的渠道拓展工具如何帮助您在商店、网络和外部平台上扩大买家覆盖面,同时保障利润。
Phalene Gowling, Rejane França • 阅读用时:4 分钟 -
产品资讯全球超过半数的移动游戏都由 Unity 提供支持,因此第一印象至关重要。对于游戏开发者而言,顺畅、可靠的玩家新手入门体验对于提高首日留存率和长期互动度至关重要。
Michelle Martin • 阅读用时:1 分钟 -
产品资讯从家中的全沉浸式体验,到外出时的快速浏览体验,基于 Android XR 进行开发,让您能够在各种空间应用场景中随时随地触达用户。在 Android 开发者峰会上,我们推出了 XREAL AURA,迎来了一个激动人心的里程碑。
Amy Zeppenfeld, Vinny DaSilva • 阅读用时:3 分钟
每周通过电子邮件接收最新的 Android 开发洞见。