ข่าวสารเกี่ยวกับผลิตภัณฑ์

เพิ่มความสว่างให้ฟีดกล้องแบบเรียลไทม์ด้วยฟีเจอร์เพิ่มความสว่างในที่แสงน้อย

ใช้เวลาอ่าน 7 นาที
ดูโปรไฟล์ของ Donovan McMurray
Donovan McMurray วิศวกรนักพัฒนาซอฟต์แวร์สัมพันธ์

เมื่อเร็วๆ นี้เราได้แชร์วิธีที่ Instagram ช่วยให้ผู้ใช้ถ่ายภาพในที่แสงน้อยได้อย่างน่าทึ่งโดยใช้โหมดกลางคืน ฟีเจอร์นี้เหมาะอย่างยิ่งสำหรับภาพนิ่ง ซึ่งมีเวลาในการรวมค่าแสงหลายค่าเพื่อสร้างภาพนิ่งคุณภาพสูง แต่จะเกิดอะไรขึ้นกับช่วงเวลาที่เกิดขึ้นระหว่างรูปภาพเหล่านั้น ผู้ใช้ต้องโต้ตอบกับกล้องมากกว่าแค่ตอนที่กดปุ่มชัตเตอร์ นอกจากนี้ยังใช้ตัวอย่างเพื่อจัดองค์ประกอบฉากหรือสแกนคิวอาร์โค้ดด้วย

วันนี้เราจะมาเจาะลึกเรื่องการเพิ่มแสงในสภาวะแสงน้อย (LLB) ซึ่งเป็นฟีเจอร์ที่มีประสิทธิภาพซึ่งออกแบบมาเพื่อเพิ่มความสว่างให้สตรีมจากกล้องแบบเรียลไทม์ Low Light Boost จะทำงานทันทีในตัวอย่างภาพสดและการบันทึกวิดีโอ ซึ่งแตกต่างจากโหมดกลางคืนที่ต้องใช้ระยะเวลาในการจับภาพแบบนิ่งๆ LLB จะปรับปริมาณการเพิ่มความสว่างที่จำเป็นโดยอัตโนมัติตามแสงที่มีอยู่ จึงเหมาะสำหรับทุกสภาพแวดล้อม

การอัปเดตล่าสุดทำให้ LLB ช่วยให้ผู้ใช้ Instagram จัดองค์ประกอบภาพได้อย่างสมบูรณ์แบบ จากนั้นการใช้โหมดกลางคืนที่มีอยู่จะส่งผลให้ได้ภาพถ่ายในที่แสงน้อยคุณภาพสูงแบบเดียวกับที่ผู้ใช้ชื่นชอบมานานกว่า 1 ปี

เหตุใดความสว่างแบบเรียลไทม์จึงสำคัญ

แม้ว่าโหมดกลางคืนจะมุ่งเน้นที่การปรับปรุงคุณภาพของรูปภาพสุดท้าย แต่การเพิ่มแสงในสภาวะแสงน้อยมีไว้เพื่อความสามารถในการใช้งานและการโต้ตอบในสภาพแวดล้อมที่มืด ปัจจัยสำคัญอีกประการหนึ่งที่ควรพิจารณาคือ แม้ว่า LLB และโหมดกลางคืนจะทำงานร่วมกันได้เป็นอย่างดี แต่คุณก็สามารถใช้แยกกันได้ และคุณจะเห็นว่าใน Use Case บางกรณี LLB มีประโยชน์ในตัวเองเมื่อไม่จำเป็นต้องใช้รูปภาพในโหมดกลางคืน LLB ช่วยปรับปรุงประสบการณ์ของผู้ใช้ดังนี้

  • การจัดเฟรมและการจับภาพที่ดีขึ้น: ในฉากที่มีแสงสลัว ตัวอย่างภาพจากกล้องมาตรฐานอาจมืดสนิท LLB จะเพิ่มความสว่างให้ช่องมองภาพ ซึ่งช่วยให้ผู้ใช้เห็นสิ่งที่กำลังจัดเฟรมก่อนที่จะกดปุ่มชัตเตอร์ สำหรับประสบการณ์การใช้งานนี้ คุณสามารถใช้โหมดกลางคืนเพื่อให้ได้ผลลัพธ์รูปภาพที่มีแสงน้อยคุณภาพดีที่สุด หรือจะให้ LLB มอบผลลัพธ์รูปภาพแบบ "สิ่งที่เห็นคือสิ่งที่คุณได้รับ" แก่ผู้ใช้ก็ได้
  • การสแกนที่เชื่อถือได้: คิวอาร์โค้ดมีอยู่ทุกที่ แต่การสแกนในร้านอาหารหรือโรงจอดรถที่มืดมักสร้างความหงุดหงิด ฟีดกล้องที่สว่างขึ้นอย่างมากช่วยให้อัลกอริทึมการสแกนตรวจจับและถอดรหัสคิวอาร์โค้ดได้อย่างน่าเชื่อถือแม้ในสภาพแวดล้อมที่มืดมาก
  • การโต้ตอบที่ดียิ่งขึ้น: สำหรับแอปที่เกี่ยวข้องกับการทำงานกับวิดีโอสด (เช่น ผู้ช่วย AI หรือวิดีโอคอล) LLB จะเพิ่มปริมาณข้อมูลที่รับรู้ได้ เพื่อให้โมเดลคอมพิวเตอร์วิทัศน์มีข้อมูลเพียงพอที่จะทำงานด้วย

ความแตกต่างใน Instagram

LLB_IG_demo_white_background.gif

ทีมวิศวกรที่อยู่เบื้องหลังแอป Instagram บน Android ทำงานอย่างหนักอยู่เสมอเพื่อมอบประสบการณ์การใช้งานกล้องที่ล้ำสมัยให้แก่ผู้ใช้ คุณจะเห็นได้จากตัวอย่างด้านบนว่า LLB สร้างความแตกต่างให้กับ Pixel 10 Pro ได้อย่างไร 

lowlight.png

คุณคงจินตนาการได้ไม่ยากว่าการดำเนินการนี้จะสร้างความแตกต่างให้กับประสบการณ์ของผู้ใช้อย่างไร หากผู้ใช้ไม่เห็นสิ่งที่กำลังจับภาพ ก็มีโอกาสสูงที่ผู้ใช้จะยกเลิกการจับภาพ 

lowlight1.png

การเลือกการติดตั้งใช้งาน

การใช้โหมดเพิ่มแสงในสภาวะแสงน้อยทำได้ 2 วิธีเพื่อมอบประสบการณ์การใช้งานที่ดีที่สุดในอุปกรณ์ที่หลากหลายที่สุด ดังนี้

  1. โหมด AE สำหรับการเพิ่มแสงในสภาวะแสงน้อย: โหมดการรับแสงอัตโนมัติในเลเยอร์ฮาร์ดแวร์ ซึ่งให้คุณภาพและประสิทธิภาพสูงสุดเนื่องจากปรับแต่งไปป์ไลน์หน่วยประมวลผลสัญญาณภาพ (ISP) โดยตรง โปรดตรวจสอบเรื่องนี้ก่อนเสมอ
  2. โหมดเพิ่มความสว่างในที่แสงน้อยของ Google: หากอุปกรณ์ไม่รองรับโหมด AE คุณสามารถเปลี่ยนไปใช้โซลูชันที่ใช้ซอฟต์แวร์นี้ซึ่งให้บริการโดยบริการ Google Play โดยจะใช้การประมวลผลหลังการถ่ายภาพกับสตรีมจากกล้องเพื่อเพิ่มความสว่าง เนื่องจากเป็นโซลูชันแบบซอฟต์แวร์ทั้งหมด จึงพร้อมใช้งานในอุปกรณ์จำนวนมากขึ้น ดังนั้นการติดตั้งใช้งานนี้จะช่วยให้คุณเข้าถึงอุปกรณ์จำนวนมากขึ้นด้วย LLB

โหมด AE สำหรับการเพิ่มแสงในสภาวะแสงน้อย (ฮาร์ดแวร์)

กลไก:
โหมดนี้รองรับในอุปกรณ์ที่ใช้ Android 15 ขึ้นไป และกำหนดให้ OEM ต้องใช้การรองรับใน HAL (ปัจจุบันพร้อมใช้งานในอุปกรณ์ Pixel 10) ซึ่งผสานรวมกับหน่วยประมวลผลสัญญาณภาพ (ISP) ของกล้องโดยตรง หากคุณตั้งค่า CaptureRequest.CONTROL_AE_MODE เป็น CameraMetadata.CONTROL_AE_MODE_ON_LOW_LIGHT_BOOST_BRIGHTNESS_PRIORITY ระบบกล้องจะควบคุมเอง

ลักษณะการทำงาน:
HAL/ISP จะวิเคราะห์ฉากและปรับพารามิเตอร์เซ็นเซอร์และการประมวลผล ซึ่งมักจะรวมถึงการเพิ่มเวลาการรับแสงเพื่อทำให้รูปภาพสว่างขึ้น ซึ่งจะช่วยให้ได้เฟรมที่มีอัตราส่วนสัญญาณต่อสัญญาณรบกวน (SNR) ที่ดีขึ้นอย่างมาก เนื่องจากเวลาเปิดรับแสงที่นานขึ้นแทนที่จะเพิ่มอัตราขยายเซ็นเซอร์ดิจิทัล (ISO) จะช่วยให้เซ็นเซอร์จับข้อมูลแสงได้มากขึ้น

ข้อดี:
อาจมีคุณภาพของรูปและประสิทธิภาพการใช้พลังงานที่ดีกว่าเนื่องจากใช้เส้นทางฮาร์ดแวร์เฉพาะ

ข้อเสีย:
อาจส่งผลให้อัตราเฟรมต่ำลงในสภาพที่มืดมาก เนื่องจากเซ็นเซอร์ต้องใช้เวลามากขึ้นในการจับแสง อัตราเฟรมอาจลดลงเหลือเพียง 10 FPS ในสภาพแสงน้อยมาก

Google Low Light Boost (ซอฟต์แวร์ผ่านบริการ Google Play)

กลไก:
โซลูชันนี้ซึ่งเผยแพร่เป็นโมดูลเสริมผ่านบริการ Google Play จะใช้การประมวลผลหลังการถ่ายภาพกับสตรีมจากกล้อง โดยใช้เทคโนโลยีการปรับปรุงรูปภาพแบบเรียลไทม์ที่ซับซ้อนซึ่งเรียกว่า HDRNet

Google HDRNet:
โมเดลการเรียนรู้เชิงลึกนี้จะวิเคราะห์รูปภาพที่ความละเอียดต่ำเพื่อคาดการณ์ชุดพารามิเตอร์ขนาดกะทัดรัด (ตารางกริดแบบทวิภาคี) จากนั้นตารางกริดนี้จะช่วยปรับปรุงรูปภาพความละเอียดเต็มรูปแบบบน GPU ได้อย่างมีประสิทธิภาพและแตกต่างกันไปตามพื้นที่ โมเดลได้รับการฝึกให้เพิ่มความสว่างและปรับปรุงคุณภาพของรูปภาพในสภาพแสงน้อย โดยเน้นที่การมองเห็นใบหน้า

การจัดระเบียบกระบวนการ:
โมเดล HDRNet และตรรกะที่เกี่ยวข้องได้รับการจัดระเบียบโดยโปรเซสเซอร์ Low Light Boost ซึ่งรวมถึงเนื้อหาต่อไปนี้

  1. การวิเคราะห์ฉาก:
    เครื่องคำนวณที่กำหนดเองซึ่งจะประมาณความสว่างที่แท้จริงของฉากโดยใช้ข้อมูลเมตาของกล้อง (ความไวของเซ็นเซอร์ เวลาเปิดรับแสง ฯลฯ) และเนื้อหาของรูปภาพ การวิเคราะห์นี้จะกำหนดระดับการเพิ่มประสิทธิภาพ
  2. การประมวลผล HDRNet:
    ใช้โมเดล HDRNet เพื่อเพิ่มความสว่างให้เฟรม โมเดลที่ใช้ได้รับการปรับแต่งสำหรับฉากที่มีแสงน้อยและเพิ่มประสิทธิภาพแบบเรียลไทม์
  3. การผสม:
    ระบบจะผสมเฟรมต้นฉบับและเฟรมที่ประมวลผลด้วย HDRNet เข้าด้วยกัน ปริมาณการผสมที่ใช้จะได้รับการควบคุมแบบไดนามิกโดยเครื่องคำนวณความสว่างของฉาก เพื่อให้มั่นใจว่าการเปลี่ยนระหว่างสถานะที่เพิ่มและไม่เพิ่มประสิทธิภาพจะเป็นไปอย่างราบรื่น
low-light-boost-processor-diagram.png

ข้อดี:
ทำงานบนอุปกรณ์ได้หลากหลายมากขึ้น (ปัจจุบันรองรับ Samsung S22 Ultra, S23 Ultra, S24 Ultra, S25 Ultra และ Pixel 6 ถึง Pixel 9) โดยไม่ต้องมีการรองรับ HAL ที่เฉพาะเจาะจง คงอัตราเฟรมของกล้องไว้เนื่องจากเป็นเอฟเฟกต์หลังประมวลผลข้อมูล

ข้อเสีย:
เนื่องจากเป็นวิธีการประมวลผลภายหลัง คุณภาพจึงถูกจำกัดด้วยข้อมูลที่มีอยู่ในเฟรมที่เซ็นเซอร์ส่งมา แต่จะไม่สามารถกู้คืนรายละเอียดที่สูญหายเนื่องจากความมืดมากในระดับเซ็นเซอร์ได้

การเพิ่มคุณภาพในที่แสงน้อยเป็นโซลูชันที่รองรับการปรับขนาดเพื่อเพิ่มประสิทธิภาพกล้องในที่แสงน้อยทั่วทั้งระบบนิเวศของ Android โดยนำเสนอทั้งเส้นทางฮาร์ดแวร์และซอฟต์แวร์ นักพัฒนาแอปควรให้ความสำคัญกับโหมด AE หากมี และใช้โหมดเพิ่มแสงในที่มืดของ Google เป็นโหมดสำรองที่มีประสิทธิภาพ

การใช้การเพิ่มแสงในสภาวะแสงน้อยในแอป

ต่อไปเรามาดูวิธีใช้ข้อเสนอ LLB ทั้ง 2 รายการกัน คุณสามารถใช้สิ่งต่อไปนี้ได้ไม่ว่าจะใช้ CameraX หรือ Camera2 ในแอปก็ตาม เราขอแนะนำให้ใช้ทั้งขั้นตอนที่ 1 และขั้นตอนที่ 2 เพื่อให้ได้ผลลัพธ์ที่ดีที่สุด

ขั้นตอนที่ 1: โหมด AE สำหรับการเพิ่มแสงในสภาวะแสงน้อย

โหมด LLB AE พร้อมใช้งานในอุปกรณ์บางรุ่นที่ใช้ Android 15 ขึ้นไป โดยจะทำหน้าที่เป็นโหมดการรับแสงอัตโนมัติ (AE) ที่เฉพาะเจาะจง

1. ตรวจสอบความพร้อมใช้งาน

ก่อนอื่น ให้ตรวจสอบว่าอุปกรณ์กล้องรองรับโหมด LLB AE หรือไม่

val cameraInfo = cameraProvider.getCameraInfo(cameraSelector)
val isLlbSupported = cameraInfo.isLowLightBoostSupported

2. เปิดใช้โหมด

หากรองรับ คุณสามารถเปิดใช้โหมด LLB AE โดยใช้ออบเจ็กต์ CameraControl ของ CameraX

// After setting up your camera, use the CameraInfo object to enable LLB AE Mode.
camera = cameraProvider.bindToLifecycle(...)

if (isLlbSupported) {
  try {
    // The .await() extension suspends the coroutine until the
    // ListenableFuture completes. If the operation fails, it throws
    // an exception which we catch below.
    camera?.cameraControl.enableLowLightBoostAsync(true).await()
  } catch (e: IllegalStateException) {
    Log.e(TAG, "Failed to enable low light boost: not available on this device or with the current camera configuration", e)
  } catch (e: CameraControl.OperationCanceledException) {
    Log.e(TAG, "Failed to enable low light boost: camera is closed or value has changed", e)
  }
}

3. ตรวจสอบสถานะ

การที่คุณขอโหมดนี้ไม่ได้หมายความว่าโหมดนี้กำลัง "เพิ่มประสิทธิภาพ" อยู่ ระบบจะเปิดใช้งานการเพิ่มประสิทธิภาพเมื่อฉากมืดจริงๆ เท่านั้น คุณสามารถตั้งค่า Observer เพื่ออัปเดต UI (เช่น แสดงไอคอนดวงจันทร์) หรือแปลงเป็น Flow โดยใช้ฟังก์ชันส่วนขยาย asFlow()

if (isLlbSupported) {
  camera?.cameraInfo.lowLightBoostState.asFlow().collectLatest { state ->
    // Update UI accordingly
    updateMoonIcon(state == LowLightBoostState.ACTIVE)
  }
}

อ่านคู่มือฉบับเต็มเกี่ยวกับโหมด AE สำหรับการเพิ่มแสงในสภาวะแสงน้อยได้ที่นี่

ขั้นตอนที่ 2: Google Low Light Boost

สำหรับอุปกรณ์ที่ไม่รองรับโหมด AE ของฮาร์ดแวร์ โหมดเพิ่มคุณภาพในที่แสงน้อยของ Google จะทำหน้าที่เป็นโหมดสำรองที่มีประสิทธิภาพ โดยจะใช้ LowLightBoostSession เพื่อสกัดกั้นและเพิ่มความสว่างให้สตรีม

1. เพิ่มทรัพยากร Dependency

ฟีเจอร์นี้ให้บริการผ่านบริการ Google Play

implementation("com.google.android.gms:play-services-camera-low-light-boost:16.0.1-beta06")
// Add coroutines-play-services to simplify Task APIs
implementation("org.jetbrains.kotlinx:kotlinx-coroutines-play-services:1.10.2")

2. เริ่มต้นไคลเอ็นต์

ก่อนเริ่มกล้อง ให้ใช้ LowLightBoostClient เพื่อตรวจสอบว่าได้ติดตั้งโมดูลแล้วและอุปกรณ์รองรับ

val llbClient = LowLightBoost.getClient(context)

// Check support and install if necessary
val isSupported = llbClient.isCameraSupported(cameraId).await()
val isInstalled = llbClient.isModuleInstalled().await()

if (isSupported && !isInstalled) {
    // Trigger installation
    llbClient.installModule(installCallback).await()
}

3. สร้างเซสชัน LLB

Google LLB จะประมวลผลแต่ละเฟรม ดังนั้นคุณต้องส่ง Surface ของจอแสดงผลไปยัง LowLightBoostSession ซึ่งจะส่ง Surface ที่ใช้การเพิ่มความสว่างกลับมาให้คุณ สำหรับแอป Camera2 คุณสามารถเพิ่ม Surface ที่ได้ด้วย CaptureRequest.Builder.addTarget() สำหรับ CameraX ไปป์ไลน์การประมวลผลนี้จะสอดคล้องกับคลาส CameraEffect มากที่สุด ซึ่งคุณสามารถใช้เอฟเฟกต์กับ SurfaceProcessor และส่งกลับไปยังตัวอย่างด้วย SurfaceProvider ดังที่เห็นในโค้ดนี้

// With a SurfaceOutput from SurfaceProcessor.onSurfaceOutput() and a
// SurfaceRequest from Preview.SurfaceProvider.onSurfaceRequested(),
// create a LLB Session.
suspend fun createLlbSession(surfaceRequest: SurfaceRequest, outputSurfaceForLlb: Surface) {
  // 1. Create the LLB Session configuration
  val options = LowLightBoostOptions(
    outputSurfaceForLlb,
    cameraId,
    surfaceRequest.resolution.width,
    surfaceRequest.resolution.height,
    true // Start enabled
  )

  // 2. Create the session.
  val llbSession = llbClient.createSession(options, callback).await()

  // 3. Get the surface to use.
  val llbInputSurface = llbSession.getCameraSurface()

  // 4. Provide the surface to the CameraX Preview UseCase.
  surfaceRequest.provideSurface(llbInputSurface, executor, resultListener)

  // 5. Set the scene detector callback to monitor how much boost is being applied.
  val onSceneBrightnessChanged = object : SceneDetectorCallback {
    override fun onSceneBrightnessChanged(
      session: LowLightBoostSession,
      boostStrength: Float
    ) {
      // Monitor the boostStrength from 0 (no boosting) to 1 (maximum boosting)
    }
  }
  llbSession.setSceneDetectorCallback(onSceneBrightnessChanged, null)
}

4. ส่งข้อมูลเมตา

อัลกอริทึมต้องวิเคราะห์สถานะการเปิดรับแสงอัตโนมัติของกล้องเพื่อให้ทำงานได้ คุณต้องส่งผลลัพธ์การจับภาพกลับไปยังเซสชัน LLB ใน CameraX คุณสามารถทำได้โดยขยาย Preview.Builder ด้วย Camera2Interop.Extender.setSessionCaptureCallback()

Camera2Interop.Extender(previewBuilder).setSessionCaptureCallback(
  object : CameraCaptureSession.CaptureCallback() {
    override fun onCaptureCompleted(
      session: CameraCaptureSession,
      request: CaptureRequest,
      result: TotalCaptureResult
    ) {
      super.onCaptureCompleted(session, request, result)
      llbSession?.processCaptureResult(result)
    }
  }
)

ดูขั้นตอนการติดตั้งใช้งานโดยละเอียดสำหรับไคลเอ็นต์และเซสชันได้ในคู่มือการเพิ่มความสว่างในที่แสงน้อยของ Google

ขั้นตอนถัดไป

การใช้ 2 ตัวเลือกนี้จะช่วยให้ผู้ใช้มองเห็นได้อย่างชัดเจน สแกนได้อย่างน่าเชื่อถือ และโต้ตอบได้อย่างมีประสิทธิภาพ ไม่ว่าสภาพแสงจะเป็นอย่างไร

หากต้องการดูการทำงานของฟีเจอร์เหล่านี้ในฐานของโค้ดที่สมบูรณ์และพร้อมใช้งานจริง โปรดดูแอป Jetpack Camera ใน GitHub โดยใช้ทั้งโหมด LLB AE และ Google LLB ซึ่งเป็นข้อมูลอ้างอิงสำหรับการผสานรวมของคุณเอง 

เขียนโดย
อ่านต่อ