ข่าวสารเกี่ยวกับผลิตภัณฑ์

เพิ่มการมีส่วนร่วมของผู้ใช้ด้วยการสร้างรูปภาพ AI

ใช้เวลาอ่าน 5 นาที
ดูโปรไฟล์ของ Thomas Ezan ดูโปรไฟล์ของ Mozart Louis
Thomas Ezan และ Mozart Louis

การเพิ่มรูปภาพที่กำหนดเองลงในแอปสามารถปรับปรุงและปรับเปลี่ยนประสบการณ์ของผู้ใช้ในแบบของคุณได้อย่างมาก รวมถึงเพิ่มการมีส่วนร่วมของผู้ใช้ โพสต์นี้จะสำรวจความสามารถใหม่ 2 อย่างสำหรับการสร้างรูปภาพด้วย Firebase AI Logic ได้แก่ ฟีเจอร์การแก้ไข Imagen เฉพาะทาง ซึ่งปัจจุบันอยู่ในเวอร์ชันตัวอย่าง และความพร้อมใช้งานทั่วไปของ Gemini 2.5 Flash Image (หรือที่เรียกว่า "Nano Banana") ซึ่งออกแบบมาสำหรับการสร้างรูปภาพตามบริบทหรือการสนทนา 

เพิ่มการมีส่วนร่วมของผู้ใช้ด้วยรูปภาพที่สร้างผ่าน Firebase AI Logic

คุณสามารถใช้โมเดลการสร้างรูปภาพเพื่อสร้างอวาตาร์โปรไฟล์ผู้ใช้ที่กำหนดเอง หรือผสานรวมชิ้นงานภาพที่ปรับเปลี่ยนในแบบของคุณลงในขั้นตอนของหน้าจอหลักโดยตรง  

ตัวอย่างเช่น Imagen มีฟีเจอร์แต่งภาพใหม่ (ในเวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์) ตอนนี้คุณสามารถวาดมาสก์และใช้การแต่งภาพเพื่อสร้างพิกเซลภายในพื้นที่ที่มาสก์ได้แล้ว นอกจากนี้ คุณยังใช้การวาดภาพนอกกรอบเพื่อสร้างพิกเซลนอกมาสก์ได้ด้วย   

Imagen inpainting.png

Imagen รองรับการแต่งภาพ ซึ่งช่วยให้สร้างรูปภาพเพียงบางส่วนได้ 

หรือจะใช้ Gemini 2.5 Flash Image (หรือที่เรียกว่า Nano Banana) ซึ่งสามารถใช้ความรู้เกี่ยวกับโลกที่กว้างขวางและความสามารถในการให้เหตุผลของโมเดล Gemini เพื่อสร้างรูปภาพที่เกี่ยวข้องตามบริบท ซึ่งเหมาะสำหรับการสร้างภาพประกอบแบบไดนามิกที่สอดคล้องกับประสบการณ์การใช้งานแอปปัจจุบันของผู้ใช้   

 

In-context nano banana illustration.png

ใช้ Gemini 2.5 Flash Image เพื่อสร้างภาพประกอบแบบไดนามิกที่เกี่ยวข้องกับบริบทของแอป 

สุดท้าย ความสามารถในการแก้ไขรูปภาพแบบสนทนาและทำซ้ำช่วยให้ผู้ใช้แก้ไขรูปภาพโดยใช้ภาษาธรรมชาติได้

 

photo edit natural language.png

ใช้ Gemini 2.5 Flash Image เพื่อแก้ไขรูปภาพโดยใช้ภาษาธรรมชาติ

เมื่อเริ่มผสานรวม AI เข้ากับแอปพลิเคชัน คุณควรศึกษาเกี่ยวกับความปลอดภัยของ AI สิ่งสำคัญคือการประเมินความเสี่ยงด้านความปลอดภัยของแอปพลิเคชัน พิจารณาการปรับเปลี่ยนเพื่อลดความเสี่ยงด้านความปลอดภัย ทำการทดสอบความปลอดภัยที่เหมาะสมกับ Use Case ของคุณ ขอความคิดเห็นจากผู้ใช้ และตรวจสอบเนื้อหา

Imagen หรือ Gemini: คุณเลือกได้เอง 

ความแตกต่างระหว่าง Gemini 2.5 Flash Image ("Nano Banana") และ Imagen อยู่ที่จุดมุ่งเน้นหลักและความสามารถขั้นสูง Gemini 2.5 Flash Image เป็นโมเดลรูปภาพภายในตระกูล Gemini ที่ใหญ่ขึ้น ซึ่งโดดเด่นในด้านการแก้ไขรูปภาพแบบสนทนา การรักษาบริบทและความสอดคล้องของวัตถุในการทำซ้ำหลายครั้ง และการใช้ประโยชน์จาก "ความรู้และการให้เหตุผลเกี่ยวกับโลก" เพื่อสร้างภาพที่เกี่ยวข้องตามบริบทหรือฝังภาพที่ถูกต้องภายในลำดับข้อความยาวๆ 

Imagen เป็นโมเดลการสร้างรูปภาพเฉพาะทางของ Google ที่ออกแบบมาเพื่อให้ควบคุมการสร้างสรรค์ได้มากขึ้น โดยมีความเชี่ยวชาญด้านเอาต์พุตที่สมจริง รายละเอียดทางศิลปะ สไตล์ที่เฉพาะเจาะจง และให้การควบคุมที่ชัดเจนสำหรับการระบุสัดส่วนภาพหรือรูปแบบของรูปภาพที่สร้างขึ้น

รูปภาพ Gemini 2.5 Flash 
(Nano Banana 🍌)
Imagen

🌎 ความรู้เกี่ยวกับโลกและการให้เหตุผลเพื่อให้ได้รูปภาพที่เกี่ยวข้องกับบริบทมากขึ้น
  

💬 แก้ไขรูปภาพโดยใช้การสนทนาขณะที่ยังคงบริบทไว้
  

📖 ฝังภาพที่ถูกต้องภายในลำดับข้อความยาวๆ

📐 ระบุสัดส่วนภาพหรือรูปแบบของรูปภาพที่สร้างขึ้น

 

🖌️รองรับการแก้ไขโดยใช้มาสก์สำหรับการวาดภาพในกรอบและการวาดภาพนอกกรอบ 

 

🎚️ ควบคุมรายละเอียดของรูปภาพจาก Generative AI ที่สร้างขึ้นได้มากขึ้น (คุณภาพ รายละเอียดทางศิลปะ และสไตล์ที่เฉพาะเจาะจง)

มาดูวิธีใช้ในแอปของคุณกัน
 

การแต่งภาพด้วย Imagen 

เมื่อไม่กี่เดือนก่อน เราได้เปิดตัวฟีเจอร์แต่งภาพใหม่สำหรับ Imagen แม้ว่าตอนนี้ Imagen จะพร้อมใช้งานจริงสำหรับการสร้างรูปภาพแล้ว แต่ฟีเจอร์แต่งภาพยังคงอยู่ในเวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์

ฟีเจอร์แต่งภาพของ Imagen ได้แก่ Inpainting และ Outpainting ซึ่งเป็นฟีเจอร์แต่งภาพที่ใช้มาสก์ ความสามารถใหม่นี้ช่วยให้ผู้ใช้แก้ไขพื้นที่เฉพาะของรูปภาพได้โดยไม่ต้องสร้างรูปภาพใหม่ทั้งหมด ซึ่งหมายความว่าคุณสามารถเก็บส่วนที่ดีที่สุดของรูปภาพไว้และแก้ไขเฉพาะส่วนที่ต้องการเปลี่ยนแปลงได้

Imagen inpainting dog.png

ใช้ฟีเจอร์แต่งภาพของ Imagen เพื่อทำการเปลี่ยนแปลงที่ตรงเป้าหมายและแม่นยำในรูปภาพ และรับประกันความสมบูรณ์ของส่วนที่เหลือในรูปภาพ

การเปลี่ยนแปลงเหล่านี้จะเกิดขึ้นโดยยังคงองค์ประกอบหลักและความสมบูรณ์โดยรวมของรูปภาพต้นฉบับไว้ และแก้ไขเฉพาะพื้นที่ในมาสก์เท่านั้น

หากต้องการใช้การแต่งภาพด้วย Imagen ก่อนอื่นให้เริ่มต้น imagen-3.0-capability-001 โมเดล Imagen ที่เฉพาะเจาะจงซึ่งรองรับฟีเจอร์แต่งภาพ ดังนี้

// Copyright 2025 Google LLC.
// SPDX-License-Identifier: Apache-2.0
val editingModel =
        Firebase.ai(backend = GenerativeBackend.vertexAI()).imagenModel(
            "imagen-3.0-capability-001",
            generationConfig = ImagenGenerationConfig(
                numberOfImages = 1,
                aspectRatio = ImagenAspectRatio.SQUARE_1x1,
                imageFormat = ImagenImageFormat.jpeg(compressionQuality = 75),
            ),
        )

จากนั้นกำหนดฟังก์ชันการแต่งภาพในส่วนที่เลือกดังนี้

// Copyright 2025 Google LLC.
// SPDX-License-Identifier: Apache-2.0

val prompt = "remove the pancakes and make it an omelet instead"

suspend fun inpaintImageWithMask(sourceImage: Bitmap, maskImage: Bitmap, prompt: String, editSteps: Int = 50): Bitmap {
        val imageResponse = editingModel.editImage(
            referenceImages = listOf(
                ImagenRawImage(sourceImage.toImagenInlineImage()),
                ImagenRawMask(maskImage.toImagenInlineImage()),
            ),
            prompt = prompt,
            config = ImagenEditingConfig(
                editMode = ImagenEditMode.INPAINT_INSERTION,
                editSteps = editSteps,
            ),
        )
        return imageResponse.images.first().asBitmap()
    }

คุณต้องระบุทั้ง sourceImage, maskImage และพรอมต์สำหรับการแก้ไข รวมถึงจำนวนขั้นตอนการแก้ไขที่จะดำเนินการ

คุณดูการทำงานของฟีเจอร์นี้ได้ในตัวอย่างการแก้ไข Imagen ในแคตตาล็อกตัวอย่าง AI ของ Android

นอกจากนี้ Imagen ยังรองรับการวาดภาพนอกกรอบ ซึ่งช่วยให้คุณสามารถให้โมเดลสร้างพิกเซลนอกมาสก์ได้ นอกจากนี้ คุณยังใช้ความสามารถในการปรับแต่งรูปภาพของ Imagen เพื่อเปลี่ยนสไตล์ของรูปภาพหรืออัปเดตวัตถุในรูปภาพได้ด้วย อ่านข้อมูลเพิ่มเติมได้ในเอกสารประกอบสำหรับนักพัฒนาแอป Android

การสร้างรูปภาพแบบสนทนาด้วย Gemini 2.5 Flash Image

วิธีหนึ่งในการแก้ไขรูปภาพด้วย Gemini 2.5 Flash Image คือการใช้ความสามารถในการแชทแบบหลายรอบของโมเดล

ก่อนอื่น ให้เริ่มต้นโมเดลโดยทำดังนี้

// Copyright 2025 Google LLC.
// SPDX-License-Identifier: Apache-2.0

val model = Firebase.ai(backend = GenerativeBackend.googleAI()).generativeModel(
    modelName = "gemini-2.5-flash-image",
    // Configure the model to respond with text and images (required)
    generationConfig = generationConfig {
        responseModalities = listOf(ResponseModality.TEXT,
        ResponseModality.IMAGE)
    }
)

เพื่อให้ได้ผลลัพธ์ที่คล้ายกับวิธี Imagen ที่ใช้มาสก์ซึ่งอธิบายไว้ข้างต้น เราสามารถใช้ chat API เพื่อเริ่มการสนทนากับ Gemini 2.5 Flash Image ได้

// Copyright 2025 Google LLC.
// SPDX-License-Identifier: Apache-2.0

// Initialize the chat
val chat = model.startChat()


// Load a bitmap
val source = ImageDecoder.createSource(context.contentResolver, uri)
val bitmap = ImageDecoder.decodeBitmap(source)


// Create the initial prompt instructing the model to edit the image
val prompt = content {
    image(bitmap)
    text("remove the pancakes and add an omelet")
}

// To generate an initial response, send a user message with the image and text prompt
var response = chat.sendMessage(prompt)

// Inspect the returned image
var generatedImageAsBitmap = response
    .candidates.first().content.parts.filterIsInstance<ImagePart>().firstOrNull()?.image

// Follow up requests do not need to specify the image again
response = chat.sendMessage("Now, center the omelet in the pan")
generatedImageAsBitmap = response
    .candidates.first().content.parts.filterIsInstance<ImagePart>().firstOrNull()?.image

คุณสามารถดูการทำงานของฟีเจอร์นี้ได้ในตัวอย่างแชทด้วยรูปภาพของ Gemini ในแคตตาล็อกตัวอย่าง AI ของ Android และอ่านข้อมูลเพิ่มเติมได้ในเอกสารประกอบของ Android

สรุป

ทั้ง Imagen และ Gemini 2.5 Flash Image มีความสามารถที่มีประสิทธิภาพ ซึ่งช่วยให้คุณเลือกโมเดลการสร้างรูปภาพที่เหมาะสมเพื่อปรับเปลี่ยนแอปในแบบของคุณและเพิ่มการมีส่วนร่วมของผู้ใช้ โดยขึ้นอยู่กับกรณีการใช้งานที่เฉพาะเจาะจง

เขียนโดย
อ่านต่อ