สร้างไกด์นำเที่ยวแบบเทคโนโลยีความจริงแบบผสม (MR) ด้วย Android XR, Geospatial API และ Gemini
ใช้เวลาอ่าน 6 นาที
ในงาน Google I/O ปีนี้ เราได้ประกาศการอัปเดตสำหรับประสบการณ์เชิงมิติพื้นที่ นั่นคือ Geospatial API พร้อมให้ใช้งานเป็นเวอร์ชันตัวอย่างใน ARCore สำหรับ Jetpack XR แล้ว การนำระบบกำหนดตำแหน่งด้วยภาพ (VPS) ของ Google มาใช้กับ Android XR ช่วยให้ Android XR สามารถตรึงเนื้อหาดิจิทัลไว้กับโลกจริงได้อย่างแม่นยำในระดับต่ำกว่าเมตรและมีการวางแนวที่ถูกต้องในพื้นที่ที่รองรับ* ทีมของเราได้สร้างเดโม XR Geospatial Tour เพื่อสำรวจสิ่งที่ Geospatial API สามารถทำได้
ลองนึกภาพว่าคุณเดินเข้าไปในเมืองใหม่ สวมแว่นตา XR แบบมีสาย (เช่น XREAL Project Aura ที่กำลังจะเปิดตัว) และมี Local Guides ที่มีความรู้คอยพาคุณชมรอบๆ ทันที คุณไม่จำเป็นต้องจ้องแผนที่ 2 มิติ แต่โมเดล 3 มิติจะนำทางคุณอย่างนุ่มนวล และเสียงอัจฉริยะจะบอกคุณเกี่ยวกับสถานที่สำคัญทางประวัติศาสตร์ที่อยู่ตรงหน้าคุณ เราได้รวม Geospatial API, Gemini API โดยใช้ Firebase AI Logic, การอิงข้อมูลจาก Google Maps และ Jetpack XR SDK เพื่อสร้างประสบการณ์ทัวร์เดินชมที่สมจริงแบบแฮนด์ฟรี
ข้อจำกัดความรับผิด: วิดีโอและแอปพลิเคชัน Tour Guide มีไว้เพื่อการสาธิตเท่านั้น มีการตัดลำดับขั้นตอนบางส่วนให้สั้นลง ฮาร์ดแวร์ที่แสดงอาจอยู่ระหว่างการพัฒนา รายละเอียดสินค้าขั้นสุดท้ายอาจแตกต่างออกไป
มาดูรายละเอียดการติดตั้งใช้งานและวิธีที่เราผสานรวม API เหล่านี้เข้าด้วยกันเพื่อสร้างประสบการณ์เชิงพื้นที่ระดับโลกกัน
1. การระบุตำแหน่งผู้ใช้ด้วย ARCore Geospatial API (VPS)
ยกระดับประสบการณ์การนำทางใน XR ด้วยการผสานรวมประสิทธิภาพของ GPS เข้ากับความแม่นยำของ VPS ความแม่นยำและการวางแนวที่ถูกต้องซึ่งมาพร้อมกับ VPS ช่วยให้จุดอ้างอิง 3 มิติสอดคล้องกับโลกจริง
ด้วยเหตุนี้ Geospatial API ใน Android XR จึงช่วยคุณสร้างประสบการณ์ที่กำหนดเองได้ VPS จะพยายามระบุ GeospatialPose (รวมถึงละติจูด ลองจิจูด และทิศทาง) ที่แม่นยำกว่า GPS โดยใช้คอมพิวเตอร์วิทัศน์ขั้นสูง
วิธีที่เราดึงข้อมูลท่าทางเชิงพื้นที่ของผู้ใช้โดยการแมปการวางแนวของอุปกรณ์กับพิกัดเชิงพื้นที่ มีดังนี้
// Retrieve the current geospatial pose from the ARCore session val result = geospatial.createGeospatialPoseFromPose(arDevice.state.value.devicePose) if (result is CreateGeospatialPoseFromPoseSuccess) { val pose = result.pose Log.d("VPS", "Accurate Location: ${pose.latitude}, ${pose.longitude}") }
เนื่องจากประสบการณ์การใช้งานทั้งหมดขึ้นอยู่กับความถูกต้องนี้ เราจึงตรวจสอบ horizontalAccuracy และ orientationYawAccuracy จนกว่าจะตรงตามเกณฑ์ของเรา หากผู้ใช้อยู่ในอาคารหรือในพื้นที่ที่ไม่รู้จัก เราจะแจ้งให้ผู้ใช้ "เดินไปยังพื้นที่สาธารณะกลางแจ้งและมองไปรอบๆ"
2. การสร้างแผนการเดินทางด้วย Gemini API และการเชื่อมต่อข้อมูล Google Maps
เมื่อได้ตำแหน่งแล้ว เราจะใช้ Gemini API โดยใช้ Firebase AI Logic เพื่อแจ้งให้โมเดล Gemini ทำหน้าที่เป็นไกด์ท้องถิ่น เราส่งพิกัดของผู้ใช้ไปยังโมเดลและขอให้แสดงผลการตอบกลับเป็น JSON ที่มีโครงสร้างซึ่งมีทัวร์เดินชมในบริเวณใกล้เคียง
val configForTools = ToolConfig( functionCallingConfig = null, retrievalConfig = retrievalConfig { latLng = FirebaseLatLng(pose.latitude, pose.longitude) languageCode = "en" } ) val responseJsonSchema = Schema.obj( mapOf( "locationIntro" to Schema.string(), "tours" to Schema.array( Schema.obj( mapOf( "title" to Schema.string(), "description" to Schema.string(), "stops" to Schema.array( Schema.obj( mapOf( "name" to Schema.string(), "detailedName" to Schema.string(), "description" to Schema.string() ) ) ) ) ) ) ) ) val model = Firebase.ai(backend = GenerativeBackend.googleAI()).generativeModel( modelName = "gemini-3.5-flash", tools = listOf(Tool.googleMaps()), generationConfig = generationConfig { responseMimeType = "application/json" responseSchema = responseJsonSchema } ) val result = model.generateContent("The user is at latitude ${pose.latitude} and longitude ${pose.longitude}. Generate exactly 3 diverse tours near this location (e.g., historical, food, nature). All tour ideas should be walking distance only.")
โมเดลภาษาขนาดใหญ่ (LLM) สามารถสร้างคำอธิบายที่สมบูรณ์ได้ดีมาก แต่บางครั้งอาจสร้างพิกัดละติจูด/ลองจิจูดที่แน่นอนขึ้นมาเอง เราจึงใช้ Google Maps Grounding เพื่ออิงข้อมูล AI กับข้อมูลจริงเพื่อแก้ปัญหานี้
3. เสียงที่จะคอยแนะนำคุณ: Gemini 2.5 TTS
เราใช้เสียงบรรยายแบบไดนามิกเพื่อให้ไกด์ทัวร์ดูเหมือนอยู่ตรงนั้นจริงๆ
เมื่อใช้ gemini-2.5-flash-tts model เราจะกำหนดค่าการสร้างโมเดลให้แสดงผลข้อมูลเสียงโดยตรงแทนที่จะเป็นข้อความเพียงอย่างเดียวได้ วิธีขอรับResponseModality.AUDIOมีดังนี้
val ttsModel = Firebase.ai(backend = GenerativeBackend.googleAI()) .generativeModel( modelName = "gemini-2.5-flash-tts", generationConfig = generationConfig { // Instruct the model to return Audio responseModalities = listOf(ResponseModality.AUDIO) } ) val response = ttsModel.generateContent("Say in a neutral but positive voice:\n$prompt") // Extract the raw audio bytes from the response val audioBytes = response.candidates.firstOrNull()?.content?.parts ?.filterIsInstance<InlineDataPart>() ?.firstOrNull { it.mimeType.contains("audio") }?.inlineData
4. การทำให้เป็นจริงในรูปแบบ 3 มิติด้วย Jetpack XR
ส่วนสุดท้ายของปริศนานี้คือการแสดงผลข้อมูลนี้ในขอบเขตการมองเห็นของผู้ใช้ Jetpack XR SDK ช่วยให้เปลี่ยนจาก UI ของ Android แบบ 2 มิติไปเป็นการประมวลผลเชิงพื้นที่ได้อย่างง่ายดาย
เราใช้ Jetpack Compose สำหรับ XR เพื่อสร้างคอมโพเนนต์เชิงมิติพื้นที่ เราสร้าง Composable ที่เรียกว่า InfoSphere เพื่อแสดงจุดที่น่าสนใจตลอดการทัวร์ ซึ่งประกอบด้วย GltfModel ของลูกแก้ว 3 มิติที่ลอยอยู่ในอวกาศและสามารถโต้ตอบเพื่อแสดงข้อมูลได้
เมื่อใช้ Jetpack XR SDK เราสามารถวางโมเดล 3 มิติไว้ข้าง UI ของ Compose โดยใช้ SpatialBox และ SceneCoreEntity นอกจากนี้ เรายังใช้ InteractableComponent เพื่อตอบสนองต่อการแตะของผู้ใช้ด้วย
การรวม AnimatedSpatialVisibility สำหรับแพลตฟอร์ม Compose UI แบบดั้งเดิมเข้ากับองค์ประกอบ 3 มิติของ SceneCoreEntity ช่วยให้เราผสานรวมข้อมูลเข้ากับโลกจริงได้อย่างราบรื่น
@Composable fun InfoSphere( content: InfoBubbleContent, session: Session, sphereModel: GltfModel, isSelected: Boolean, onClick: () -> Unit ) { // SpatialBox lets us arrange 3D components and SpatialPanels together SpatialBox( SubspaceModifier .offset(x = 2.dp, y = 1.dp, z = (-3).dp) // Positioned in 3D space ) { // Smoothly animate the visibility of our 2D Compose UI Panel AnimatedSpatialVisibility(visible = isSelected) { SpatialPanel { InfoBubble(content) // Regular 2D Compose UI } } // Render our interactive 3D sphere SceneCoreEntity( factory = { GltfModelEntity.create(session, sphereModel).also { entity -> // Make the 3D model respond to user taps entity.addComponent(InteractableComponent.create(session) { inputEvent -> if (inputEvent.action == InputEvent.Action.UP) { onClick() } }) } } ) } }
สำรวจสิ่งที่เป็นไปได้ด้วย Android XR วันนี้
การสร้างแอป XR Geospatial Tour แสดงให้เราเห็นว่าอุปสรรคในการเข้าถึงประสบการณ์เชิงพื้นที่ระดับโลกนั้นต่ำกว่าที่เคยสำหรับนักพัฒนาแอป Android Geospatial API พร้อมให้ใช้งานในเวอร์ชันตัวอย่างบน Android XR แล้ว ซึ่งจะช่วยให้แอปของคุณเข้าใจโลกจริงรอบตัวได้อย่างราบรื่น การรวม API ของ Compose for XR เข้ากับข้อมูลตำแหน่งที่มีความแม่นยำสูงของ VPS และความสามารถด้าน Generative ของ Gemini ช่วยให้เราสร้างประสบการณ์ที่เข้าใจทั้งตำแหน่งของผู้ใช้และสิ่งที่ผู้ใช้กำลังดูอยู่ได้
เพื่อช่วยให้คุณได้ทดลองใช้ Android XR เรายินดีที่จะเปิดรับสมัครเข้าร่วมโปรแกรม Android XR Developer Catalyst ซึ่งรวมถึง XREAL Project Aura ด้วย ตั้งแต่วันนี้เป็นต้นไป คุณสามารถสมัครรับสิทธิ์เข้าถึง Devkit ของ XREAL Project Aura หรือ Devkit ของแว่นตาที่มีจอแสดงผลได้ในอีกไม่กี่เดือนข้างหน้า
*ข้อจำกัดความรับผิด: พร้อมใช้งานในอุปกรณ์บางรุ่น ต้องมีการเชื่อมต่ออินเทอร์เน็ต ใช้ได้ในแอปและแพลตฟอร์มที่รองรับ ผลลัพธ์อาจแตกต่างกันไป
-
ข่าวสารเกี่ยวกับผลิตภัณฑ์ดูวิธีที่เครื่องมือขยายช่องทางของ Google Play ใน Play Console ช่วยเพิ่มการเข้าถึงผู้ซื้อใน Store, เว็บ และแพลตฟอร์มภายนอก พร้อมทั้งปกป้องมาร์จิน
Phalene Gowling, Rejane França • ใช้เวลาอ่าน 4 นาที -
ข่าวสารเกี่ยวกับผลิตภัณฑ์Unity ขับเคลื่อนเกมบนอุปกรณ์เคลื่อนที่มากกว่าครึ่งหนึ่งทั่วโลก ดังนั้นความประทับใจแรกจึงเป็นสิ่งสำคัญ สำหรับนักพัฒนาเกม ประสบการณ์การเตรียมความพร้อมผู้ใช้งานใหม่ที่ราบรื่นและเชื่อถือได้เป็นสิ่งสำคัญในการกระตุ้นการคงผู้ใช้ไว้ตั้งแต่วันแรกและความผูกพันในระยะยาว
Michelle Martin • ใช้เวลาอ่าน 1 นาที -
ข่าวสารเกี่ยวกับผลิตภัณฑ์ตั้งแต่การดื่มด่ำอย่างเต็มรูปแบบที่บ้านไปจนถึงประสบการณ์ที่เข้าถึงได้ง่ายในระหว่างเดินทาง การสร้างแอปบน Android XR ช่วยให้คุณเข้าถึงผู้ใช้ได้ทุกที่ทุกเวลาในแอปพลิเคชันเชิงพื้นที่ทุกประเภท ที่งาน Android Developer Summit เราได้ประกาศความสำเร็จที่น่าตื่นเต้นด้วยการเปิดตัว XREAL AURA
Amy Zeppenfeld, Vinny DaSilva • ใช้เวลาอ่าน 3 นาที
รับข้อมูลเชิงลึกล่าสุดเกี่ยวกับการพัฒนา Android ที่ส่งไปยังกล่องจดหมายของคุณทุกสัปดาห์