ประสบการณ์การใช้งานแว่นตา AI สร้างขึ้นบน API เฟรมเวิร์ก Activity ของ Android ที่มีอยู่ และ รวมแนวคิดเพิ่มเติม เพื่อรองรับลักษณะเฉพาะของ
แว่นตา AI แว่นตา AI ต่างจากชุดหูฟัง XR ที่เรียกใช้ APK แบบเต็มบนอุปกรณ์ตรงที่ใช้กิจกรรมเฉพาะที่ทำงานภายในแอปที่มีอยู่ของโทรศัพท์ โดยกิจกรรมนี้จะแสดงจากอุปกรณ์โฮสต์ไปยังแว่นตา AI
หากต้องการสร้างประสบการณ์การใช้งานแว่นตา AI ของแอป คุณต้องขยายแอปโทรศัพท์ที่มีอยู่
โดยสร้าง Activity ใหม่ที่แสดงสำหรับแว่นตา AI กิจกรรมนี้ทำหน้าที่เป็นจุดแรกเข้าหลักในการเปิดแอปของคุณบนแว่นตา AI แนวทางนี้ช่วยลดความซับซ้อนในการพัฒนาเนื่องจากคุณแชร์และนำตรรกะทางธุรกิจระหว่างประสบการณ์การใช้งานโทรศัพท์และแว่นตา AI มาใช้ซ้ำได้
ความเข้ากันได้ของเวอร์ชัน
ตรวจสอบข้อกำหนดความเข้ากันได้ของ Android SDK สำหรับ Jetpack XR SDK
ความสัมพันธ์
เพิ่มทรัพยากร Dependency ของไลบรารีต่อไปนี้สำหรับแว่นตา AI
ดึงดูด
dependencies {
implementation "androidx.xr.runtime:runtime:1.0.0-alpha12"
implementation "androidx.xr.glimmer:glimmer:1.0.0-alpha11"
implementation "androidx.xr.glimmer:glimmer-google-fonts:1.0.0-alpha11"
implementation "androidx.xr.projected:projected:1.0.0-alpha06"
implementation "androidx.xr.arcore:arcore:1.0.0-alpha12"
}
Kotlin
dependencies {
implementation("androidx.xr.runtime:runtime:1.0.0-alpha12")
implementation("androidx.xr.glimmer:glimmer:1.0.0-alpha11")
implementation("androidx.xr.glimmer:glimmer-google-fonts:1.0.0-alpha11")
implementation("androidx.xr.projected:projected:1.0.0-alpha06")
implementation("androidx.xr.arcore:arcore:1.0.0-alpha12")
}
ประกาศกิจกรรมในไฟล์ Manifest ของแอป
เช่นเดียวกับกิจกรรมประเภทอื่นๆ คุณต้องประกาศกิจกรรมในไฟล์ Manifest ของแอปเพื่อให้ระบบมองเห็นและเรียกใช้ได้
<application>
<activity
android:name="com.example.xr.projected.GlassesMainActivity"
android:exported="true"
android:requiredDisplayCategory="xr_projected"
android:label="Example AI Glasses activity">
<intent-filter>
<action android:name="android.intent.action.MAIN" />
</intent-filter>
</activity>
</application>
ประเด็นสำคัญเกี่ยวกับโค้ด
- ระบุ
xr_projectedสำหรับแอตทริบิวต์android:requiredDisplayCategoryเพื่อบอกระบบว่ากิจกรรมนี้ควรใช้ บริบทที่คาดการณ์ไว้ เพื่อ เข้าถึงฮาร์ดแวร์จากอุปกรณ์ที่เชื่อมต่อ
สร้างกิจกรรม
จากนั้นคุณจะสร้างกิจกรรมเล็กๆ ที่แสดงสิ่งต่างๆ บนแว่นตา AI ได้เมื่อใดก็ตามที่เปิดจอแสดงผล
@OptIn(ExperimentalProjectedApi::class) class GlassesMainActivity : ComponentActivity() { private var displayController: ProjectedDisplayController? = null private var isVisualUiSupported by mutableStateOf(false) private var areVisualsOn by mutableStateOf(true) private var isPermissionDenied by mutableStateOf(false) // Register the permissions launcher using the ProjectedPermissionsResultContract. private val requestPermissionLauncher: ActivityResultLauncher<List<ProjectedPermissionsRequestParams>> = registerForActivityResult(ProjectedPermissionsResultContract()) { results -> if (results[Manifest.permission.CAMERA] == true) { isPermissionDenied = false initializeGlassesFeatures() } else { // Handle permission denial. isPermissionDenied = true } } override fun onCreate(savedInstanceState: Bundle?) { super.onCreate(savedInstanceState) lifecycle.addObserver(object : DefaultLifecycleObserver { override fun onDestroy(owner: LifecycleOwner) { displayController?.close() displayController = null } }) if (hasCameraPermission()) { initializeGlassesFeatures() } else { requestHardwarePermissions() } setContent { GlimmerTheme { HomeScreen( areVisualsOn = areVisualsOn, isVisualUiSupported = isVisualUiSupported, isPermissionDenied = isPermissionDenied, onRetryPermission = { requestHardwarePermissions() }, onClose = { finish() } ) } } } private fun initializeGlassesFeatures() { lifecycleScope.launch { // Check device capabilities val projectedDeviceController = ProjectedDeviceController.create(this@GlassesMainActivity) isVisualUiSupported = projectedDeviceController.capabilities.contains(CAPABILITY_VISUAL_UI) val controller = ProjectedDisplayController.create(this@GlassesMainActivity) displayController = controller val observer = GlassesLifecycleObserver( context = this@GlassesMainActivity, controller = controller, onVisualsChanged = { visualsOn -> areVisualsOn = visualsOn } ) lifecycle.addObserver(observer) } } private fun hasCameraPermission(): Boolean { return ContextCompat.checkSelfPermission(this, Manifest.permission.CAMERA) == PackageManager.PERMISSION_GRANTED } private fun requestHardwarePermissions() { val params = ProjectedPermissionsRequestParams( permissions = listOf(Manifest.permission.CAMERA), rationale = "Camera access is required to overlay digital content on your physical environment." ) requestPermissionLauncher.launch(listOf(params)) } }
ประเด็นสำคัญเกี่ยวกับโค้ด
- เลือกใช้ API ที่เลือกใช้ จากไลบรารี Jetpack Projected
GlassesMainActivityขยายComponentActivityเช่นเดียวกับที่คุณ คาดหวังในการพัฒนาแอปบนมือถือ- เนื่องจากแว่นตา AI บางรุ่นไม่มีจอแสดงผล จึงต้องตรวจสอบว่าอุปกรณ์มี
จอแสดงผลหรือไม่โดยใช้
ProjectedDeviceController - บล็อก
setContentภายในฟังก์ชันonCreateจะกำหนดรูทของแผนผัง UI ของฟังก์ชันที่ประกอบกันได้สำหรับกิจกรรม คุณจะใช้ฟังก์ชันที่ประกอบกันได้ของHomeScreenโดยใช้ Jetpack Compose Glimmer - เริ่มต้น UI ในระหว่างเมธอด
onCreateของกิจกรรม (ดู วงจรกิจกรรมที่แสดง) - หากต้องการเตรียมพร้อมสำหรับฟีเจอร์ที่เกี่ยวข้องกับกล้องที่
เข้าถึงฮาร์ดแวร์ของแว่นตา ให้ขอสิทธิ์เข้าถึงฮาร์ดแวร์โดย
ลงทะเบียนตัวเปิดใช้สิทธิ์ กำหนดฟังก์ชัน
hasCameraPermissionและrequestHardwarePermissionsรวมถึงตรวจสอบว่าได้รับสิทธิ์แล้วหรือไม่ก่อนที่จะเรียกinitializeGlassesFeatures
ใช้ฟังก์ชันที่ประกอบกันได้
กิจกรรมที่คุณสร้างจะอ้างอิงฟังก์ชันที่ประกอบกันได้ของ HomeScreen ซึ่งคุณต้องใช้ โค้ดต่อไปนี้ใช้ Jetpack Compose Glimmer เพื่อ
กำหนดฟังก์ชันที่ประกอบกันได้ ซึ่งแสดงข้อความบนจอแสดงผลของแว่นตา AI ได้
@Composable fun HomeScreen( areVisualsOn: Boolean, isVisualUiSupported: Boolean, isPermissionDenied: Boolean, onRetryPermission: () -> Unit, onClose: () -> Unit, modifier: Modifier = Modifier ) { Box( modifier = modifier .surface(focusable = false) .fillMaxSize(), contentAlignment = Alignment.Center ) { if (isPermissionDenied) { Card( title = { Text("Permission Required") }, action = { Button(onClick = onClose) { Text("Exit") } } ) { Text("Camera access is needed to use AI glasses features.") Button(onClick = onRetryPermission) { Text("Retry") } } } else if (isVisualUiSupported) { Card( title = { Text("Android XR") }, action = { Button(onClick = onClose) { Text("Close") } } ) { if (areVisualsOn) { Text("Hello, AI Glasses!") } else { Text("Display is off. Audio guidance active.") } } } else { Text("Audio Guidance Mode Active") } } }
ประเด็นสำคัญเกี่ยวกับโค้ด
- ตามที่คุณกำหนดไว้ในกิจกรรมก่อนหน้านี้ ฟังก์ชัน
HomeScreenที่ประกอบกันได้ของ ประกอบด้วยเนื้อหาที่ประกอบกันได้ซึ่งผู้ใช้เห็นเมื่อจอแสดงผลของแว่นตา AI เปิดอยู่ - คอมโพเนนต์
Textของ Jetpack Compose Glimmer จะแสดงข้อความ "Hello, AI Glasses!" ในจอแสดงผลของแว่นตา - คอมโพเนนต์
Buttonของ Jetpack Compose Glimmer จะปิดกิจกรรมโดยเรียกfinish()ผ่านonCloseในกิจกรรมของแว่นตา AI
ตรวจสอบว่าแว่นตา AI เชื่อมต่ออยู่หรือไม่
หากต้องการตรวจสอบว่าแว่นตา AI ของผู้ใช้เชื่อมต่อกับโทรศัพท์หรือไม่ ก่อน
เปิดกิจกรรม ให้ใช้
ProjectedContext.isProjectedDeviceConnected เมธอด เมธอดนี้
จะส่งคืน Flow<Boolean> ที่แอปของคุณสามารถสังเกตเพื่อรับข้อมูลอัปเดตแบบเรียลไทม์เกี่ยวกับ
สถานะการเชื่อมต่อ
เริ่มกิจกรรม
เมื่อสร้างกิจกรรมพื้นฐานแล้ว คุณก็เปิดใช้กิจกรรมในแว่นตาได้ หากต้องการเข้าถึงฮาร์ดแวร์ของแว่นตา แอปของคุณต้องเริ่มกิจกรรมด้วยตัวเลือกที่เฉพาะเจาะจง ซึ่งบอกให้ระบบใช้บริบทที่คาดการณ์ไว้ ดังที่แสดงใน โค้ดต่อไปนี้
val options = ProjectedContext.createProjectedActivityOptions(context) val intent = Intent(context, GlassesMainActivity::class.java) context.startActivity(intent, options.toBundle())
เมธอด createProjectedActivityOptions ใน ProjectedContext
จะสร้างตัวเลือกที่จำเป็นเพื่อเริ่มกิจกรรมในบริบทที่คาดการณ์ไว้
พารามิเตอร์ context อาจเป็นบริบทจากโทรศัพท์หรืออุปกรณ์แว่นตา
ขั้นตอนถัดไป
เมื่อสร้างกิจกรรมแรกสำหรับแว่นตา AI แล้ว ให้ลองดูวิธีอื่นๆ ที่คุณสามารถขยายฟังก์ชันการทำงานได้
- จัดการเอาต์พุตเสียงโดยใช้การอ่านออกเสียงข้อความ
- จัดการอินพุตเสียงโดยใช้การจดจำคำพูดอัตโนมัติ
- สร้าง UI ด้วย Jetpack Compose Glimmer
- เข้าถึงฮาร์ดแวร์ของแว่นตา AI