产品动态

使用 Android XR SDK 开发者预览版 3 为 AI 眼镜构建应用,解锁沉浸式体验的新功能

阅读时间:4 分钟
Matthew McCullough
Android 开发者产品管理副总裁

10 月,三星推出了 Galaxy XR,这是首款搭载 Android XR 的设备。看到大家构建的应用,我们感到非常惊喜!以下是一些开发者对 Android XR 的体验分享。

Android XR 为我们提供了一个全新的世界,让我们可以在其中构建应用。团队应该问自己:您能构建的体验的最大胆、最宏伟的版本是什么?这是您终于可以付诸行动的机会,因为现在您拥有一个可以实现它的平台。- Kristen Coke,Calm,首席产品经理

您还看到我们分享了其他即将推出的 Android XR 设备,例如 XREAL 的 Project Aura 以及 Gentle Monster 和 Warby Parker 的 时尚眼镜

为了支持不断扩大的 XR 设备选择范围,我们宣布推出 Android XR SDK 开发者预览版 3!

image.png

借助 Android XR SDK 开发者预览版 3,除了为 Galaxy XR 等设备构建 沉浸式体验 外,您现在还可以为即将推出的搭载 Android XR 的 AI 眼镜构建 增强现实体验

用于增强现实体验的新工具和库

借助开发者预览版 3,我们解锁了为 AI 眼镜构建智能免手持增强现实体验所需的工具和库。AI 眼镜轻巧便携,适合全天佩戴。您可以扩展现有的移动应用,利用内置扬声器、摄像头和麦克风提供新的、周到且实用的用户互动。通过在显示型 AI 眼镜上添加小型显示屏,您可以私下向用户呈现信息。AI 眼镜非常适合帮助用户提高在现实世界中的专注度和存在感的体验。

image.png

为了在 AI 眼镜上提供增强现实体验,我们为 Jetpack XR SDK 推出了两个新的专用库:

Jetpack Compose Glimmer 展示了美观的光学透视增强现实体验的设计最佳实践。Jetpack Compose Glimmer 针对显示型 AI 眼镜的输入模式和样式要求进行了优化,旨在实现清晰、易读且干扰最小。

image.png

为了帮助您直观呈现和测试 Jetpack Compose Glimmer 界面,我们在 Android Studio 中推出了 AI 眼镜模拟器。新的 AI 眼镜模拟器可以模拟眼镜特定的互动,例如触摸板和语音输入。

AI 眼镜模拟器.gif

除了新的 Jetpack Projected 和 Jetpack Compose Glimmer 库之外,我们还扩展了 ARCore for Jetpack XR 以支持 AI 眼镜。我们首先为增强现实体验提供 动作跟踪地理空间功能,这些功能可让您创建实用的导航体验,非常适合 AI 眼镜等全天佩戴的设备。

navigation.webp

扩大对沉浸式体验的支持

我们将继续投资于为 XR 头戴设备 (例如 Samsung Galaxy XR)和有线 XR 眼镜 (例如即将推出的 XREAL Project Aura)提供沉浸式体验的库和工具。自开发者预览版 2 以来,我们一直在听取您的反馈,并向 Jetpack XR SDK 添加了多个备受期待的功能。

Jetpack SceneCore 现在提供通过 URI 动态加载 glTF 模型的功能,并改进了材质支持,以便在运行时创建新的 PBR 材质。此外,SurfaceEntity 组件还增强了对 Widevine 数字版权管理 (DRM) 的全面支持,并添加了新形状,使其能够在球体和半球体中渲染 360 度和 180 度视频

Jetpack Compose for XR 中,您会发现一些新功能,例如用于跟踪行为的 UserSubspace 组件,确保内容始终在用户的视野范围内,无论用户看向何处。此外,您现在可以使用 空间动画来实现平滑过渡,例如滑动或淡入淡出。为了支持不断扩大的沉浸式设备生态系统,这些设备具有不同的显示功能,您现在可以将 布局大小 指定为用户舒适视野范围的分数。

在 Material Design for XR 中,新组件会自动通过 替换以空间方式进行调整。其中包括在空间中提升的对话框,以及弹出到 Orbiter 中的导航栏。此外,还有一个新的 SpaceToggleButton 组件,可轻松切换到全屏模式和退出全屏模式。


在 ARCore for Jetpack XR 中,我们添加了新的感知功能,包括 面部跟踪(具有 68 个混合形状值,可解锁各种面部表情)。您还可以使用眼动追踪来驱动虚拟化身,并使用深度图来实现与用户环境更逼真的互动。

对于 XREAL 的 Project Aura 等设备,我们在 Android Studio 中推出了 XR 眼镜模拟器。此基本工具旨在为您提供准确的内容可视化效果,同时匹配真实设备的视野范围 (FoV)、分辨率和 DPI 规格,以加快开发速度。

xrglasses-emulator-haxr-cropped.webp

如果您使用 Unity 构建沉浸式体验,我们还将在 Android XR SDK for Unity 中扩展您的感知功能。除了修复大量 bug 和进行其他改进之外,我们还扩展了跟踪功能,以包含:二维码和 ArUco 代码、平面图像和身体跟踪(实验性)。我们还推出了一项备受期待的功能:场景网格化。它让您能够与用户的环境进行更深入的互动,您的数字内容现在可以从墙壁上弹开,并爬上沙发!

这只是冰山一角!如需了解详情,请务必查看我们的沉浸式体验页面。

立即开始体验吧!

Android XR SDK 开发者预览版 3 今天发布 !下载最新的 Android Studio Canary(Otter 3、Canary 4 或更高版本),并升级到最新的模拟器版本(36.4.3 Canary 或更高版本),然后访问 developer.android.com/xr,开始使用构建不断扩大的 Android XR 设备选择范围所需的最新库和 示例。我们将与您携手打造 Android XR!在 Android XR 的开发过程中,别忘了与我们的团队分享您的 反馈、建议和想法

作者:

继续阅读