產品最新消息

使用 Android XR SDK 開發人員預覽版 3 建構 AI 智慧眼鏡,並解鎖新功能,打造沉浸式體驗

閱讀時間:3 分鐘
查看 Matthew McCullough 的個人資料
Matthew McCullough Android 開發人員產品管理副總裁

Samsung 在 10 月推出 Galaxy XR,這是首款搭載 Android XR 的裝置。我們很高興看到大家打造出許多精彩作品!以下是部分開發人員對 Android XR 開發歷程的看法。

Android XR 為我們開闢了全新的應用程式建構環境。團隊應自問:我們能打造出最宏大、最大膽的體驗是什麼?現在,你終於有機會實現一直以來的夢想,因為你擁有可以實現夢想的平台。- Calm 首席產品經理 Kristen Coke

我們也搶先介紹了其他即將推出、可與 Android XR 搭配使用的裝置,例如 XREAL 的 Project Aura,以及 Gentle Monster 和 Warby Parker 的時尚眼鏡。

為支援更多 XR 裝置,我們宣布推出 Android XR SDK 開發人員預覽版 3!

image.png

Android XR SDK 開發人員預覽版 3 除了可為 Galaxy XR 等裝置打造沉浸式體驗,還能為即將推出、搭載 Android XR 的 AI 眼鏡打造擴增體驗。

用於擴增體驗的新工具和程式庫

開發人員預覽版 3 提供必要的工具和程式庫,可協助您為 AI 眼鏡打造智慧型免持擴增體驗。AI 眼鏡輕巧便攜,適合全天配戴。您可以擴充現有的行動應用程式,充分運用內建喇叭、相機和麥克風,提供全新、貼心且實用的使用者互動。AI 眼鏡配備小型螢幕,可私下向使用者顯示資訊。AI 智慧眼鏡非常適合用於提升使用者在現實世界中的專注力和臨場感。

image.png

為了在 AI 智慧眼鏡上提供擴增體驗,我們在 Jetpack XR SDK 中推出兩個新的專用程式庫:

Jetpack Compose Glimmer 示範了設計最佳做法,可打造精美的光學穿透式擴增體驗。Jetpack Compose Glimmer 的 UI 元件經過最佳化,符合 AI 智慧眼鏡的輸入模式和樣式需求,可確保畫面清晰易讀,盡可能減少干擾。

image.png

為協助您以視覺化方式呈現及測試 Jetpack Compose Glimmer UI,我們在 Android Studio 中推出 AI 眼鏡模擬器。新的 AI 眼鏡模擬器可模擬觸控板和語音輸入等眼鏡專屬互動。

AI Glasses Emulator.gif

除了全新的 Jetpack Projected 和 Jetpack Compose Glimmer 程式庫,我們也擴充了 ARCore for Jetpack XR,以支援 AI 眼鏡。首先,我們將推出動作追蹤和地理空間功能,打造擴增實境體驗。這些功能可讓您建立實用的導航體驗,非常適合 AI 眼鏡等全天穿戴式裝置。

navigation.webp

擴大支援沉浸式體驗

我們持續投資程式庫和工具,為 Samsung Galaxy XR 等 XR 頭戴式裝置,以及 XREAL 即將推出的 Project Aura 等有線 XR 眼鏡,提供沉浸式體驗。我們一直密切關注您的意見回饋,並在開發人員預覽版 2 推出後,為 Jetpack XR SDK 新增多項熱門功能。

Jetpack SceneCore  現在支援透過 URI 動態載入 glTF 模型,並改善材質,可在執行階段建立新的 PBR 材質。此外,SurfaceEntity 元件也經過強化,全面支援 Widevine 數位著作權管理 (DRM) 並新增形狀,可在球體和半球體中算繪 360 度和 180 度影片。

Jetpack Compose for XR 提供多項新功能,例如 UserSubspace 元件,可確保內容始終顯示在使用者視野內,無論他們看向何處。此外,您現在可以使用空間動畫,製作滑動或淡出等流暢的轉場效果。此外,為了支援不斷擴大的沉浸式裝置生態系統,以及各種顯示功能,您現在可以將版面配置大小指定為使用者舒適視野的一部分。

在 Material Design for XR 中,新元件會透過覆寫自動調整空間。包括在空間中升高的對話方塊,以及會彈出至軌道器的導覽列。此外,我們也新增了 SpaceToggleButton 元件,方便您在全螢幕模式之間切換。


此外,Jetpack XR 適用的 ARCore 新增了感知功能,包括臉部追蹤,可提供 68 個混合形狀值,解鎖各種臉部表情。您也可以使用眼動追蹤功能驅動虛擬化身,並透過深度圖,讓使用者與環境互動時更逼真。

針對 XREAL 的 Project Aura 等裝置,我們在 Android Studio 中推出 XR 眼鏡模擬器。這項重要工具可準確呈現內容,並符合實際裝置的視野 (FoV)、解析度和 DPI 規格,加快開發速度。

xrglasses-emulator-haxr-cropped.webp

如果您使用 Unity 打造沉浸式體驗,我們也將在 Android XR SDK for Unity 中擴充感知功能。除了修正許多錯誤和進行其他改善外,我們也擴充了追蹤功能,包括:QR 和 ArUco 碼、平面圖片和身體追蹤 (實驗功能)。我們也推出了備受期待的功能:場景網格。這項功能可讓您與使用者的環境進行更深入的互動,數位內容現在可以從牆壁彈開,並爬上沙發!

以上只是冰山一角,請務必查看沉浸式體驗頁面,瞭解更多資訊。

立即踏出第一步!

Android XR SDK 開發人員預覽版 3 現已推出!下載最新版 Android Studio Canary (Otter 3、Canary 4 以上版本),並升級至最新版模擬器 (36.4.3 Canary 以上版本),然後前往 developer.android.com/xr,開始使用最新程式庫和範例,為越來越多的 Android XR 裝置建構應用程式。我們將與您攜手打造 Android XR!在 Android XR 的開發過程中,別忘了與我們的團隊分享意見回饋、建議和想法。

作者:
繼續閱讀