ข่าวสารเกี่ยวกับผลิตภัณฑ์

สร้างแอปสำหรับแว่นตา AI ด้วย Android XR SDK เวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ 3 และปลดล็อกฟีเจอร์ใหม่ๆ เพื่อประสบการณ์ที่สมจริง

ใช้เวลาอ่าน 3 นาที
ดูโปรไฟล์ของ Matthew McCullough
Matthew McCullough รองประธานฝ่ายการจัดการผลิตภัณฑ์ นักพัฒนาแอป Android

เมื่อเดือนตุลาคมที่ผ่านมา Samsung ได้เปิดตัว Galaxy XR ซึ่งเป็นอุปกรณ์รุ่นแรกที่ขับเคลื่อนโดย Android XR และเราก็ตื่นเต้นมากที่ได้เห็นผลงานที่หลายๆ คนสร้างขึ้น ต่อไปนี้คือสิ่งที่นักพัฒนาแอปบางรายพูดถึงเส้นทางการพัฒนาสำหรับ Android XR

Android XR มอบโลกใหม่ให้เราสร้างแอป ทีมควรตั้งคำถามกับตัวเองว่า ประสบการณ์ที่ยิ่งใหญ่และโดดเด่นที่สุดที่คุณจะสร้างได้คืออะไร นี่เป็นโอกาสที่คุณจะได้ลงมือทำสิ่งที่อยากทำมาตลอด เพราะตอนนี้คุณมีแพลตฟอร์มที่ทำให้สิ่งนั้นเป็นจริงได้แล้ว - Kristen Coke, Calm, Lead Product Manager

นอกจากนี้ คุณยังได้เห็นเราแชร์ตัวอย่างแรกของอุปกรณ์อื่นๆ ที่กำลังจะเปิดตัวซึ่งใช้ได้กับ Android XR เช่น Project Aura จาก XREAL และแว่นตาที่มีสไตล์จาก Gentle Monster และ Warby Parker

เราขอประกาศเปิดตัว Android XR SDK เวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ 3 เพื่อรองรับอุปกรณ์ XR ที่มีให้เลือกมากขึ้น

image.png

Android XR SDK เวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ 3 นอกจากการสร้างประสบการณ์ที่สมจริงสำหรับอุปกรณ์อย่าง Galaxy XR แล้ว ตอนนี้คุณยังสามารถสร้างประสบการณ์ที่ได้รับการเสริมประสิทธิภาพสำหรับแว่นตา AI ที่กำลังจะเปิดตัวด้วย Android XR ได้ด้วย 

เครื่องมือและไลบรารีใหม่สำหรับประสบการณ์ Augmented Reality

ในเวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ 3 เราจะปลดล็อกเครื่องมือและไลบรารีที่จำเป็นสำหรับการสร้างประสบการณ์การใช้งานความจริงเสริมอัจฉริยะแบบแฮนด์ฟรีสำหรับแว่นตา AI แว่นตา AI มีน้ำหนักเบาและพกพาสะดวกสำหรับสวมใส่ได้ตลอดทั้งวัน คุณสามารถขยายแอปบนอุปกรณ์เคลื่อนที่ที่มีอยู่เพื่อใช้ประโยชน์จากลำโพง กล้อง และไมโครโฟนในตัวเพื่อมอบการโต้ตอบกับผู้ใช้แบบใหม่ที่รอบคอบและเป็นประโยชน์ การเพิ่มจอแสดงผลขนาดเล็กในแว่นตา AI แบบมีจอแสดงผลช่วยให้คุณแสดงข้อมูลแก่ผู้ใช้แบบส่วนตัวได้ แว่นตา AI เหมาะอย่างยิ่งสำหรับประสบการณ์ที่ช่วยเพิ่มสมาธิและการมีส่วนร่วมของผู้ใช้ในโลกจริง

image.png

เราขอแนะนำไลบรารีใหม่ 2 รายการที่สร้างขึ้นเพื่อวัตถุประสงค์เฉพาะใน Jetpack XR SDK เพื่อขับเคลื่อนประสบการณ์ Augmented Reality ในแว่นตา AI ดังนี้

  • Jetpack Projected - สร้างขึ้นเพื่อเชื่อมต่ออุปกรณ์เคลื่อนที่กับแว่นตา AI ด้วยฟีเจอร์ที่ช่วยให้คุณเข้าถึงเซ็นเซอร์ ลำโพง และจอแสดงผลบนแว่นตา
  • Jetpack Compose Glimmer - ภาษาออกแบบและคอมโพเนนต์ UI ใหม่สำหรับการสร้างและจัดสไตล์ประสบการณ์การใช้งานความจริงเสริมในแว่นตา AI แบบมีจอแสดงผล

Jetpack Compose Glimmer เป็นการสาธิตแนวทางปฏิบัติแนะนำด้านการออกแบบสำหรับประสบการณ์การใช้งานเทคโนโลยีความจริงเสริม (AR) แบบมองทะลุผ่านเลนส์ที่สวยงาม Jetpack Compose Glimmer ออกแบบมาเพื่อความชัดเจน ความสามารถในการอ่าน และสิ่งรบกวนที่น้อยที่สุด ด้วยคอมโพเนนต์ UI ที่เพิ่มประสิทธิภาพสำหรับรูปแบบการป้อนข้อมูลและข้อกำหนดด้านการจัดสไตล์ของแว่นตา AI แบบมีจอแสดงผล

image.png

เราขอแนะนำโปรแกรมจำลองแว่นตา AI ใน Android Studio เพื่อช่วยให้คุณเห็นภาพและทดสอบ UI ของ Glimmer ใน Jetpack Compose โปรแกรมจำลองแว่นตา AI ใหม่สามารถจำลองการโต้ตอบเฉพาะแว่นตา เช่น ทัชแพดและการป้อนข้อมูลด้วยเสียง 

AI Glasses Emulator.gif

นอกเหนือจากไลบรารี Jetpack Projected และ Jetpack Compose Glimmer ใหม่แล้ว เรายังขยาย ARCore สำหรับ Jetpack XR เพื่อรองรับแว่นตา AI ด้วย เราจะเริ่มด้วยการติดตามการเคลื่อนไหวและความสามารถด้านภูมิสารสนเทศสำหรับประสบการณ์ Augmented ซึ่งเป็นฟีเจอร์ที่ช่วยให้คุณสร้างประสบการณ์การนำทางที่เป็นประโยชน์ซึ่งเหมาะสำหรับอุปกรณ์ที่สวมใส่ได้ตลอดทั้งวัน เช่น แว่นตา AI

navigation.webp

ขยายการรองรับประสบการณ์ที่สมจริง

เรายังคงลงทุนในไลบรารีและเครื่องมือที่ขับเคลื่อนประสบการณ์ที่สมจริงสำหรับชุดหูฟัง XR เช่น Samsung Galaxy XR และแว่นตา XR แบบมีสาย เช่น Project Aura ที่กำลังจะเปิดตัวจาก XREAL เรารับฟังความคิดเห็นของคุณและได้เพิ่มฟีเจอร์หลายรายการที่มีการขอเข้ามาเป็นจำนวนมากใน Jetpack XR SDK ตั้งแต่เวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ 2

ตอนนี้ Jetpack SceneCore  มีฟีเจอร์การโหลดโมเดล glTF แบบไดนามิกผ่าน URI และการรองรับวัสดุที่ปรับปรุงแล้วสำหรับการสร้างวัสดุ PBR ใหม่ที่รันไทม์ นอกจากนี้ คอมโพเนนต์ SurfaceEntity ยังได้รับการปรับปรุงด้วยการรองรับการจัดการสิทธิ์ดิจิทัล (DRM) ของ Widevine อย่างเต็มรูปแบบและรูปทรงใหม่ๆ ซึ่งช่วยให้แสดงผลวิดีโอ 360 องศาและ 180 องศาในทรงกลมและครึ่งทรงกลมได้

ใน Jetpack Compose สำหรับ XR คุณจะเห็นฟีเจอร์ใหม่ๆ เช่น คอมโพเนนต์ UserSubspace สำหรับลักษณะการทำงานแบบติดตาม ซึ่งช่วยให้มั่นใจได้ว่าเนื้อหาจะยังคงอยู่ในมุมมองของผู้ใช้ไม่ว่าจะมองไปที่ใดก็ตาม นอกจากนี้ คุณยังใช้ภาพเคลื่อนไหวเชิงพื้นที่เพื่อการเปลี่ยนภาพที่ราบรื่น เช่น การเลื่อนหรือการจางได้ด้วย และเพื่อรองรับระบบนิเวศที่กำลังขยายตัวของอุปกรณ์ที่สมจริงซึ่งมีความสามารถในการแสดงผลที่หลากหลาย ตอนนี้คุณสามารถระบุขนาดเลย์เอาต์เป็นเศษส่วนของขอบเขตการมองเห็นที่ผู้ใช้รู้สึกสบายตาได้แล้ว

ใน Material Design สำหรับ XR คอมโพเนนต์ใหม่จะปรับเปลี่ยนเชิงพื้นที่โดยอัตโนมัติผ่านการลบล้าง ซึ่งรวมถึงกล่องโต้ตอบที่ยกระดับในเชิงพื้นที่ และแถบนำทางที่ปรากฏขึ้นใน Orbiter นอกจากนี้ยังมีคอมโพเนนต์ SpaceToggleButton ใหม่ที่ช่วยให้เปลี่ยนไปใช้และออกจาก Full Space ได้อย่างง่ายดาย


และใน ARCore สำหรับ Jetpack XR เราได้เพิ่มความสามารถใหม่ในการรับรู้ ซึ่งรวมถึงการติดตามใบหน้าที่มีค่า Blendshape 68 ค่า ซึ่งจะช่วยปลดล็อกโลกแห่งการแสดงสีหน้า นอกจากนี้ คุณยังใช้การติดตามดวงตาเพื่อขับเคลื่อนอวาตาร์เสมือนจริง และใช้แผนที่ความลึกเพื่อเปิดใช้การโต้ตอบกับสภาพแวดล้อมของผู้ใช้ที่สมจริงยิ่งขึ้นได้ด้วย

สำหรับอุปกรณ์อย่าง Project Aura จาก XREAL เราขอแนะนำโปรแกรมจำลองแว่นตา XR ใน Android Studio เครื่องมือที่จำเป็นนี้ออกแบบมาเพื่อให้คุณเห็นภาพเนื้อหาที่ถูกต้อง พร้อมทั้งจับคู่ข้อกำหนดของอุปกรณ์จริงสำหรับขอบเขตการมองเห็น (FoV), ความละเอียด และ DPI เพื่อเร่งการพัฒนา

xrglasses-emulator-haxr-cropped.webp

หากคุณสร้างประสบการณ์ที่สมจริงด้วย Unity เรายังขยายความสามารถในการรับรู้ใน Android XR SDK สำหรับ Unity ด้วย นอกจากการแก้ไขข้อบกพร่องและการปรับปรุงอื่นๆ อีกมากมายแล้ว เรายังขยายความสามารถในการติดตามให้ครอบคลุมคิวอาร์โค้ดและ ArUco Code, รูปภาพระนาบ และการติดตามร่างกาย (เวอร์ชันทดลอง) ด้วย นอกจากนี้ เรายังเปิดตัวฟีเจอร์ที่ได้รับการเรียกร้องอย่างมาก นั่นคือการสร้างเมชฉาก ซึ่งช่วยให้คุณโต้ตอบกับสภาพแวดล้อมของผู้ใช้ได้ลึกซึ้งยิ่งขึ้น โดยตอนนี้เนื้อหาดิจิทัลของคุณสามารถกระเด้งออกจากผนังและปีนขึ้นโซฟาได้แล้ว

และนี่เป็นเพียงตัวอย่างเท่านั้น ดูข้อมูลเพิ่มเติมได้ที่หน้าประสบการณ์ที่สมจริง

เริ่มใช้งานเลยวันนี้!

เวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ Android XR SDK 3 พร้อมให้ใช้งานแล้ววันนี้ ดาวน์โหลด Android Studio Canary เวอร์ชันล่าสุด (Otter 3, Canary 4 ขึ้นไป) และอัปเกรดเป็นโปรแกรมจำลองเวอร์ชันล่าสุด (36.4.3 Canary ขึ้นไป) จากนั้นไปที่ developer.android.com/xr เพื่อเริ่มต้นใช้งานไลบรารีและตัวอย่างล่าสุดที่จำเป็นสำหรับการสร้างแอปสำหรับอุปกรณ์ Android XR ที่มีจำนวนเพิ่มขึ้นเรื่อยๆ เรากำลังสร้าง Android XR ร่วมกับคุณ อย่าลืมแชร์ความคิดเห็น คำแนะนำ และไอเดียกับทีมของเราในขณะที่คุณพัฒนาแอปใน Android XR

เขียนโดย
อ่านต่อ