Journeys สำหรับ Android Studio ช่วยให้คุณอธิบายโฟลว์ผู้ใช้ตั้งแต่ต้นจนจบด้วยภาษาธรรมชาติ และเรียกใช้โฟลว์เหล่านั้นโดยตรงด้วย AI Agent ในอุปกรณ์ที่เชื่อมต่อหรือโปรแกรมจำลอง ชุดคำสั่งของคุณที่เรียกว่าเส้นทางจะได้รับการแปลงเป็นการดำเนินการที่ Agent ทำในแอป นอกจากนี้ คุณยังเขียนและอธิบายการยืนยันที่ซับซ้อนมากขึ้นได้ ซึ่ง Agent จะประเมินตามสิ่งที่เห็นในอุปกรณ์
เนื่องจาก Agent จะพิจารณาว่าควรดำเนินการใดเพื่อให้บรรลุเป้าหมาย เส้นทางจึงมีความยืดหยุ่นมากขึ้นต่อการเปลี่ยนแปลงเล็กน้อยในเลย์เอาต์หรือลักษณะการทำงานของแอป ส่งผลให้การทดสอบมีความเสถียรมากขึ้นเมื่อทำงานกับแอปเวอร์ชันต่างๆ และการกำหนดค่าอุปกรณ์ที่แตกต่างกัน
คุณสามารถเขียนและเรียกใช้เส้นทางได้โดยตรงจาก Android Studio หรือจากบรรทัดคำสั่งโดยใช้ Agent ใดก็ได้ เมื่อคุณเรียกใช้เส้นทาง ตัวแทนจะดำเนินการตามขั้นตอน ตรวจสอบผลลัพธ์ที่คาดหวัง และสร้างรายงานพร้อมภาพหน้าจอที่แสดงว่าแต่ละขั้นตอนผ่านหรือไม่ผ่าน
เขียนเส้นทาง
เส้นทางเขียนขึ้นโดยใช้ XML เพื่อจัดระเบียบคําอธิบายและขั้นตอนของเส้นทาง
ไฟล์ Journey ใช้นามสกุล .journey.xml และจัดเก็บไว้ในไดเรกทอรี src/journeysTest/ ของโมดูลแอป Android Studio มีเครื่องมือแก้ไขภาพที่ช่วยให้สร้างและแก้ไขเส้นทางได้ง่ายขึ้น คุณไม่จำเป็นต้องทำการเปลี่ยนแปลงใดๆ กับไฟล์บิลด์เพื่อใช้เส้นทาง
หากต้องการสร้างเส้นทางการเรียนรู้ ให้ทำอย่างใดอย่างหนึ่งต่อไปนี้
- จากแผงโปรเจ็กต์ใน Android Studio ให้คลิกขวาที่โมดูลแอปที่ต้องการเขียนเส้นทาง แล้วเลือกใหม่ > ไฟล์เส้นทาง นอกจากนี้ คุณยังเลือกไฟล์ > ใหม่ > ไฟล์เส้นทางจากเมนูหลักได้ด้วย
- ในหน้าต่าง Agent ให้ขอให้ Agent สร้างเส้นทางสำหรับโฟลว์ผู้ใช้ในแอป เช่น "สร้างเส้นทางที่ค้นหาผลิตภัณฑ์ เพิ่มลงในรถเข็น และยืนยันว่ารถเข็นแสดงสินค้า 1 รายการ"
หากต้องการแก้ไขเส้นทาง ให้เปิดไฟล์เส้นทาง คุณสามารถใช้มุมมองโค้ดเพื่อแก้ไข XML โดยตรง มุมมองการออกแบบเพื่อประสบการณ์การแก้ไขที่ง่ายขึ้น หรือมุมมองแยกเพื่อดูทั้ง 2 อย่าง นอกจากนี้ คุณยังขอให้ Agent อัปเดตไฟล์การเดินทางที่มีอยู่ได้ด้วย
ในมุมมองการออกแบบ แต่ละแถวคือขั้นตอนของเส้นทาง พิมพ์การดำเนินการที่ต้องการให้ Agent ทำ หรือการยืนยันที่ต้องการให้ Agent ตรวจสอบ แล้วกด Enter เพื่อเพิ่มขั้นตอนถัดไป
เคล็ดลับในการเขียนเส้นทาง
แม้ว่า Agent จะเข้าใจขั้นตอนส่วนใหญ่ที่เขียนเป็นภาษาที่รองรับ แต่การทำตามเคล็ดลับต่อไปนี้ในการเขียนเส้นทางอาจช่วยให้ได้ผลลัพธ์ที่ถูกต้องและตรงตามที่คาดหวังมากขึ้น
- สมมติว่าแอปของคุณทำงานอยู่เบื้องหน้าแล้ว: การเรียกใช้เส้นทางจะเปิดแอปของคุณโดยอัตโนมัติ ขั้นตอนของเส้นทางควรเริ่มต้นหลังจากที่แอปเปิดขึ้นโดยสมบูรณ์แล้ว กล่าวคือ คุณไม่จำเป็นต้องใส่ "เปิดแอป" เป็นขั้นตอนหนึ่ง
- ใช้ภาษาที่ชัดเจน: การใช้ภาษาที่ชัดเจนจะช่วยลดการตีความผิดและเพิ่มความน่าเชื่อถือ
| แทนที่จะใช้ | ดำเนินการดังนี้ |
|---|---|
| "เลือกปุ่มปิด" | "แตะ 'ปิด'" หรือแค่ "ปิด" |
| "พิมพ์ 'celery'" | "พิมพ์ 'ขึ้นฉ่าย' ในแถบค้นหาที่ด้านบนของหน้าจอหลัก" |
| "ปัดเพื่อปิด" | "ปัดไปทางซ้ายเพื่อปิด จากนั้นการ์ดจะไม่ปรากฏอีกต่อไป" |
- รวมเกณฑ์ความสำเร็จเป็นส่วนหนึ่งของขั้นตอน: วิธีนี้จะช่วยให้ Agent เข้าใจความตั้งใจของคุณได้ดีขึ้น และชี้แจงเมื่อการดำเนินการเสร็จสมบูรณ์และการดำเนินการถัดไปจะเริ่มขึ้นได้
| แทนที่จะใช้ | ดำเนินการดังนี้ |
|---|---|
| "เลือกปุ่มส่ง" | "ส่งอีเมลโดยแตะปุ่มส่ง ซึ่งจะเป็นการปิดอีเมลและนำคุณกลับไปที่กล่องจดหมาย" |
| "ไปที่รถเข็นช็อปปิ้ง" | "แตะไอคอนรถเข็นช็อปปิ้งซึ่งจะนำคุณไปยังหน้ารถเข็นช็อปปิ้ง ตรวจสอบว่าไม่มีรายการใดๆ" |
| "คลิกวิดีโอแรก" | "คลิกวิดีโอแรกและรอให้โหลดจนเสร็จ" |
- ปรับแต่งเส้นทาง: หากเส้นทางไม่ทำงานตามที่คาดไว้ ให้ดูผลลัพธ์เพื่อทำความเข้าใจสาเหตุที่ Agent อาจไม่ได้ดำเนินการตามขั้นตอนตามที่คุณคาดไว้ ใช้ข้อมูลนี้เพื่อให้คำแนะนำของคุณชัดเจนยิ่งขึ้น
- แบ่งเส้นทางออกเป็นขั้นตอนที่เฉพาะเจาะจงมากขึ้น: แม้ว่า Agent จะตีความขั้นตอนที่มีการดำเนินการหลายอย่างได้ แต่บางครั้งขั้นตอนที่แยกกันและละเอียดมากขึ้นอาจช่วยเพิ่มความแม่นยำและความสามารถในการทำซ้ำของเส้นทางได้
ความสามารถที่รองรับและข้อจำกัด
ต่อไปนี้เป็นภาพรวมของความสามารถที่รองรับเมื่อเขียนเส้นทาง และความสามารถที่ไม่รองรับหรืออาจทำงานไม่สอดคล้องกัน รายการต่อไปนี้เป็นเพียงตัวอย่างบางส่วนเท่านั้น
ระบบรองรับการดำเนินการต่อไปนี้ภายในเส้นทาง
- แตะองค์ประกอบ UI
- กดค้างที่องค์ประกอบ UI
- พิมพ์เพื่อป้อนข้อความลงในช่องข้อความ
- ปัด/เลื่อนไปในทิศทางที่ต้องการเพื่อไปยังส่วนต่างๆ ของ UI
ขณะนี้ระบบไม่รองรับความสามารถต่อไปนี้
- ท่าทางสัมผัสแบบหลายนิ้ว (เช่น การบีบเพื่อซูม) - การโต้ตอบที่ต้องใช้จุดสัมผัสบนหน้าจอพร้อมกันตั้งแต่ 2 จุดขึ้นไป เช่น การบีบเพื่อซูมเข้าหรือออก หรือการปัดด้วย 2 นิ้ว
ความสามารถต่อไปนี้อาจทำงานไม่สอดคล้องกัน
- การนับ - การติดตามปริมาณ ความถี่ หรือความคืบหน้าอย่างแม่นยำ
ฟีเจอร์และความสามารถต่างๆ มีการปรับปรุงอย่างต่อเนื่อง เราขอแนะนำให้กลับมาตรวจสอบหน้านี้ในภายหลังเพื่อดูข้อมูลเกี่ยวกับฟีเจอร์และความสามารถเพิ่มเติม โปรดแชร์ความคิดเห็นเพื่อช่วยเราปรับปรุงเส้นทางการค้นหา
เริ่มเส้นทาง
คุณเรียกใช้เส้นทางด้วย AI Agent ในหน้าต่าง Agent เมื่อคุณเรียกใช้เส้นทาง ตัวแทนจะสร้างและติดตั้งใช้งานแอปในอุปกรณ์ ทำตามแต่ละขั้นตอนของเส้นทาง และรายงานว่าเส้นทางผ่านหรือไม่
หากต้องการเรียกใช้เส้นทาง ให้ทำอย่างใดอย่างหนึ่งต่อไปนี้
- เปิดไฟล์เส้นทางแล้วคลิกเรียกใช้
ในแถบเครื่องมือของเครื่องมือแก้ไข - ในมุมมองโค้ดหรือแยก ให้คลิกเรียกใช้
ในแถบข้างแท็ก <journey> - ในแผงโปรเจ็กต์ ให้คลิกขวาที่ไฟล์เส้นทาง แล้วเลือกเรียกใช้เส้นทางด้วย Agent หากต้องการเรียกใช้เส้นทางหลายรายการ ให้เลือกไฟล์เส้นทางมากกว่า 1 ไฟล์ หรือโฟลเดอร์ที่มีไฟล์เส้นทาง แล้วเลือกเรียกใช้เส้นทางด้วย Agent
- ในหน้าต่าง Agent ให้ขอให้ Agent เรียกใช้เส้นทาง
Android Studio จะเริ่มการสนทนาใหม่ในหน้าต่างตัวแทนโดยใช้ตัวแทนที่คุณเลือกล่าสุด รวมถึงตัวแทนอื่นๆ ที่คุณเชื่อมต่อไว้ในการตั้งค่า > เครื่องมือ > AI > ตัวแทน
Agent จะเรียกใช้เส้นทางในอุปกรณ์ที่เลือกในแถบเครื่องมือหลัก หากไม่มีอุปกรณ์ที่ทำงานอยู่ ตัวแทนจะเปิดโปรแกรมจำลองให้คุณได้ หากคุณเรียกใช้เส้นทางมากกว่า 1 เส้นทางหรือเลือกอุปกรณ์มากกว่า 1 เครื่อง ตัวแทนจะแสดงสรุปผลลัพธ์เมื่อการเรียกใช้เสร็จสมบูรณ์
เรียกใช้เส้นทางจากบรรทัดคำสั่ง
หากต้องการเรียกใช้เส้นทางจากบรรทัดคำสั่งด้วย Agent ใดก็ได้ ให้ใช้ Android CLI
ดูผลลัพธ์
เมื่อ Agent ดำเนินการตามเส้นทางเสร็จสมบูรณ์แล้ว ระบบจะรายงานว่าเส้นทางผ่านหรือไม่ผ่าน รวมถึงขั้นตอนที่ไม่ผ่านในหน้าต่าง Agent นอกจากนี้ ยังมีลิงก์ไปยังรายงานสำหรับเส้นทางด้วย รายงานประกอบด้วยข้อมูลต่อไปนี้
- ผลลัพธ์โดยรวมของเส้นทาง
- แต่ละขั้นตอนผ่านหรือไม่ผ่าน
- คำสั่งที่ Agent เรียกใช้ในอุปกรณ์
- ความคิดเห็นของตัวแทนเกี่ยวกับแต่ละขั้นตอน
- ลิงก์ไปยังภาพหน้าจอที่ตัวแทนบันทึกไว้
เรียกใช้เส้นทางเป็นชุดโปรแกรมทดสอบ AGP
ใน Android Studio Rabbit 2 และเวอร์ชันก่อนหน้า เส้นทางจะพร้อมใช้งานเป็นฟีเจอร์ Studio Labs ที่เรียกใช้เส้นทางเป็นชุดโปรแกรมทดสอบปลั๊กอิน Android Gradle (AGP) หากต้องการใช้ ให้ทำดังนี้
- ไปที่ Studio Labs ในเมนูการตั้งค่า แล้วเปิดใช้เส้นทาง
- ตรวจสอบว่าโปรเจ็กต์ใช้ AGP 9.0.0 ขึ้นไป
- ในแผงโปรเจ็กต์ ให้คลิกขวาที่โมดูลแอป แล้วเลือกใหม่ > การทดสอบเส้นทาง หากคุณเพิ่มเส้นทางลงในโปรเจ็กต์เป็นครั้งแรก Android Studio จะเพิ่มการรองรับชุดโปรแกรมทดสอบ AGP ลงในโปรเจ็กต์ด้วย
- เปิดไฟล์เส้นทาง แล้วคลิกเรียกใช้เส้นทางในมุมมองการออกแบบ Android Studio จะสร้างการกำหนดค่าการรันเพื่อทดสอบการทดสอบเส้นทาง เรียกใช้การกำหนดค่าดังกล่าวในอุปกรณ์ที่เลือก และแสดงผลลัพธ์ในแผงผลการทดสอบ
ชุดโปรแกรมทดสอบจะทำงานกับตัวแปรบิลด์ที่ใช้งานอยู่เมื่อคุณสร้างเส้นทาง หากเปลี่ยนไปใช้ตัวแปรบิลด์อื่น ให้เพิ่มตัวแปรนั้นลงในพร็อพเพอร์ตี้ targetVariants ในบล็อก testSuites ของไฟล์ build.gradle.kts ระดับโมดูล