เส้นทางสำหรับ Android Studio

Journeys for Android Studio ใช้ประโยชน์จากความสามารถด้านวิสัยทัศน์และการให้เหตุผลของ AI เพื่อนำทางและทดสอบแอปตามวิธีการที่คุณอธิบายด้วยภาษาธรรมชาติ ชุดวิธีการของคุณที่เรียกว่า "Journey" จะถูกแปลงเป็นการดำเนินการที่ AI ทำในแอป นอกจากนี้ คุณยังเขียนและอธิบายการยืนยันที่ซับซ้อนมากขึ้นได้ ซึ่ง AI จะประเมินตามสิ่งที่เห็นในอุปกรณ์

และเนื่องจาก Gemini ให้เหตุผลเกี่ยวกับการดำเนินการที่จะทำเพื่อให้บรรลุเป้าหมาย Journeys จึงมีความยืดหยุ่นมากขึ้นต่อการเปลี่ยนแปลงเล็กน้อยในเลย์เอาต์หรือลักษณะการทำงานของแอป ซึ่งจะทำให้การทดสอบที่อาจล้มเหลวเป็นครั้งคราวมีจำนวนลดลงเมื่อทดสอบกับแอปเวอร์ชันต่างๆ และการกำหนดค่าอุปกรณ์ต่างๆ

คุณสามารถเขียนและเรียกใช้ Journeys ได้โดยตรงจาก Android Studio หรือจากบรรทัดคำสั่งกับอุปกรณ์ที่ใช้ Android ในเครื่องหรือระยะไกล IDE มีประสบการณ์การใช้งานเอดิเตอร์ใหม่สำหรับการสร้างเส้นทาง รวมถึงผลลัพธ์ที่สมบูรณ์ซึ่งช่วยให้คุณเข้าใจการให้เหตุผลและการดำเนินการของ Gemini ในเส้นทางได้ดียิ่งขึ้น

เขียน Journey

Android Studio มีเทมเพลตไฟล์และประสบการณ์การใช้งานเครื่องมือแก้ไขใหม่ที่ช่วยให้การสร้างและแก้ไข Journeys ง่ายขึ้น Journeys เขียนขึ้นโดยใช้ไวยากรณ์ XML เพื่อจัดระเบียบคำอธิบายและขั้นตอนของ Journey

หากต้องการสร้างและเริ่มแก้ไข Journey ให้ทำดังนี้

1. จากแผงโปรเจ็กต์ ใน Android Studio ให้คลิกขวาที่โมดูลแอปที่คุณต้องการเขียน Journey
2. เลือกใหม่ > การทดสอบ Journey

3. ป้อนชื่อและคำอธิบายของ Journey ในกล่องโต้ตอบที่ปรากฏ

   

4. คลิกเสร็จสิ้น Android Studio จะสร้างไฟล์ XML สำหรับ Journey ที่มีชื่อที่คุณเลือก คุณสามารถใช้มุมมองโค้ด เพื่อแก้ไข XML โดยตรง หรือใช้มุมมองการออกแบบ เพื่อประสบการณ์การแก้ไขที่ง่ายขึ้น

5. เมื่อดู Journey ในมุมมองการออกแบบ ให้ใช้ช่องข้อความเพื่ออธิบายแต่ละขั้นตอนของ Journey แต่ละขั้นตอนสามารถรวมการดำเนินการเชิงอธิบายที่คุณต้องการให้ Gemini ทำหรือการยืนยันที่คุณต้องการให้ Gemini ประเมิน

6. กด Enter บนแป้นพิมพ์เพื่อเริ่มขั้นตอนใหม่ใน Journey เดียวกัน คุณสามารถทำซ้ำขั้นตอนนี้ได้ตามต้องการสำหรับแต่ละขั้นตอนของ Journey ที่ต้องการกำหนด

กำหนดค่าตัวแปรของบิวด์

Journeys ทำงานกับตัวแปรบิลด์ที่เฉพาะเจาะจงของแอป เมื่อคุณสร้าง Journey เป็นครั้งแรกโดยใช้ตัวช่วยสร้าง ระบบจะกำหนดค่าชุดโปรแกรมทดสอบที่สร้างขึ้นให้ทำงานกับตัวแปรบิลด์ที่ใช้งานอยู่ใน Android Studio

อย่างไรก็ตาม หากคุณเปลี่ยนตัวแปรบิลด์ที่ใช้งานอยู่ใน Android Studio ในภายหลัง (เช่น เปลี่ยนไปใช้เวอร์ชันผลิตภัณฑ์อื่นอย่าง demoDebug) โดยไม่ได้อัปเดตการกำหนดค่า การเรียกใช้ Journey จะล้มเหลว หากต้องการแก้ไขปัญหานี้ คุณต้องเพิ่มตัวแปรใหม่ ลงในพร็อพเพอร์ตี้ targetVariants ในบล็อก testSuites ของไฟล์ build.gradle.kts (หรือ build.gradle) ระดับโมดูล

ตัวอย่างเช่น หากต้องการกำหนดค่าชุด journeysTest สำหรับตัวแปร demoDebug ให้ทำดังนี้

android {
    // ...
    testSuites {
        create("journeysTest") {
            // ...
            targetVariants += listOf("demoDebug")
        }
    }
}

เคล็ดลับในการเขียน Journeys

แม้ว่า AI จะเข้าใจขั้นตอนส่วนใหญ่ที่เขียนด้วยภาษาที่รองรับ แต่การทำตามเคล็ดลับต่อไปนี้ในการเขียน Journeys อาจทำให้ได้ผลลัพธ์ที่แม่นยำและเป็นไปตามที่คาดไว้มากขึ้น

• สมมติว่าแอปของคุณอยู่เบื้องหน้าแล้ว: การเรียกใช้ Journey จะเปิดแอปของคุณโดยอัตโนมัติ ขั้นตอนของ Journey ควรเริ่มต้น หลังจาก ที่แอปเปิดขึ้นอย่างสมบูรณ์แล้ว นั่นคือ คุณไม่จำเป็นต้องรวม "เปิดแอป" เป็นขั้นตอน
• ใช้ภาษาที่ชัดเจน: การใช้ภาษาที่ชัดเจนจะช่วยลดการตีความผิดและเพิ่มความน่าเชื่อถือ

• รวมเกณฑ์ความสำเร็จเป็นส่วนหนึ่งของขั้นตอน: วิธีนี้จะช่วยให้ Gemini เข้าใจเจตนาของคุณได้ดียิ่งขึ้นและระบุได้ชัดเจนว่าการดำเนินการเสร็จสมบูรณ์แล้วเมื่อใดและสามารถเริ่มการดำเนินการถัดไปได้

• ปรับแต่งเส้นทาง: หากเส้นทางไม่ทำงานตามที่คาดไว้ คุณสามารถ ดูผลลัพธ์ และตรวจสอบ "การดำเนินการที่ทำ" และ "การให้เหตุผล" ที่เกี่ยวข้องเพื่อทำความเข้าใจว่าเหตุใด Gemini จึงอาจไม่ได้ดำเนินการตามขั้นตอนที่คุณ คาดไว้ ใช้ข้อมูลนี้เพื่อเพิ่มความชัดเจนให้กับวิธีการ
• แบ่ง Journey ออกเป็นขั้นตอนที่เฉพาะเจาะจงมากขึ้น: แม้ว่า AI จะตีความขั้นตอนที่มีการดำเนินการหลายอย่างได้ แต่บางครั้งขั้นตอนที่แยกกันและละเอียดมากขึ้นอาจช่วยปรับปรุงความแม่นยำและความสามารถในการทำซ้ำของ Journey
  • "Error: Could not successfully complete the action in max allowed attempt": หากพบข้อผิดพลาดนี้ ให้ลองแบ่งขั้นตอนที่ล้มเหลวออกเป็น 2 ขั้นตอนหรือ มากกว่า เนื่องจากข้อผิดพลาดนี้เกิดขึ้นหาก AI ไม่สามารถดำเนินการให้เสร็จสมบูรณ์หลังจากพยายามโต้ตอบกับแอปของคุณเป็นจำนวนครั้งสูงสุด

ความสามารถที่รองรับและไม่รองรับ

ต่อไปนี้เป็นภาพรวมของความสามารถที่รองรับและยังไม่รองรับอย่างเต็มรูปแบบเมื่อเขียน Journeys รายการต่อไปนี้เป็นเพียงตัวอย่างบางส่วนเท่านั้น

ระบบรองรับ การดำเนินการต่อไปนี้ภายใน Journeys

• แตะ องค์ประกอบ UI
• พิมพ์ เพื่อป้อนข้อความลงในช่องข้อความ
• ปัด/เลื่อน ไปในทิศทางที่กำหนดเพื่อไปยังส่วนต่างๆ ของ UI

ปัจจุบันระบบยังไม่รองรับ ความสามารถต่อไปนี้อย่างเต็มรูปแบบหรืออาจทำงานไม่สอดคล้องกัน

• ท่าทางสัมผัสแบบหลายนิ้ว (เช่น บีบเพื่อซูม) - การโต้ตอบ ที่ต้องใช้จุดสัมผัสบนหน้าจอ 2 จุดขึ้นไปพร้อมกัน เช่น การบีบเพื่อซูมเข้าหรือออก หรือการปัดด้วย 2 นิ้ว
• แตะค้างไว้ - กดนิ้วค้างไว้เป็นระยะเวลานานกว่า การแตะมาตรฐาน
• แตะสองครั้ง - แตะตำแหน่งเดียวกันบนหน้าจอ 2 ครั้งอย่างรวดเร็วต่อเนื่องกัน
• การหมุน/พับหน้าจอ - การจัดการการเปลี่ยนแปลงการวางแนวอุปกรณ์ (เช่น ระหว่างแนวตั้งและแนวนอน) หรือสถานะทางกายภาพของอุปกรณ์แบบพับได้ (เช่น การเปิดหรือปิด)
• หน่วยความจำ - การเก็บรักษาและเรียกคืนข้อมูลเฉพาะเจาะจง บริบท หรือข้อมูลที่ผู้ใช้ ป้อนในการโต้ตอบหรือขั้นตอนก่อนหน้า
• การนับ - การติดตามปริมาณ ความถี่ หรือความคืบหน้าอย่างแม่นยำ
• คำสั่งแบบมีเงื่อนไข - การดำเนินการตามเงื่อนไขที่ระบุอื่นๆ ว่าเป็นไปตามเงื่อนไขหรือไม่

ฟีเจอร์และความสามารถมีการปรับปรุงอย่างต่อเนื่อง เราขอแนะนำให้คุณกลับมาดูหน้านี้อีกครั้งในภายหลังเพื่อดูข้อมูลเกี่ยวกับฟีเจอร์และความสามารถเพิ่มเติม โปรดแชร์ความคิดเห็นเพื่อช่วยเราปรับปรุง Journeys

เรียกใช้ Journey

คุณสามารถเรียกใช้เส้นทางของคุณในอุปกรณ์ในเครื่องหรืออุปกรณ์ระยะไกลที่พร้อมใช้งานได้เช่นเดียวกับการทดสอบการวัดคุมอื่นๆ และ Android Studio จะสร้างผลการค้นหาที่เป็นริชมีเดียที่สมบูรณ์ซึ่งช่วยให้คุณเข้าใจการดำเนินการของเส้นทางของคุณ

หากต้องการทดสอบ Journey ให้ทำดังนี้

1. เลือกอุปกรณ์เป้าหมายจากแถบเครื่องมือหลัก เช่นเดียวกับที่คุณทำเมื่อเรียกใช้การทดสอบที่ใช้เครื่องมือ
2. ไปที่ไฟล์ XML ของ Journey ที่ต้องการทดสอบแล้วเปิดในเครื่องมือแก้ไข
3. ในเครื่องมือแก้ไข ให้ทำอย่างใดอย่างหนึ่งต่อไปนี้
   1. หากอยู่ในมุมมองการออกแบบ ให้คลิก เรียกใช้ Journey
   2. หากอยู่ในมุมมองโค้ด ให้คลิก เรียกใช้ 'test' ใน Gutter ข้างตำแหน่งที่กำหนดชื่อของ Journey ใน XML

Android Studio จะสร้างการกำหนดค่าการทดสอบ Journeys ให้คุณและเรียกใช้การกำหนดค่าดังกล่าวในอุปกรณ์เป้าหมาย ในระหว่างการดำเนินการ Android Studio จะสร้างและติดตั้งใช้งานแอป รวมถึงเชื่อมต่อกับ Gemini เพื่อกำหนดการดำเนินการที่จะทำในแต่ละขั้นตอนของ Journey

เรียกใช้ Journeys กับแอปที่ติดตั้งไว้ล่วงหน้า

คุณสามารถเรียกใช้ Journey ในแอปที่ติดตั้งไว้ล่วงหน้าในอุปกรณ์ทดสอบได้ วิธีนี้มีประโยชน์หากคุณต้องการทดสอบแอปเวอร์ชันที่ใช้งานจริง หรือหากคุณยังไม่ได้อัปเดตแอปเป็นปลั๊กอิน Android Gradle เวอร์ชัน 9.0.0 ขึ้นไป

1. เปิดหรือสร้างโปรเจ็กต์ใหม่ที่ อัปเดตเป็นปลั๊กอิน Android Gradle เวอร์ชัน 9.0.0 ขึ้นไป
2. เขียน Journey
3. แก้ไขการกำหนดค่าการเรียกใช้สำหรับ Journey และเพิ่มตัวแปรสภาพแวดล้อมต่อไปนี้ ระบบจะสร้างการกำหนดค่าการเรียกใช้โดยอัตโนมัติเมื่อคุณพยายามเรียกใช้ Journey จาก Android Studio
   • ตั้งค่า JOURNEYS_CUSTOM_APP_ID เป็นรหัสแพ็กเกจของแอปเป้าหมาย
4. เรียกใช้ Journey ที่คุณแก้ไข Android Studio ควรดำเนินการตามขั้นตอนของ Journey ในแอปเป้าหมายที่คุณระบุ

เรียกใช้ Journey จากบรรทัดคำสั่ง

หากต้องการเรียกใช้ Journeys จากบรรทัดคำสั่ง ให้ใช้ Android CLI

ดูผลลัพธ์

เมื่อ Android Studio ทดสอบ Journey เสร็จแล้ว แผงผลการทดสอบจะปรากฏขึ้นโดยอัตโนมัติเพื่อแสดงผลลัพธ์

เมื่อเทียบกับการทดสอบที่ใช้เครื่องมืออื่นๆ ที่คุณอาจเรียกใช้ใน Android Studio การแสดงผลลัพธ์สำหรับ Journeys จะแตกต่างกันเล็กน้อย

• แผงการทดสอบ จะแบ่ง Journey ออกเป็นขั้นตอนที่แยกกัน คุณสามารถคลิกแต่ละขั้นตอนเพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีที่ Gemini ดำเนินการ
• แผงผลลัพธ์ จะแสดงข้อมูลที่สมบูรณ์เพื่อช่วยให้คุณเข้าใจวิธีที่ Gemini เข้าใจและให้เหตุผลเกี่ยวกับ Journey รวมถึงวิธีที่ดำเนินการ
  • ระบบจะแสดงภาพหน้าจอที่ส่งไปยัง Gemini เพื่อช่วยในการมองเห็นในแต่ละการดำเนินการในขั้นตอน
  • การดำเนินการแต่ละรายการที่ทำและเหตุผลของ Gemini ที่ทำเช่นนั้นจะอธิบายไว้ข้างภาพหน้าจอแต่ละภาพ
  • การดำเนินการแต่ละรายการในขั้นตอนจะมีหมายเลขกำกับ

ปัญหาที่ทราบแล้ว

• ปัญหาแคชการกำหนดค่า Gradle: Journeys อาจทำงานไม่เป็นไปตามที่คาดไว้เมื่อเปิดใช้แคชการกำหนดค่า Gradle ตัวอย่างเช่น ปัญหานี้อาจทำให้ระบบเรียกใช้ไฟล์ Journey ที่ไม่ถูกต้องเมื่อมีไฟล์ Journey หลายไฟล์ นอกจากนี้ยังอาจทำให้เกิดปัญหาในการตรวจสอบสิทธิ์ด้วย

  หากต้องการหลีกเลี่ยงปัญหานี้ คุณสามารถปิดใช้แคชการกำหนดค่าได้โดยตั้งค่า org.gradle.configuration-cache=false ในไฟล์ gradle.properties ของโปรเจ็กต์

• เมื่อทดสอบ Journey ระบบจะให้สิทธิ์ทั้งหมดสำหรับแอปของคุณโดยค่าเริ่มต้น

• เมื่อทดสอบ Journey ในอุปกรณ์ที่ใช้ Android 15 (API ระดับ 35) คุณ อาจเห็นคำเตือนในอุปกรณ์ที่ระบุว่า "Unsafe App Blocked" สำหรับ "AndroidX Crawler" คุณสามารถคลิกติดตั้งต่อไป เพื่อข้ามการตรวจสอบนี้ หรือจะ กำหนดค่าตัวเลือกสำหรับนักพัฒนาแอปในอุปกรณ์และปิดใช้ตัวเลือก เพื่อตรวจสอบแอปผ่าน USBก็ได้