อินพุต Android

โต้ตอบกับแอป Android โดยใช้ท่าทางสัมผัสและเหตุการณ์สำคัญในองค์ประกอบ UI

การใช้งาน

android input [-h] [--device=PARAM]

ตัวเลือก

  • --device=PARAM - หมายเลขซีเรียลของอุปกรณ์หรือรหัสโปรแกรมจำลอง (ตามที่รายงานโดย "adb devices")
  • -h,--help - แสดงข้อความช่วยเหลือสำหรับคำสั่งที่ระบุ

ตัวเลือก android รายการ

  • --sdk=PARAM - เส้นทางไปยัง Android SDK
  • -v,--verbose - เปิดใช้เอาต์พุตแบบละเอียดสำหรับการแก้ปัญหา
  • -V,--version - พิมพ์ข้อมูลเวอร์ชันและออก

คำสั่งย่อย

  • key - กดปุ่มกด ปุ่มการนำทาง หรือคีย์โค้ด Android
  • scroll - เลื่อนองค์ประกอบคอนเทนเนอร์ โดยเลือกได้ว่าจะเลื่อนจนกว่าองค์ประกอบเป้าหมายจะปรากฏขึ้นหรือไม่
  • swipe - ปัดจากองค์ประกอบ UI ที่ตรงกับตัวเลือกในทิศทางที่กำหนด
  • tap - แตะองค์ประกอบ UI ที่ตรงกับตัวเลือก
  • text - พิมพ์ข้อความลงในองค์ประกอบ UI ที่ตรงกับตัวเลือก

คำอธิบาย

android input จะทำการโต้ตอบของผู้ใช้และการป้อนข้อมูลฮาร์ดแวร์ในอุปกรณ์หรือโปรแกรมจำลองที่ใช้ระบบ Android ที่เชื่อมต่ออยู่

AI Agent และสคริปต์ทดสอบสามารถใช้ android input ร่วมกับ android layout หรือ android screen เพื่อค้นหาองค์ประกอบ UI และโต้ตอบกับองค์ประกอบเหล่านั้นโดยใช้ท่าทางสัมผัสหรือการกดแป้นพิมพ์

ตัวเลือกองค์ประกอบ UI

คำสั่งย่อย input ส่วนใหญ่จะกำหนดเป้าหมายองค์ประกอบ UI โดยใช้นิพจน์ตัวเลือก ตัวเลือกคือรายการที่คั่นด้วยคอมมาของคู่ key=value หรือ key:value ซึ่งระบุพร็อพเพอร์ตี้ที่องค์ประกอบเป้าหมายต้องเป็นไปตามเงื่อนไข ใส่ตัวเลือกไว้ในเครื่องหมายคำพูดแบบขีดเดียวเพื่อป้องกันไม่ให้เชลล์ตีความการเว้นวรรค คอมมา หรือสัญลักษณ์พิเศษ

ตัวเลือกจะจับคู่กับลำดับชั้นโหนดการช่วยเหลือพิเศษแบบเรียลไทม์ของแอป ดังนี้

  • พร็อพเพอร์ตี้สตริง: จับคู่เป็นสตริงย่อยที่ไม่คำนึงถึงตัวพิมพ์เล็กและตัวพิมพ์ใหญ่โดยค่าเริ่มต้น (เช่น text=submit จะจับคู่กับ "Submit order") ส่ง * เพื่อจับคู่กับองค์ประกอบใดก็ได้ที่มีค่าที่ไม่ใช่ค่าว่างสำหรับพร็อพเพอร์ตี้นั้น ใส่เครื่องหมายทับคร่อมค่าเพื่อจับคู่เป็นนิพจน์ทั่วไปที่คำนึงถึงตัวพิมพ์เล็กและตัวพิมพ์ใหญ่ซึ่งสามารถจับคู่กับส่วนใดก็ได้ของค่า (เช่น text=/^Submit$/) เพิ่มแฟล็ก i หลังเครื่องหมายทับปิดสำหรับนิพจน์ทั่วไปที่ไม่คำนึงถึงตัวพิมพ์เล็กและตัวพิมพ์ใหญ่ (เช่น text=/^submit$/i) เครื่องหมายคอมมาภายในนิพจน์ทั่วไปจะไม่แยกตัวเลือก หากต้องการจับคู่ข้อความตามตัวอักษรที่ขึ้นต้นด้วย / ให้ใช้นิพจน์ทั่วไป เช่น text=/^\/help/
    • text (คำพ้องความหมาย: txt): ข้อความที่มองเห็นได้ซึ่งแสดงในองค์ประกอบ
    • id (คำพ้องความหมาย: res): ชื่อรหัสทรัพยากรของมุมมอง (เช่น id=submit_button หรือชื่อทรัพยากรแบบเต็ม com.example.app:id/submit_button)
    • class (คำพ้องความหมาย: clazz, cls, clz): ชื่อคลาสขององค์ประกอบหรือชื่อคลาสแบบง่าย (เช่น class=Button หรือ android.widget.Button)
    • desc (คำพ้องความหมาย: content): คำอธิบายเนื้อหาการช่วยเหลือพิเศษ
  • พร็อพเพอร์ตี้การโต้ตอบ: จับคู่เป็นค่าบูลีน (true หรือ false)
    • clickable (คำพ้องความหมาย: click): องค์ประกอบคลิกได้หรือไม่
    • checkable: องค์ประกอบสามารถเลือกหรือสลับได้หรือไม่
    • scrollable (คำพ้องความหมาย: scroll): องค์ประกอบเป็นคอนเทนเนอร์ที่เลื่อนได้หรือไม่
    • focusable: องค์ประกอบจะได้รับโฟกัสหรือไม่
    • longclickable (คำพ้องความหมาย: longclick): ระบุว่าองค์ประกอบรองรับการคลิกค้างหรือไม่
  • พร็อพเพอร์ตี้สถานะ: จับคู่เป็นค่าบูลีน (true หรือ false)
    • checked: มีการเลือกองค์ประกอบอยู่หรือไม่
    • focused: ปัจจุบันโฟกัสอยู่ที่องค์ประกอบนี้หรือไม่
    • selected: มีการเลือกองค์ประกอบอยู่หรือไม่

ลักษณะการจับคู่ (--match)

เมื่อตัวเลือกตรงกับองค์ประกอบมากกว่า 1 รายการบนหน้าจอ ให้ทำดังนี้

  • --match=single (ค่าเริ่มต้น): ไม่สำเร็จโดยมีข้อผิดพลาดและแสดงรายการองค์ประกอบที่ตรงกันทั้งหมด เพื่อให้มั่นใจว่าการโต้ตอบจะไม่ทริกเกอร์คอมโพเนนต์ UI ที่ไม่ถูกต้อง
  • --match=first: โต้ตอบกับองค์ประกอบที่ตรงกันรายการแรกที่พบในลำดับชั้น UI

ท่าทางสัมผัสและคำสั่งที่ใช้ได้

  • tap <target>: คลิกตรงกลางขององค์ประกอบเป้าหมาย
  • text <string> <target>: ล้างข้อความที่มีอยู่และพิมพ์ <string> ลงในองค์ประกอบเป้าหมาย ส่ง --submit เพื่อส่งเหตุการณ์คีย์ Enter/OK หลังจากพิมพ์
  • scroll <target>: เลื่อนองค์ประกอบคอนเทนเนอร์ในทิศทางที่ระบุ (--dir=up|down|left|right) ใช้ --until=<selector> เพื่อเลื่อนต่อไปจนกว่าองค์ประกอบที่ตรงกันจะปรากฏขึ้น
  • swipe <target>: ปัดโดยเริ่มจาก <target> ในทิศทาง (--dir=up|down|left|right) โดยมี --distance (เศษส่วนของหน้าจอ) และ --speed (พิกเซลต่อวินาที) เป็นตัวเลือก
  • key <key>: ส่งเหตุการณ์ปุ่มกดหรือแป้น (เช่น back, home, recents, power, volume-up, volume-down, enter, tab, esc หรือรหัสแป้น Android จำนวนเต็ม) รองรับแฟล็กตัวแก้ไข --shift, --alt และ --ctrl

ระบุอุปกรณ์เป้าหมาย (--device)

หากเชื่อมต่ออุปกรณ์หรือโปรแกรมจำลองหลายเครื่อง ให้ส่ง --device=<serial-number> (ตามที่รายงานโดย adb devices) เพื่อส่งเหตุการณ์การป้อนข้อมูลไปยังอุปกรณ์ที่เฉพาะเจาะจง

ตัวอย่าง

แตะปุ่มตามข้อความที่มองเห็นได้ โดยทำดังนี้

android input tap 'text=Submit'

แตะองค์ประกอบที่ตรงกับพร็อพเพอร์ตี้หลายรายการ ดังนี้

android input tap 'id=submit_btn,class=Button,clickable=true'

แตะองค์ประกอบแรกที่ตรงกันเมื่อมีรายการที่ตรงกันหลายรายการ

android input tap --match=first 'class=android.widget.TextView'

พิมพ์ข้อความลงในช่องป้อนข้อมูลและส่ง

android input text 'user@example.com' 'id=email_input' --submit

เลื่อนคอนเทนเนอร์ลงจนกว่ารายการจะปรากฏขึ้น

android input scroll 'id=recycler_view' --dir=down --until='text=Settings'

ปัดไปทางซ้ายบนองค์ประกอบของบัตร

android input swipe 'id=card_view' --dir=left

กดปุ่มย้อนกลับของอุปกรณ์

android input key back