ข้อมูลเชิงลึกเกี่ยวกับทักษะของ Android - สร้างขึ้นเพื่อการเลิกใช้งาน

เราได้เปิดตัว ทักษะของ Android อย่างเป็นทางการในเดือนเมษายน และการตอบรับก็เกินความคาดหมายของเราไปมาก ในบล็อกโพสต์นี้ ผมจะพูดถึงความคิดเห็นบางส่วนที่เราได้รับ โดยอธิบายถึงแนวคิดและวิธีการที่อยู่เบื้องหลังโปรเจ็กต์นี้ หวังว่าข้อมูลนี้จะช่วยให้คุณเข้าใจสิ่งที่เกิดขึ้นเบื้องหลังเมื่อคุณติดตั้งและใช้ทักษะต่างๆ ซึ่งจะช่วยให้คุณใช้โทเค็นและเวลาของคุณเองได้ดียิ่งขึ้น

เหตุใดจึงมีทักษะอย่างเป็นทางการเพียงไม่กี่อย่าง

ปัจจุบัน เราจะพิจารณาทักษะใหม่ๆ ก็ต่อเมื่อโมเดลที่ล้ำสมัย (SOTA) มีช่องว่างด้านความรู้ที่ตรวจสอบได้ พูดง่ายๆ คือ คุณไม่จำเป็นต้องสอนสิ่งที่โมเดลรู้อยู่แล้ว (แม้ว่าจะมีข้อยกเว้นอยู่บ้าง โปรดอ่านต่อ)

เราได้เปิดตัวทักษะอย่างเป็นทางการไปแล้วประมาณ 20 อย่าง ซึ่งทักษะเหล่านี้มุ่งเน้นไปที่พื้นที่เฉพาะเจาะจงที่มีการเปลี่ยนแปลงอย่างรวดเร็ว ซึ่งโมเดลมาตรฐานยังไม่มีข้อมูลพื้นฐานที่เพียงพอ เช่น AGP 9, Navigation 3, API กล้องขั้นสูง และ Perfetto SQL

แล้วทักษะหลักๆ ที่เป็นทักษะทั่วไปล่ะ ทักษะที่ติดตั้งแต่ละอย่างจะแทรกโทเค็น 100-200 รายการลงในบริบทพื้นฐานของทุกงานที่คุณเริ่ม หากทักษะนั้นเปิดใช้งานจริง จำนวนโทเค็นอาจเพิ่มขึ้นเป็นหลักพันได้อย่างรวดเร็ว ในกรณีส่วนใหญ่ การสะสมทักษะพื้นฐานไว้มากเกินไปจะส่งผลเสียและมีค่าใช้จ่ายสูง ก่อนที่จะติดตั้งทักษะสำหรับการเขียน Kotlin หรือ Compose ขั้นพื้นฐาน ให้พิจารณาว่า LLM ที่คุณเลือกจำเป็นต้องใช้ทักษะเหล่านั้นจริงๆ หรือไม่ หรือว่า LLM รู้อยู่แล้วเกี่ยวกับหัวข้อเหล่านั้นมากพอ

การประเมินทักษะ

ก่อนที่จะเปิดตัว เราจะทดสอบทักษะแต่ละอย่างกับชุดการประเมินที่ครอบคลุม ซึ่งพิสูจน์ให้เห็นว่าทักษะนั้นมีคุณค่าที่ชัดเจน การประเมินเหล่านี้ควรผ่านเมื่อทักษะทำงานอยู่ และไม่ผ่านเมื่อทักษะไม่ทำงาน การประเมินเป็นสิ่งที่จำเป็นสำหรับทักษะ เช่นเดียวกับการทดสอบการผสานรวมเป็นสิ่งที่จำเป็นสำหรับโค้ด

timeout_s: 1200
repository:
  url: [redacted - internal git repo]
  working_dir: wear_compose_m3_empty_app
category_ids:
  - wear
prompt: |-
  Add a horizontal pager to MainActivity.kt. Have three pages in the pager. Each page should contain
  the text "Page 1", "Page 2", and "Page 3" respectively in the center of the screen.
commands:
  build:
    - ./gradlew assembleDebug
acceptance_criteria:
  project_builds: true
  llm_diff_judge:
    - Must use `HorizontalPagerScaffold`.
    - Each page should use `AnimatedPage` to wrap a `ScreenScaffold`.

ตัวอย่างการประเมินที่ตรวจสอบการติดตั้งใช้งานที่ถูกต้องของเพจเจอร์แนวนอนในแอป Wear

เราจะทดสอบทักษะใน Android Studio โดยใช้โมเดล Gemini Flash เวอร์ชันล่าสุดเป็นอย่างน้อย นอกจากนี้ เรายังตรวจสอบความเข้ากันได้กับโมเดลอื่นๆ เช่น Gemini Pro และ Agent อื่นๆ เช่น Antigravity รวมถึงระบบของบุคคลที่สามด้วย ทั้งนี้ขึ้นอยู่กับทักษะ

การประเมินทั้งหมดจะทำงานโดยมีสิทธิ์เข้าถึงฐานความรู้ ดังนั้นหากข้อมูลอยู่ในเอกสารประกอบและโมเดลตัดสินใจค้นหาข้อมูลนั้น เราจะไม่เผยแพร่ทักษะสำหรับข้อมูลนั้น

การใช้ฐานความรู้ของ Android (Android Studio หรือ Android CLI)

หากคุณพัฒนาแอป Android คุณควรใช้ฐานความรู้ของ Android เสมอเพื่อให้มีสิทธิ์เข้าถึงเอกสารประกอบอย่างเป็นทางการ หากใช้ Agent ใน Android Studio Agent จะพร้อมใช้งานเป็นเครื่องมืออยู่แล้ว แต่หากใช้ Agent อื่น ให้ ติดตั้ง Android CLI ซึ่งจะมีคำสั่ง docs ที่ให้สิทธิ์เข้าถึงเอกสารประกอบอย่างเป็นทางการของ Android แก่ Agent ของคุณ การมีเครื่องมือเดียวมีประสิทธิภาพมากกว่าการติดตั้งทักษะหลายร้อยอย่าง

หากโมเดลของคุณมั่นใจในตัวเองมากเกินไปและคุณต้องการให้โมเดลดูเอกสารประกอบบ่อยขึ้น วิธีที่ใช้กันโดยทั่วไปในการกระตุ้นให้โมเดลทำเช่นนั้นคือการเพิ่มข้อความ "Always consult the official Android documentation when dealing with Android APIs" ลงในไฟล์ AGENTS.md หรือไฟล์ที่เทียบเท่า แน่นอนว่าคุณยังบังคับให้โมเดลทำเช่นนี้ได้ด้วยการขอให้ Agent ตรวจสอบเอกสารประกอบโดยตรงในพรอมต์

เหตุใดจึงปิดใช้คำขอแบบดึง

เนื่องจากเฟรมเวิร์กการประเมินของเราขึ้นอยู่กับโครงสร้างพื้นฐานภายในที่ไม่สามารถเปิดซอร์สได้ เราจึงไม่สามารถยอมรับคำขอแบบดึงโดยตรงสำหรับทักษะใหม่ๆ ได้ หากไม่มีโครงสร้างพื้นฐานนี้ เราจะไม่มีวิธีประเมินการเปลี่ยนแปลงในคำขอแบบดึงที่เข้ามาอีกครั้ง อย่างไรก็ตาม เราจะคอยติดตามความคิดเห็นของชุมชนอย่างสม่ำเสมอ หากต้องการรายงานข้อบกพร่อง แนะนำการเพิ่มประสิทธิภาพ หรือขอทักษะอย่างเป็นทางการใหม่ โปรดสร้าง ปัญหา!

ทักษะหลักหรือทักษะพื้นฐานมีประโยชน์เมื่อใด

แม้ว่าโดยทั่วไปแล้วโมเดล SOTA จะไม่จำเป็นต้องใช้ทักษะพื้นฐาน แต่ก็มีบางสถานการณ์ที่การเปิดใช้ทักษะหลักหรือทักษะที่ชุมชนสร้างขึ้นจะเพิ่มคุณค่าที่แท้จริง เช่น

• คุณใช้พรอมต์ที่คลุมเครือ: ทักษะจะขยายความตั้งใจของคุณ หากคุณให้พรอมต์แบบกว้างๆ เช่น "เพิ่มภาพเคลื่อนไหวลงในหน้าจอนี้" ทักษะภาพเคลื่อนไหว Compose ที่เฉพาะเจาะจงจะกระตุ้นให้โมเดลพิจารณา API ที่ทันสมัยหรือรูปแบบการทดสอบด้วยภาพหน้าจอที่โมเดลอาจไม่เคยพิจารณามาก่อน
• คุณต้องการใช้โมเดลขนาดเล็กกว่าและราคาถูกกว่า: LLM ระดับแนวหน้ามีราคาแพง หากคุณมอบหมายงานประจำให้โมเดลแบบเปิดน้ำหนักขนาดเล็กกว่า เช่น Gemma 4 การเปิดใช้ทักษะพื้นฐานจะช่วยเติมเต็มช่องว่างด้านความรู้ที่พารามิเตอร์ขนาดเล็กกว่าพลาดไป
• คุณกำลังปรับโครงสร้างหรือตรวจสอบโค้ดเดิม: โมเดลมีความสามารถในการสร้างโค้ดที่ใช้งานได้ดี แต่เมื่อแก้ไขฐานโค้ดเก่า โมเดลมักจะให้ความสำคัญกับการรักษาความสอดคล้องกับรูปแบบเดิมๆ มากกว่าการเขียนใหม่ด้วยความถูกต้องที่ทันสมัย Agent ผู้ตรวจสอบเฉพาะทางที่มีทักษะหลักจะช่วยแก้ไขนิสัยนี้ได้
• คุณทำในสิ่งที่แตกต่างจากปกติ: LLM ชอบ "วิธีของ Google" มาตรฐานในการออกแบบแอป Android หากทีมของคุณใช้สถาปัตยกรรมเลเยอร์มุมมองที่ปรับแต่งอย่างมาก โมเดลจะพยายามปรับให้สอดคล้องกัน ทักษะที่กำหนดเองซึ่งอธิบายสถาปัตยกรรมของคุณอย่างชัดเจนจะช่วยได้มาก

ฉันจะหาทักษะหลักได้จากที่ใด

ชุมชน Android พร้อมให้ความช่วยเหลือคุณ Chris Banes มีคอลเล็กชันทักษะที่ครอบคลุมสำหรับ Compose และ Kotlin ส่วน Ivan Morgillo ได้เผยแพร่ทักษะที่ตรวจสอบโปรเจ็กต์ Compose และ Jaewoong Eum ได้สร้างทักษะ 2 อย่างเกี่ยวกับการทดสอบและประสิทธิภาพ

ดาวน์โหลดทักษะจากแหล่งที่มาที่เชื่อถือได้เสมอ โดยส่วนตัวแล้ว ผมจะไม่เชื่อใจที่เก็บข้อมูลที่มีทักษะของ Android หลายสิบหรือหลายร้อยอย่าง เนื่องจากทักษะเหล่านั้นอาจสร้างขึ้นโดย AI และไม่ได้ทดสอบ และอาจมีคำแนะนำที่เป็นอันตรายหรือลำเอียงด้วย นอกจากนี้ อย่าติดตั้งทักษะด้านวิศวกรรมซอฟต์แวร์ทั่วไปโดยไม่พิจารณา เนื่องจากทักษะจำนวนมากได้รับการปรับแต่งมาเพื่อการพัฒนาเว็บ

เป้าหมาย: การเลิกใช้งาน

Karpathy กล่าวไว้ว่า ทักษะในวันนี้จะอยู่ในโมเดลในวันพรุ่งนี้ เนื่องจากโมเดล SOTA มีการปรับปรุงอย่างต่อเนื่อง เราจึงคาดว่าทักษะต่างๆ จะล้าสมัย โดยเฉพาะทักษะที่สร้างขึ้นโดยใช้ API ใหม่ เราจะเรียกใช้การประเมินเมื่อมีการเปิดตัวโมเดลใหม่เพื่อดูว่าควรเลิกใช้งานทักษะเมื่อใด หากการประเมินผ่าน เราจะเก็บทักษะเหล่านั้นไว้สัก 2-3 เดือนจนกว่าผู้ใช้ส่วนใหญ่จะเปลี่ยนไปใช้โมเดลใหม่