ยกระดับการพัฒนา Android ที่ใช้ AI และปรับปรุง LLM ด้วย Android Bench
ใช้เวลาอ่าน 2 นาที
เราต้องการช่วยให้คุณสร้างแอป Android คุณภาพสูงได้เร็วและง่ายขึ้น และวิธีหนึ่งที่เราจะช่วยเพิ่มประสิทธิภาพการทำงานให้คุณได้คือการนำ AI มาไว้ที่ปลายนิ้วของคุณ เราทราบดีว่าคุณต้องการ AI ที่เข้าใจความแตกต่างเล็กๆ น้อยๆ ของแพลตฟอร์ม Android อย่างแท้จริง เราจึงได้วัดประสิทธิภาพของ LLM ในการทำงานด้านการพัฒนา Android วันนี้เราได้เปิดตัว Android Bench เวอร์ชันแรก ซึ่งเป็นลีดเดอร์บอร์ด LLM อย่างเป็นทางการสำหรับนักพัฒนาแอป Android
เป้าหมายของเราคือการมอบเกณฑ์มาตรฐานให้แก่ผู้สร้างโมเดลเพื่อประเมินความสามารถของ LLM สำหรับการพัฒนา Android การสร้างเกณฑ์พื้นฐานที่ชัดเจนและเชื่อถือได้สำหรับลักษณะของการพัฒนา Android คุณภาพสูงจะช่วยให้ผู้สร้างโมเดลระบุช่องว่างและเร่งการปรับปรุงได้ ซึ่งจะช่วยให้นักพัฒนาแอป Android ทำงานได้อย่างมีประสิทธิภาพมากขึ้นด้วยโมเดลที่มีประโยชน์หลากหลายมากขึ้นให้เลือกใช้สำหรับความช่วยเหลือจาก AI ซึ่งจะนำไปสู่แอปคุณภาพสูงขึ้นในระบบนิเวศของ Android ในที่สุด
ออกแบบมาพร้อมกับงานพัฒนาสำหรับนักพัฒนาแอป Android ในชีวิตจริง
เราสร้างการเปรียบเทียบโดยการดูแลจัดการชุดงานเทียบกับขอบเขตการพัฒนาสำหรับนักพัฒนาแอป Android ทั่วไปที่หลากหลาย โดยประกอบด้วยโจทย์จริงที่มีความยากแตกต่างกัน ซึ่งมาจากที่เก็บ GitHub Android สาธารณะ สถานการณ์ต่างๆ ได้แก่ การแก้ไขการเปลี่ยนแปลงที่ส่งผลกับส่วนอื่นในระบบใน Android รุ่นต่างๆ, งานเฉพาะโดเมน เช่น เครือข่ายในอุปกรณ์ที่สวมใส่ได้ และการย้ายข้อมูลไปยัง Jetpack Compose เวอร์ชันล่าสุด เป็นต้น
การประเมินแต่ละครั้งจะพยายามให้ LLM แก้ไขปัญหาที่รายงานในงาน ซึ่งเราจะยืนยันโดยใช้การทดสอบหน่วยหรือการทดสอบการวัดคุม แนวทางที่ไม่ขึ้นอยู่กับโมเดลนี้ช่วยให้เราวัดความสามารถของโมเดลในการไปยังส่วนต่างๆ ของฐานของโค้ดที่ซับซ้อน ทำความเข้าใจทรัพยากร Dependency และแก้ปัญหาประเภทที่คุณพบเจอทุกวันได้
เราได้ตรวจสอบความถูกต้องของวิธีการนี้กับผู้สร้าง LLM หลายราย รวมถึง JetBrains
"การวัดผลกระทบของ AI ที่มีต่อ Android เป็นความท้าทายอย่างมาก จึงเป็นเรื่องดีที่ได้เห็นเฟรมเวิร์กที่สมเหตุสมผลและเป็นไปได้จริงเช่นนี้ แม้ว่าเราจะทำการเปรียบเทียบประสิทธิภาพของตัวเองอยู่เสมอ แต่ Android Bench ก็เป็นเครื่องมือเพิ่มเติมที่โดดเด่นและน่าสนใจ วิธีการนี้เป็นการประเมินที่เข้มงวดซึ่งนักพัฒนาแอป Android ต้องการในขณะนี้"
- Kirill Smelov หัวหน้าฝ่ายการผสานรวม AI ของ JetBrains
ผลลัพธ์แรกของ Android Bench
สำหรับรุ่นแรกนี้ เราต้องการวัดประสิทธิภาพของโมเดลอย่างเดียว และไม่ได้มุ่งเน้นที่การใช้ Agent หรือเครื่องมือ โมเดลสามารถทำงานได้สำเร็จ 16-72% ซึ่งเป็นช่วงที่กว้างมากและแสดงให้เห็นว่า LLM บางโมเดลมีเกณฑ์พื้นฐานที่แข็งแกร่งอยู่แล้วสำหรับความรู้เกี่ยวกับ Android ในขณะที่โมเดลอื่นๆ ยังมีจุดที่ต้องปรับปรุงอีกมาก ไม่ว่าโมเดลจะอยู่ในระดับใดในตอนนี้ เราคาดว่าจะมีการปรับปรุงอย่างต่อเนื่อง เนื่องจากเราสนับสนุนให้ผู้สร้าง LLM ปรับปรุงโมเดลของตนสำหรับการพัฒนา Android
LLM ที่มีคะแนนเฉลี่ยสูงสุดสำหรับรุ่นแรกนี้คือ Gemini 3.1 Pro ตามมาด้วย Claude Opus 4.6 อย่างใกล้ชิด คุณสามารถลองใช้โมเดลทั้งหมดที่เราประเมินเพื่อรับความช่วยเหลือจาก AI สำหรับโปรเจ็กต์ Android โดยใช้คีย์ API ใน Android Studio เวอร์ชันเสถียรล่าสุด
การให้ความโปร่งใสแก่นักพัฒนาซอฟต์แวร์และผู้สร้าง LLM
เราให้ความสำคัญกับแนวทางที่เปิดกว้างและโปร่งใส จึงได้เผยแพร่ระเบียบวิธี ชุดข้อมูล และโปรแกรมทดสอบอัตโนมัติแบบสาธารณะบน GitHub
ความท้าทายอย่างหนึ่งสำหรับการเปรียบเทียบสาธารณะคือความเสี่ยงของการปนเปื้อนข้อมูล ซึ่งโมเดลอาจเห็นงานการประเมินในระหว่างกระบวนการฝึก เราได้ใช้มาตรการต่างๆ เพื่อให้มั่นใจว่าผลลัพธ์ของเราสะท้อนถึงการให้เหตุผลที่แท้จริง ไม่ใช่การจดจำหรือการคาดเดา ซึ่งรวมถึงการตรวจสอบเส้นทางของ Agent ด้วยตนเองอย่างละเอียด หรือการผสานรวมสตริง Canary เพื่อไม่ให้มีการฝึก
ในอนาคต เราจะพัฒนาวิธีการของเราต่อไปเพื่อรักษาความสมบูรณ์ของชุดข้อมูล ขณะเดียวกันก็ปรับปรุงการเปิดตัวการเปรียบเทียบในอนาคตด้วย เช่น การเพิ่มจำนวนและความซับซ้อนของงาน
เราหวังว่า Android Bench จะช่วยปรับปรุงความช่วยเหลือจาก AI ในระยะยาวได้ วิสัยทัศน์ของเราคือการปิดช่องว่างระหว่างแนวคิดกับโค้ดที่มีคุณภาพ เรากำลังสร้างรากฐานสำหรับอนาคตที่ช่วยให้คุณสร้างสรรค์สิ่งต่างๆ ได้ตามจินตนาการบน Android
-
ข่าวสารเกี่ยวกับผลิตภัณฑ์วันนี้ที่งาน Android Dev Summit เราขอประกาศความพร้อมให้บริการในวงกว้างของเครื่องมือและ API จำนวนมากที่ออกแบบมาเพื่อลดความยุ่งยากในชีวิตประจำวันและช่วยให้คุณสร้างแอป Android ที่ยอดเยี่ยมได้อย่างยืดหยุ่นมากขึ้น
Matthew McCullough • ใช้เวลาอ่าน 4 นาที -
ข่าวสารเกี่ยวกับผลิตภัณฑ์วันนี้เราจะเปิดตัวงานระยะยาว (LHT) ชุดแรก ซึ่งเป็นงานที่มีความซับซ้อนสูงซึ่งวิศวกรต้องใช้เวลาหลายวันหรือแม้แต่ 1 สัปดาห์จึงจะเสร็จสมบูรณ์ นอกจากนี้ เรายังเปิดตัวการประเมิน Agent โดยเริ่มจาก Agent ของผู้ให้บริการโมเดลที่เกี่ยวข้อง
Matthew McCullough • ใช้เวลาอ่าน 3 นาที -
ข่าวสารเกี่ยวกับผลิตภัณฑ์วันนี้เราจะเปิดตัว Android 17 และพร้อมให้บริการในอุปกรณ์ Pixel ที่รองรับส่วนใหญ่ เตรียมพบกับอุปกรณ์ใหม่ที่ใช้ Android 17 ในอีกไม่กี่เดือนข้างหน้า
Matthew McCullough • ใช้เวลาอ่าน 13 นาที
รับข้อมูลเชิงลึกเกี่ยวกับการพัฒนา Android ล่าสุดที่ส่งไปยังกล่องจดหมายของคุณทุกสัปดาห์