ข่าวสารเกี่ยวกับผลิตภัณฑ์

ยกระดับการพัฒนา Android ที่ใช้ AI และปรับปรุง LLM ด้วย Android Bench

ใช้เวลาอ่าน 2 นาที
ดูโปรไฟล์ของ Matthew McCullough
Matthew McCullough รองประธานฝ่ายการจัดการผลิตภัณฑ์ นักพัฒนาแอป Android

เราต้องการช่วยให้คุณสร้างแอป Android คุณภาพสูงได้เร็วและง่ายขึ้น และวิธีหนึ่งที่เราจะช่วยเพิ่มประสิทธิภาพการทำงานให้คุณได้คือการนำ AI มาไว้ที่ปลายนิ้วของคุณ เราทราบดีว่าคุณต้องการ AI ที่เข้าใจความแตกต่างเล็กๆ น้อยๆ ของแพลตฟอร์ม Android อย่างแท้จริง เราจึงได้วัดประสิทธิภาพของ LLM ในการทำงานด้านการพัฒนา Android วันนี้เราได้เปิดตัว Android Bench เวอร์ชันแรก ซึ่งเป็นลีดเดอร์บอร์ด LLM อย่างเป็นทางการสำหรับนักพัฒนาแอป Android

เป้าหมายของเราคือการมอบเกณฑ์มาตรฐานให้แก่ผู้สร้างโมเดลเพื่อประเมินความสามารถของ LLM สำหรับการพัฒนา Android การสร้างเกณฑ์พื้นฐานที่ชัดเจนและเชื่อถือได้สำหรับลักษณะของการพัฒนา Android คุณภาพสูงจะช่วยให้ผู้สร้างโมเดลระบุช่องว่างและเร่งการปรับปรุงได้ ซึ่งจะช่วยให้นักพัฒนาแอป Android ทำงานได้อย่างมีประสิทธิภาพมากขึ้นด้วยโมเดลที่มีประโยชน์หลากหลายมากขึ้นให้เลือกใช้สำหรับความช่วยเหลือจาก AI ซึ่งจะนำไปสู่แอปคุณภาพสูงขึ้นในระบบนิเวศของ Android ในที่สุด

ออกแบบมาพร้อมกับงานพัฒนาสำหรับนักพัฒนาแอป Android ในชีวิตจริง

เราสร้างการเปรียบเทียบโดยการดูแลจัดการชุดงานเทียบกับขอบเขตการพัฒนาสำหรับนักพัฒนาแอป Android ทั่วไปที่หลากหลาย โดยประกอบด้วยโจทย์จริงที่มีความยากแตกต่างกัน ซึ่งมาจากที่เก็บ GitHub Android สาธารณะ สถานการณ์ต่างๆ ได้แก่ การแก้ไขการเปลี่ยนแปลงที่ส่งผลกับส่วนอื่นในระบบใน Android รุ่นต่างๆ, งานเฉพาะโดเมน เช่น เครือข่ายในอุปกรณ์ที่สวมใส่ได้ และการย้ายข้อมูลไปยัง Jetpack Compose เวอร์ชันล่าสุด เป็นต้น

การประเมินแต่ละครั้งจะพยายามให้ LLM แก้ไขปัญหาที่รายงานในงาน ซึ่งเราจะยืนยันโดยใช้การทดสอบหน่วยหรือการทดสอบการวัดคุม แนวทางที่ไม่ขึ้นอยู่กับโมเดลนี้ช่วยให้เราวัดความสามารถของโมเดลในการไปยังส่วนต่างๆ ของฐานของโค้ดที่ซับซ้อน ทำความเข้าใจทรัพยากร Dependency และแก้ปัญหาประเภทที่คุณพบเจอทุกวันได้ 

เราได้ตรวจสอบความถูกต้องของวิธีการนี้กับผู้สร้าง LLM หลายราย รวมถึง JetBrains 

"การวัดผลกระทบของ AI ที่มีต่อ Android เป็นความท้าทายอย่างมาก จึงเป็นเรื่องดีที่ได้เห็นเฟรมเวิร์กที่สมเหตุสมผลและเป็นไปได้จริงเช่นนี้ แม้ว่าเราจะทำการเปรียบเทียบประสิทธิภาพของตัวเองอยู่เสมอ แต่ Android Bench ก็เป็นเครื่องมือเพิ่มเติมที่โดดเด่นและน่าสนใจ วิธีการนี้เป็นการประเมินที่เข้มงวดซึ่งนักพัฒนาแอป Android ต้องการในขณะนี้" 
- Kirill Smelov หัวหน้าฝ่ายการผสานรวม AI ของ JetBrains

ผลลัพธ์แรกของ Android Bench

สำหรับรุ่นแรกนี้ เราต้องการวัดประสิทธิภาพของโมเดลอย่างเดียว และไม่ได้มุ่งเน้นที่การใช้ Agent หรือเครื่องมือ โมเดลสามารถทำงานได้สำเร็จ 16-72% ซึ่งเป็นช่วงที่กว้างมากและแสดงให้เห็นว่า LLM บางโมเดลมีเกณฑ์พื้นฐานที่แข็งแกร่งอยู่แล้วสำหรับความรู้เกี่ยวกับ Android ในขณะที่โมเดลอื่นๆ ยังมีจุดที่ต้องปรับปรุงอีกมาก ไม่ว่าโมเดลจะอยู่ในระดับใดในตอนนี้ เราคาดว่าจะมีการปรับปรุงอย่างต่อเนื่อง เนื่องจากเราสนับสนุนให้ผู้สร้าง LLM ปรับปรุงโมเดลของตนสำหรับการพัฒนา Android 

LLM ที่มีคะแนนเฉลี่ยสูงสุดสำหรับรุ่นแรกนี้คือ Gemini 3.1 Pro ตามมาด้วย Claude Opus 4.6 อย่างใกล้ชิด คุณสามารถลองใช้โมเดลทั้งหมดที่เราประเมินเพื่อรับความช่วยเหลือจาก AI สำหรับโปรเจ็กต์ Android โดยใช้คีย์ API ใน Android Studio เวอร์ชันเสถียรล่าสุด

androidBench2.png

การให้ความโปร่งใสแก่นักพัฒนาซอฟต์แวร์และผู้สร้าง LLM

เราให้ความสำคัญกับแนวทางที่เปิดกว้างและโปร่งใส จึงได้เผยแพร่ระเบียบวิธี ชุดข้อมูล และโปรแกรมทดสอบอัตโนมัติแบบสาธารณะบน GitHub

ความท้าทายอย่างหนึ่งสำหรับการเปรียบเทียบสาธารณะคือความเสี่ยงของการปนเปื้อนข้อมูล ซึ่งโมเดลอาจเห็นงานการประเมินในระหว่างกระบวนการฝึก เราได้ใช้มาตรการต่างๆ เพื่อให้มั่นใจว่าผลลัพธ์ของเราสะท้อนถึงการให้เหตุผลที่แท้จริง ไม่ใช่การจดจำหรือการคาดเดา ซึ่งรวมถึงการตรวจสอบเส้นทางของ Agent ด้วยตนเองอย่างละเอียด หรือการผสานรวมสตริง Canary เพื่อไม่ให้มีการฝึก 

ในอนาคต เราจะพัฒนาวิธีการของเราต่อไปเพื่อรักษาความสมบูรณ์ของชุดข้อมูล ขณะเดียวกันก็ปรับปรุงการเปิดตัวการเปรียบเทียบในอนาคตด้วย เช่น การเพิ่มจำนวนและความซับซ้อนของงาน

เราหวังว่า Android Bench จะช่วยปรับปรุงความช่วยเหลือจาก AI ในระยะยาวได้ วิสัยทัศน์ของเราคือการปิดช่องว่างระหว่างแนวคิดกับโค้ดที่มีคุณภาพ เรากำลังสร้างรากฐานสำหรับอนาคตที่ช่วยให้คุณสร้างสรรค์สิ่งต่างๆ ได้ตามจินตนาการบน Android 

เขียนโดย
อ่านต่อ