제품 소식

Android Bench를 통한 AI 지원 Android 개발 향상 및 LLM 개선

읽는 데 2분 소요
매튜 맥컬러의 프로필 보기
Matthew McCullough Android 개발자 제품 관리 부문 부사장

Google은 개발자가 고품질 Android 앱을 더 빠르고 쉽게 빌드할 수 있도록 지원하고자 합니다. 생산성을 높이는 한 가지 방법은 AI를 손쉽게 활용할 수 있도록 하는 것입니다. Google은 Android 플랫폼의 미묘한 차이를 진정으로 이해하는 AI를 원하는 개발자의 요구를 잘 알고 있습니다. 이에 따라 LLM이 Android 개발 작업을 얼마나 잘 수행하는지 측정해 왔습니다. 오늘 Android 개발을 위한 공식 LLM 리더보드인 Android Bench의 첫 번째 버전이 출시되었습니다.

Google의 목표는 모델 크리에이터에게 Android 개발을 위한 LLM 기능을 평가할 수 있는 벤치마크를 제공하는 것입니다. 고품질 Android 개발의 명확하고 신뢰할 수 있는 기준을 설정함으로써 모델 제작자가 격차를 파악하고 개선을 가속화할 수 있도록 지원합니다. 이를 통해 개발자는 AI 지원을 위해 선택할 수 있는 더 광범위한 유용한 모델을 사용하여 더 효율적으로 작업할 수 있으며, 궁극적으로 Android 생태계 전반에서 더 높은 품질의 앱을 만들 수 있습니다.

실제 Android 개발 작업으로 설계

Google은 일반적인 Android 개발 영역에 대한 작업 세트를 선별하여 벤치마크를 만들었습니다. 공개 GitHub Android 저장소에서 가져온 다양한 난이도의 실제 과제로 구성되어 있습니다. 예를 들어 Android 버전 간의 브레이킹 체인지 해결, 웨어러블 기기의 네트워킹과 같은 도메인별 작업, 최신 버전의 Jetpack Compose로의 이전 등의 시나리오가 있습니다.

각 평가에서는 LLM이 작업에서 보고된 문제를 해결하도록 시도하며, 그런 다음 단위 테스트 또는 계측 테스트를 사용하여 이를 확인합니다. 이 모델 독립적 접근 방식을 통해 복잡한 코드베이스를 탐색하고, 종속 항목을 이해하고, 매일 발생하는 문제를 해결하는 모델의 능력을 측정할 수 있습니다. 

Google은 JetBrains를 비롯한 여러 LLM 제작업체와 함께 이 방법론을 검증했습니다. 

“AI가 Android에 미치는 영향을 측정하는 것은 매우 어려운 과제인데, 이처럼 건전하고 현실적인 프레임워크를 보게 되어 기쁩니다. Google은 자체 벤치마킹을 적극적으로 수행하고 있지만, Android Bench는 독특하고 반가운 추가 기능입니다. 이 방법론은 Android 개발자에게 지금 당장 필요한 엄격한 평가 방식입니다.” 
- 키릴 스멜로프, JetBrains AI 통합 책임자

첫 번째 Android Bench 결과

이번 초기 출시에서는 에이전트나 도구 사용에 초점을 맞추지 않고 순수하게 모델 성능을 측정하고자 했습니다. 모델은 작업의 16~72% 를 성공적으로 완료할 수 있었습니다. 이는 일부 LLM은 이미 Android 지식에 대한 강력한 기준을 갖추고 있는 반면, 다른 LLM은 개선의 여지가 더 많다는 것을 보여주는 광범위한 범위입니다. 현재 모델의 상태와 관계없이, LLM 제작자가 Android 개발을 위해 모델을 개선하도록 장려함에 따라 지속적인 개선이 이루어질 것으로 기대합니다. 

이번 첫 번째 출시에서 평균 점수가 가장 높은 LLM은 Gemini 3.1 Pro이며, Claude Opus 4.6이 그 뒤를 바짝 쫓고 있습니다. 최신 안정화 버전의 Android 스튜디오에서 API 키를 사용하여 Android 프로젝트의 AI 지원을 위해 평가한 모든 모델을 사용해 볼 수 있습니다.

androidBench2.png

개발자와 LLM 제작자에게 투명성 제공

Google은 개방적이고 투명한 접근 방식을 중요하게 생각하므로 Google의 방법론, 데이터 세트, 테스트 하네스를 GitHub에 공개했습니다.

공개 벤치마크의 한 가지 문제는 데이터 오염의 위험입니다. 모델이 학습 과정에서 평가 작업을 보았을 수 있습니다. Google은 에이전트 궤적에 대한 철저한 수동 검토, 학습을 방해하는 카나리아 문자열 통합 등 결과가 암기나 추측이 아닌 진정한 추론을 반영하도록 조치를 취했습니다. 

앞으로도 Google은 데이터 세트의 무결성을 유지하기 위해 방법론을 계속 발전시키는 한편, 작업의 양과 복잡성을 늘리는 등 향후 벤치마크 출시를 위한 개선도 진행할 예정입니다.

Android Bench가 장기적으로 AI 지원을 어떻게 개선할 수 있을지 기대됩니다. Google의 비전은 개념과 품질 코드 간의 격차를 해소하는 것입니다. Google은 무엇을 상상하든 Android에서 빌드할 수 있는 미래를 위한 기반을 구축하고 있습니다. 

작성자:
계속 읽기