Google은 개발자가 고품질 Android 앱을 더 빠르고 쉽게 빌드할 수 있도록 지원하고자 합니다. 생산성을 높이는 한 가지 방법은 AI를 손쉽게 활용할 수 있도록 하는 것입니다. Google은 Android 플랫폼의 미묘한 차이를 진정으로 이해하는 AI를 원하는 개발자의 요구를 잘 알고 있습니다. 이에 따라 LLM이 Android 개발 작업을 얼마나 잘 수행하는지 측정해 왔습니다. 오늘 Android 개발을 위한 공식 LLM 리더보드인 Android Bench의 첫 번째 버전이 출시되었습니다.
Google의 목표는 모델 크리에이터에게 Android 개발을 위한 LLM 기능을 평가할 수 있는 벤치마크를 제공하는 것입니다. 고품질 Android 개발의 명확하고 신뢰할 수 있는 기준을 설정함으로써 모델 제작자가 격차를 파악하고 개선을 가속화할 수 있도록 지원합니다. 이를 통해 개발자는 AI 지원을 위해 선택할 수 있는 더 광범위한 유용한 모델을 사용하여 더 효율적으로 작업할 수 있으며, 궁극적으로 Android 생태계 전반에서 더 높은 품질의 앱을 만들 수 있습니다.
실제 Android 개발 작업으로 설계
Google은 일반적인 Android 개발 영역에 대한 작업 세트를 선별하여 벤치마크를 만들었습니다. 공개 GitHub Android 저장소에서 가져온 다양한 난이도의 실제 과제로 구성되어 있습니다. 예를 들어 Android 버전 간의 브레이킹 체인지 해결, 웨어러블 기기의 네트워킹과 같은 도메인별 작업, 최신 버전의 Jetpack Compose로의 이전 등의 시나리오가 있습니다.
각 평가에서는 LLM이 작업에서 보고된 문제를 해결하도록 시도하며, 그런 다음 단위 테스트 또는 계측 테스트를 사용하여 이를 확인합니다. 이 모델 독립적 접근 방식을 통해 복잡한 코드베이스를 탐색하고, 종속 항목을 이해하고, 매일 발생하는 문제를 해결하는 모델의 능력을 측정할 수 있습니다.
Google은 JetBrains를 비롯한 여러 LLM 제작업체와 함께 이 방법론을 검증했습니다.
“AI가 Android에 미치는 영향을 측정하는 것은 매우 어려운 과제인데, 이처럼 건전하고 현실적인 프레임워크를 보게 되어 기쁩니다. Google은 자체 벤치마킹을 적극적으로 수행하고 있지만, Android Bench는 독특하고 반가운 추가 기능입니다. 이 방법론은 Android 개발자에게 지금 당장 필요한 엄격한 평가 방식입니다.”
- 키릴 스멜로프, JetBrains AI 통합 책임자
첫 번째 Android Bench 결과
이번 초기 출시에서는 에이전트나 도구 사용에 초점을 맞추지 않고 순수하게 모델 성능을 측정하고자 했습니다. 모델은 작업의 16~72% 를 성공적으로 완료할 수 있었습니다. 이는 일부 LLM은 이미 Android 지식에 대한 강력한 기준을 갖추고 있는 반면, 다른 LLM은 개선의 여지가 더 많다는 것을 보여주는 광범위한 범위입니다. 현재 모델의 상태와 관계없이, LLM 제작자가 Android 개발을 위해 모델을 개선하도록 장려함에 따라 지속적인 개선이 이루어질 것으로 기대합니다.
이번 첫 번째 출시에서 평균 점수가 가장 높은 LLM은 Gemini 3.1 Pro이며, Claude Opus 4.6이 그 뒤를 바짝 쫓고 있습니다. 최신 안정화 버전의 Android 스튜디오에서 API 키를 사용하여 Android 프로젝트의 AI 지원을 위해 평가한 모든 모델을 사용해 볼 수 있습니다.
개발자와 LLM 제작자에게 투명성 제공
Google은 개방적이고 투명한 접근 방식을 중요하게 생각하므로 Google의 방법론, 데이터 세트, 테스트 하네스를 GitHub에 공개했습니다.
공개 벤치마크의 한 가지 문제는 데이터 오염의 위험입니다. 모델이 학습 과정에서 평가 작업을 보았을 수 있습니다. Google은 에이전트 궤적에 대한 철저한 수동 검토, 학습을 방해하는 카나리아 문자열 통합 등 결과가 암기나 추측이 아닌 진정한 추론을 반영하도록 조치를 취했습니다.
앞으로도 Google은 데이터 세트의 무결성을 유지하기 위해 방법론을 계속 발전시키는 한편, 작업의 양과 복잡성을 늘리는 등 향후 벤치마크 출시를 위한 개선도 진행할 예정입니다.
Android Bench가 장기적으로 AI 지원을 어떻게 개선할 수 있을지 기대됩니다. Google의 비전은 개념과 품질 코드 간의 격차를 해소하는 것입니다. Google은 무엇을 상상하든 Android에서 빌드할 수 있는 미래를 위한 기반을 구축하고 있습니다.
-
제품 소식오늘 Android Dev Summit에서 Google은 일상적인 불편을 해소하고 뛰어난 Android 앱을 빌드할 수 있는 유연성을 높이기 위해 설계된 다양한 도구와 API를 광범위하게 제공한다고 발표했습니다.
Matthew McCullough • 읽는 데 4분 소요 -
제품 소식오늘 Google은 엔지니어가 완료하는 데 며칠 또는 일주일이 걸리는 매우 복잡한 작업인 장기 작업 (LHT)의 첫 번째 세트를 출시합니다. 또한 해당 모델 제공업체의 에이전트를 시작으로 에이전트 평가를 도입합니다.
Matthew McCullough • 읽는 데 3분 소요 -
제품 소식오늘 Android 17이 출시되어 지원되는 대부분의 Pixel 기기에서 사용할 수 있습니다. 앞으로 몇 달 내에 Android 17을 실행하는 새 기기가 출시될 예정입니다.
Matthew McCullough • 읽는 데 13분 소요
Android 개발 관련 최신 정보를 이메일로 받아 보세요.