Как Android Bench помогает улучшать LLM и разработку для Android с помощью ИИ

Мы хотим, чтобы вы могли быстрее и проще создавать качественные приложения для Android. Один из способов повысить вашу продуктивность – предоставить вам доступ к ИИ. Мы знаем, что вам нужен ИИ, который действительно понимает нюансы платформы Android, поэтому мы измеряем, как LLM справляются с задачами разработки для Android. Сегодня мы выпустили первую версию Android Bench – официального рейтинга LLM для разработчиков Android.

Наша цель – предоставить создателям моделей контрольный показатель для оценки возможностей LLM в разработке для Android. Установив четкий и надежный базовый уровень для качественной разработки под Android, мы помогаем создателям моделей выявлять пробелы и ускорять улучшения. Это позволяет разработчикам эффективнее работать с более широким спектром полезных моделей для ИИ-помощника, что в конечном итоге приведет к повышению качества приложений во всей экосистеме Android.

Разработано с учетом реальных задач разработчиков Android

Для этого мы создали набор задач, охватывающий различные области разработки для Android. Он состоит из реальных задач разной сложности, взятых из общедоступных репозиториев GitHub Android. Например, вы можете узнать, как устранять критические изменения в разных версиях Android, выполнять задачи, связанные с определенной областью, например с сетями на носимых устройствах, и переходить на последнюю версию Jetpack Compose.

В каждой оценке LLM пытается устранить проблему, описанную в задаче. Затем мы проверяем результат с помощью модульных или инструментальных тестов. Такой подход позволяет оценить способность модели ориентироваться в сложных базах кода, понимать зависимости и решать проблемы, с которыми вы сталкиваетесь каждый день. 

Мы проверили эту методологию с несколькими разработчиками LLM, включая JetBrains. 

"Оценить влияние ИИ на Android – сложная задача, поэтому здорово, что у нас есть такая надежная и реалистичная платформа. Мы активно проводим сравнительный анализ, и Android Bench – уникальное и полезное дополнение. Именно такая строгая оценка сейчас нужна разработчикам Android". 
– Кирилл Смелов, руководитель отдела интеграции ИИ в JetBrains.

Первые результаты Android Bench

В этой версии мы хотели оценить только эффективность модели, не фокусируясь на использовании агентов или инструментов. Модели смогли успешно выполнить 16–72% задач. Это широкий диапазон, который показывает, что у некоторых LLM уже есть хорошая база знаний об Android, а другим ещё есть куда расти. Независимо от того, на каком этапе сейчас находятся модели, мы ожидаем дальнейших улучшений, поскольку мы поощряем создателей LLM совершенствовать свои модели для разработки под Android. 

В первом выпуске наивысшую среднюю оценку получила модель LLM Gemini 3.1 Pro, а Claude Opus 4.6 уступила ей совсем немного. Вы можете попробовать все модели, которые мы оценивали для помощи от ИИ в проектах для Android, используя ключи API в последней стабильной версии Android Studio.

Прозрачность для разработчиков и создателей LLM

Мы ценим открытость и прозрачность, поэтому опубликовали нашу методику, набор данных и тестовую программу в открытом доступе на GitHub.

Одна из проблем, связанных с общедоступными тестами, – это риск загрязнения данных, когда модели могли видеть задачи оценки в процессе обучения. Мы приняли меры, чтобы результаты отражали реальные рассуждения, а не запоминание или угадывание. В частности, мы провели тщательную ручную проверку траекторий агентов и интегрировали контрольную строку, чтобы предотвратить обучение.

В будущем мы продолжим развивать нашу методологию, чтобы сохранить целостность набора данных, а также будем улучшать будущие версии теста, например увеличивать количество и сложность задач.

Мы надеемся, что Android Bench поможет улучшить ИИ-помощника в долгосрочной перспективе. Наша цель – сократить разрыв между концепцией и качественным кодом. Мы закладываем фундамент для будущего, в котором вы сможете воплотить в Android любую свою идею.