AI を活用した Android デベロッパー向け開発の強化と Android Bench による LLM の改善

Google は、高品質な Android アプリをより迅速かつ簡単に構築できるようにしたいと考えています。生産性を高めるための方法の一つとして、AI を手軽に利用できるようにしています。Android プラットフォームのニュアンスを真に理解する AI が求められていることを踏まえ、Google は LLM が Android 開発タスクをどのように実行するかを測定してきました。本日、Android デベロッパー向け LLM の公式リーダーボードである Android Bench の最初のバージョンをリリースしました。

Google の目標は、モデル作成者に Android 開発向けの LLM 機能を評価するためのベンチマークを提供することです。高品質な Android 開発の明確で信頼性の高い基準を確立することで、モデル作成者がギャップを特定し、改善を加速できるよう支援しています。これにより、デベロッパーは AI アシスタンスに役立つ幅広いモデルの選択肢から選択して、より効率的に作業できるようになります。最終的には、Android エコシステム全体でアプリの品質向上につながります。

実際の Android デベロッパーのタスクを想定した設計

このベンチマークは、Android デベロッパーの幅広い一般的領域を対象としたタスクセットをキュレートして作成しました。このベンチマークは、公開されている GitHub Android リポジトリから取得した、さまざまな難易度の実際の課題で構成されています。たとえば、Android リリース間の互換性を破る変更の解決、ウェアラブルでのネットワーキングなどのドメイン固有のタスク、Jetpack Compose の最新バージョンへの移行などがあります。

各評価では、LLM がタスクで報告された問題を修正しようとします。その後、ユニットテストまたはインストルメンテーション テストを使用して検証します。このモデルに依存しないアプローチにより、複雑なコードベースをナビゲートし、依存関係を理解し、日常的に遭遇するような問題を解決するモデルの能力を測定できます。

この手法は、JetBrains を含む複数の LLM メーカーで検証されています。

「Android における AI の影響を測定することは大きな課題であるため、このように健全で現実的なフレームワークが提供されるのは素晴らしいことです。Google はベンチマークに積極的に取り組んでいますが、Android Bench は独自の、そして歓迎すべき追加機能です。この手法は、Android デベロッパーが今まさに必要としている厳格な評価方法です。」 
- Kirill Smelov 氏（JetBrains、AI インテグレーション責任者）

Android Bench の最初の結果

この初期リリースでは、エージェントやツールの使用に焦点を当てるのではなく、モデルのパフォーマンスを純粋に測定したいと考えました。モデルは 16 ～ 72% のタスクを正常に完了できました。この幅広い範囲は、一部の LLM がすでに Android の知識に関する強力なベースラインを備えている一方で、他の LLM には改善の余地があることを示しています。モデルの現在の状況にかかわらず、LLM メーカーが Android 開発向けにモデルを強化することで、継続的な改善が期待されます。

この最初のリリースで平均スコアが最も高かった LLM は Gemini 3.1 Pro で、Claude Opus 4.6 が僅差で続いています。Android Studio の最新の安定版で API キーを使用すると、Android プロジェクトの AI アシスタンス用に評価されたすべてのモデルを試すことができます。

デベロッパーと LLM メーカーに透明性を提供

Google はオープンで透明性の高いアプローチを重視しているため、Google の手法、データセット、テストハーネスを GitHub で一般公開しています。

公開ベンチマークの課題の一つは、データ汚染のリスクです。モデルがトレーニング プロセス中に評価タスクに遭遇した可能性があります。Google は、エージェントの軌跡の手動による徹底的なレビューや、トレーニングを抑制するためのカナリア文字列の統合など、結果が記憶や推測ではなく、真の推論を反映するように対策を講じています。

今後も、データセットの整合性を維持するために手法を進化させ、将来のベンチマーク リリースに向けて改善を続けていきます。たとえば、タスクの量と複雑さを増やすなどです。

Android Bench が長期的に AI アシスタンスをどのように改善していくか、楽しみにしています。Google のビジョンは、コンセプトと高品質なコードの間のギャップを埋めることです。Google は、想像したものを何でも Android で構築できる未来の基盤を構築しています。