Android 向け LLM 測定の進化: 次世代の Android Bench

3 月に、Google は実際の Android 開発タスク向けの LLM リーダーボードである Android Bench をリリースしました。Google の目標は、Android 開発におけるモデルの機能の透明性を高め、モデルの改善を促進して、日々のワークフローで役立つ AI オプションを増やすことです。その後、オープンウェイト モデルの評価や、リーダーボードへの費用と効率のディメンションの追加など、フィードバックに基づいてベンチマークを強化してきました。

しかし、AI の機能は常に進化しており、測定もそれに合わせて進化する必要があります。7 月のリリースの一環として、Harbor フレームワークを採用しました。これには、モデルの評価に使用されるベンチマーク エージェントの更新バージョンが含まれています。

この評価の変更に伴い、7 月のリリースでは、リーダーボードに 8 つの新しいモデル（Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus、Qwen 3.7 Max）を追加します。また、Android デベロッパー コミュニティの皆様がベンチマークに貢献できる機会もご紹介します。

Harbor フレームワークによる方法論のアップグレード

Android Bench を設計するにあたり、当時の主要な業界標準に基づいて方法論を策定しました。汎用ベンチマーク エージェントである mini-swe-agent v1 を使用し、Android 開発のニュアンスに合わせて調整して、一般的な Android 開発タスクにおけるモデルの能力のベースライン測定を行いました。

Android 開発における最新のモデル機能を正確に測定する最先端の評価を継続して提供するため、ベンチマークを Harbor フレームワークに標準化しています。Harbor は、誰でも簡単にベンチマークを実行し、好みの設定を評価し、結果を共有できる標準と統合を定義します。これにより、透明性と可視性が向上します。

今回のアップグレードにより、モデルとその性能をより厳密に評価できるようになり、すべてのモデルでベンチマークを再実行して、最新の基準値を確立しました。これは、スコアリングに若干の変更があることを意味しますが、過去のスコアは引き続き閲覧できます。アーカイブ当社のウェブサイトに掲載されています。

Android Bench が皆様のお役に立てるよう、評価と業界の成熟度に応じて継続的に更新してまいります。

8 つの新しいモデルでリーダーボードを拡大

リーダーボードを常に最新の状態に保つという取り組みの一環として、Android Bench のリーダーボードに Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus、Qwen 3.7 Max を追加しました。

Claude Fable 5 が 84.5 のスコアでリーダーボードのトップに立ち、続いて GPT 5.5 が 80.2、Claude Sonnet 5 が 76.2 のスコアで 3 位となっています。

Open-weight モデルのみを比較すると、GLM 5.2が 72.2 でトップとなり、続いてKimi K2.7 Codeが 70.4 のスコアとなっています。

更新されたリーダーボードでモデルのパフォーマンスと効率の指標を確認すると、新しいモデルと以前のモデルが、Jetpack Compose の移行、ウェアラブル ネットワーキング、プラットフォーム API の更新など、Android 固有の課題にどのように対応しているかを確認できます。  

Android Bench をコミュニティ投稿に開放

Google は当初からオープンで透明性の高いアプローチを重視しており、そのために独自のメソッドとテストハーネスを GitHub で公開しています。データセットに関するフィードバックを提供する方法についてご要望をいただいておりました。そこで、Android デベロッパー コミュニティの皆様に Android Bench の開発にご協力いただくことで、コラボレーションをさらに一歩進めることにいたしました。

本日より、Android Bench には次の 2 つの方法で貢献できるようになります。

1. 独自の Android 開発タスクを設計して送信し、モデルが重要なシナリオをどのように処理するかを評価します。
2. ベンチマーク評価を実際に実行して共有してください。当社のデータセットまたは独自のカスタムタスクに対して、お好みのモデルをテストしてください。

送信されたタスクは審査され、ベンチマークに追加されるかどうかが評価されます。Google は、世界中の Android デベロッパー コミュニティの多様な日常を真に反映するベンチマークを構築したいと考えています。

今後の展望

エージェント開発の選択肢が増え続ける中、最先端のベンチマークを維持することで、頼りになる AI アシスタンスがよりスマートで、より便利で、より効果的になります。GitHub リポジトリにアクセスして、タスクを確認してください。タスクをチームに提出してレビューを受けることをお勧めします。また、Harbor Hub をチェックしてデータセットを探索したり、評価を送信したりできます。

更新されたリーダーボードや、方法論については、ウェブサイトでご確認いただけます。