Googleが、Androidアプリ開発向けAIモデルの性能を比較するベンチマーク「Android Bench」を大幅に刷新しました。評価方法を見直したうえで最新AIモデルを追加した結果、Anthropicの最新モデルが首位を獲得。一方で、Google自身のGeminiシリーズは上位に食い込めず、開発支援AIとしては苦戦が続いていることが明らかになりました。
評価方法を刷新し最新AIモデルを追加
GoogleはAndroid Benchの評価基準を刷新し、新たに標準化された「Harbor」フレームワークを採用しました。
これにより、安全なサンドボックス環境で誰でも同じ条件の評価を実施しやすくなり、AIモデルの性能をより公平に比較できるようになったとしています。
評価方法が変更されたことに伴い、これまで登録されていたすべてのAIモデルを新基準で再測定。さらに8つの最新AIモデルが新たに追加されました。
Claude Fable 5が首位、GPT-5.5が続く
新ランキングでは、Anthropicの「Claude Fable 5」が正答率84.5％でトップとなりました。
2位にはOpenAIの「GPT-5.5」が80.2％で続き、Android向けプログラミング能力では両モデルが頭一つ抜けた結果となっています。
一方、Googleの「Gemini 3.1 Pro」は5位にとどまり、自社が開発するAndroid向けベンチマークでありながら、AnthropicやOpenAIのモデルに及ばない結果となりました。
さらに「Gemini 3.5 Flash」は100問の評価を完了するまで約28時間を要し、実行コストも165ドルと非常に高額だったことが報告されています。性能だけでなく、効率面でも課題が浮き彫りになりました。
コストではGeminiにも強み
もっとも、高性能モデルは利用コストも高くなる傾向があります。
Claude Fable 5やGPT-5.5は高い精度を記録した一方、100問の評価を10回実施するために130ドル以上のトークンコストが必要だったとされています。
これに対し、Gemini 3.1 Proは精度では劣るものの、同じ評価を約87ドルで完了しており、コストパフォーマンスでは一定の優位性を示しました。
AIモデルを業務へ導入する企業や開発者にとっては、性能だけでなく運用コストも重要な判断材料となりそうです。
GitHubで一般公開、開発者も評価に参加可能
今回の刷新に合わせて、GoogleはAndroid BenchをGitHub上で一般公開しました。
今後は世界中のAndroid開発者が独自のテストケースや評価結果を投稿できるようになり、Googleが内容を確認したうえでベンチマークへ反映される仕組みになります。
AIの進化が急速に進む中、ベンチマーク自体もコミュニティとともに継続的に更新していく方針です。
現時点ではGoogleのGeminiシリーズはトップ争いから一歩後退している状況ですが、自社製AIが今後どこまで性能を伸ばせるのかにも注目が集まりそうです。
