谷歌大幅更新了Android Bench基准测试,新增了八款主流大语言模型,并增加了成本和效率等评估指标,以更全面地衡量AI在安卓开发中的表现。尽管进行了更新,谷歌自家的Gemini 3.1 Pro模型仅排名第五,落后于OpenAI的GPT 5.4和Anthropic的Claude Fable 5,后者以84.5%的准确率领先。
背景
Android Bench是一个专门用于评估大型语言模型在安卓应用开发特定任务中表现的基准测试。随着AI编程助手成为软件工程的核心工具,标准化的基准测试对于比较模型能力(超越通用的聊天或推理任务)至关重要。
- 来源
- Ars Technica
- 发布时间
- 2026年7月9日 00:39
- 评分
- 7.0 / 10