Mercor的研究发现，约90%的美国工作时间都花在现有AI基准测试无法充分覆盖的任务上，揭示了AI评估表现与现实职场需求之间的巨大差距。该基准地图将现有AI评估与劳工统计局职业数据进行了可视化对比。
背景
MMLU、GSM8K和HumanEval等AI基准测试已成为评估大语言模型能力的标准指标，但它们主要测试学术或编码类问题，而非现实职场任务。
- 来源
- Hacker News (RSS)
- 发布时间
- 2026年10月17日 01:08
- 评分
- 6.0 / 10
Mercor的研究发现，约90%的美国工作时间都花在现有AI基准测试无法充分覆盖的任务上，揭示了AI评估表现与现实职场需求之间的巨大差距。该基准地图将现有AI评估与劳工统计局职业数据进行了可视化对比。
MMLU、GSM8K和HumanEval等AI基准测试已成为评估大语言模型能力的标准指标，但它们主要测试学术或编码类问题，而非现实职场任务。