GDPval：评估 AI 模型在现实世界经济价值任务上的表现
机器学习
2025-10-07 v1 人工智能
计算机与社会
摘要
我们引入了 GDPval，一个用于评估 AI 模型在现实世界经济价值任务上能力的基准。GDPval 涵盖了美国劳工统计局工作活动中，对推动美国 GDP（国内生产总值）贡献最大的 9 个部门中 44 个职业的大部分工作活动。任务由具有平均 14 年经验的行业专业人士的代表性工作构建而成。我们发现，前沿模型在 GDPval 上的表现随时间呈大致线性提升，且当前最佳的前沿模型在交付质量上正接近行业专家。我们分析了前沿模型在与人类监督结合时，比无辅助专家更便宜、更快速地执行 GDPval 任务的潜力。我们还证明，增加推理努力、增加任务上下文和增加脚手架能提升模型在 GDPval 上的表现。最后，我们开源了一个包含 220 个任务的黄金子集，并在 evals.openai.com 提供了公共自动评分服务，以促进未来对现实世界模型能力的理解研究。
引用
@article{arxiv.2510.04374,
title = {GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks},
author = {Tejal Patwardhan and Rachel Dias and Elizabeth Proehl and Grace Kim and Michele Wang and Olivia Watkins and Simón Posada Fishman and Marwan Aljubeh and Phoebe Thacker and Laurance Fauconnet and Natalie S. Kim and Patrick Chao and Samuel Miserendino and Gildas Chabot and David Li and Michael Sharman and Alexandra Barr and Amelia Glaese and Jerry Tworek},
journal= {arXiv preprint arXiv:2510.04374},
year = {2025}
}