AI的必然要求:在机器学习中扩展高质量同行评审
人工智能
2025-06-30 v3 计算机与社会
摘要
同行评审是机器学习(ML)科学进步的基石,但目前正面临规模危机。提交至 NeurIPS、ICML 和 ICLR 等顶级 ML 会议的稿件呈指数级增长,超出了合格评审者有限的承受能力,引发了人们对评审质量、一致性以及评审者疲劳的担忧。本立场论文主张,AI辅助的同行评审应成为紧迫的研究与基础设施优先事项。我们提倡构建一个全面的AI增强生态系统,利用大语言模型(LLMs)作为作者、评审者和领域主席(ACs)的复杂协作者,而非替代人类判断。我们提出了AI在增强事实验证、指导评审者表现、协助作者提升质量以及支持ACs决策方面的具体角色。至关重要的是,我们认为此类系统的开发依赖于获取更细粒度、结构化且符合伦理的同行评审过程数据。我们概述了一项研究议程(包括示例性实验)以开发和验证这些AI助手,并讨论了重大的技术与伦理挑战。我们呼吁ML社区主动构建这一AI辅助的未来,在保持高同行评审标准的同时,确保科学验证的持续完整性与可扩展性。
引用
@article{arxiv.2506.08134,
title = {The AI Imperative: Scaling High-Quality Peer Review in Machine Learning},
author = {Qiyao Wei and Samuel Holt and Jing Yang and Markus Wulfmeier and Mihaela van der Schaar},
journal= {arXiv preprint arXiv:2506.08134},
year = {2025}
}
备注
18 pages, 3 figures. Position paper