立场:机器学习会议应设立“反驳与批评”轨道
机器学习
2025-07-08 v3 人工智能
计算与语言
计算机与社会
摘要
科学通过不断推进和纠正人类对世界理解的方式来进行进步。在机器学习 (ML) 研究中,快速的进步导致大量论文涌现,但也导致由于同行评审的局限性,一些误导性、不正确、有缺陷或甚至可能是欺诈性的研究被接受并在ML会议上获得关注。虽然这些错误是可以理解的,但ML会议没有提供健全的机制来帮助领域在发现此类错误后进行系统性纠正。本立场论文主张ML会议应设立专门的“反驳与批评” (Refutations and Critiques, R&C) 轨道。该R&C轨道将提供一个高含金量、可信赖的平台,以支持对先前研究进行关键性挑战的关键研究,从而培育一个动态的自我纠错研究生态系统。我们讨论了包括轨道设计、评审原则、潜在风险等关键考量,并提供了一个关于近期ICLR 2025口头报告的示例提交。我们得出结论,ML会议应创建官方的、可信赖的机制来帮助ML研究自我纠正。
引用
@article{arxiv.2506.19882,
title = {Position: Machine Learning Conferences Should Establish a "Refutations and Critiques" Track},
author = {Rylan Schaeffer and Joshua Kazdan and Yegor Denisov-Blanch and Brando Miranda and Matthias Gerstgrasser and Susan Zhang and Andreas Haupt and Isha Gupta and Elyas Obbad and Jesse Dodge and Jessica Zosa Forde and Francesco Orabona and Sanmi Koyejo and David Donoho},
journal= {arXiv preprint arXiv:2506.19882},
year = {2025}
}