随着机器学习领域的发展，其审稿过程是否变得更加随意？NeurIPS 2021 一致性实验
机器学习
2023-06-07 v1 数字图书馆
摘要
我们展示了 NeurIPS 2021 一致性实验，这是 2014 年 NeurIPS 实验的更大规模变体，其中 10% 的会议投稿由两个独立委员会评审，以量化审稿过程中的随机性。我们观察到两个委员会对 23% 的论文在接收/拒收建议上不一致，并且与 2014 年的结果一致，如果随机重跑审稿过程，被接收论文列表中的大约一半将会改变。我们的分析表明，使会议更具选择性会增加该过程的随意性。结合先前的研究，我们的结果凸显了客观衡量研究质量的固有困难，并建议作者不应因被拒的工作而过度气馁。
引用
@article{arxiv.2306.03262,
title = {Has the Machine Learning Review Process Become More Arbitrary as the Field Has Grown? The NeurIPS 2021 Consistency Experiment},
author = {Alina Beygelzimer and Yann N. Dauphin and Percy Liang and Jennifer Wortman Vaughan},
journal= {arXiv preprint arXiv:2306.03262},
year = {2023}
}