会议同行评审中的不一致性：重访2014年NeurIPS实验
数字图书馆
2021-09-22 v1 机器学习
摘要
本文重访了考察会议同行评审不一致性的2014年NeurIPS实验。我们确定审稿质量评分中50%的变异源于主观性。此外，自实验已过七年，我们发现对于\emph{录用}论文，质量评分与以引用次数衡量的论文影响力之间无相关性。我们追踪了被拒论文的去向，找回了这些论文最终发表之处。对于这些论文，我们发现质量评分与影响力间存在相关性。我们得出结论：2014年会议的评审过程善于识别差论文，却不善于识别好论文。我们给出了改进评审过程的若干建议，但也警示不可移除主观因素。最后，我们建议该实验真正的结论是，在评估个体研究者质量时，学界应减少对“顶级会议发表”概念的依赖。NeurIPS 2021的程序委员会正在重复该实验，并进行新的实验。
引用
@article{arxiv.2109.09774,
title = {Inconsistency in Conference Peer Review: Revisiting the 2014 NeurIPS Experiment},
author = {Corinna Cortes and Neil D. Lawrence},
journal= {arXiv preprint arXiv:2109.09774},
year = {2021}
}
备注
Source code available at https://github.com/lawrennd/neurips2014/