分析机器学习会议评审过程
机器学习
2020-11-30 v2 人工智能
机器学习
摘要
近年来，主流机器学习会议的参与者数量急剧增加，视角也日益多元。机器学习社区的成员很可能听到从录用决策的随机性到制度性偏见等各类指控。在本文中，我们通过对 2017 至 2020 年提交至 ICLR 的论文进行全面研究，批判性地分析了评审过程。我们量化了评审分数与录用决策中的可复现性/随机性，并考察了分数是否与论文影响力相关。我们的发现表明，即使在控制了论文质量之后，录用/拒稿决策中仍存在强烈的制度性偏见。此外，我们发现了性别差距的证据：女性作者相比男性作者获得更低的分数、更低的录用率以及每篇论文更少的引用。我们以对未来会议组织者的建议作为工作的总结。
引用
@article{arxiv.2011.12919,
title = {Analyzing the Machine Learning Conference Review Process},
author = {David Tran and Alex Valtchanov and Keshav Ganapathy and Raymond Feng and Eric Slud and Micah Goldblum and Tom Goldstein},
journal= {arXiv preprint arXiv:2011.12919},
year = {2020}
}
备注
NeurIPS Workshop on Navigating the Broader Impacts of AI Research. Full version at arXiv:2010.05137