ICML 2023 排名实验：探讨作者自我评估在机器学习/AI 同行评审中的作用
应用统计
2025-09-24 v3 数字图书馆
计算机科学与博弈论
机器学习
机器学习
摘要
我们在2023年国际机器学习会议（ICML）的评审过程中进行了实验，要求具有多篇投稿的作者根据感知质量对其论文进行排序。共收到1,342份不同作者提交的排序，覆盖2,592篇投稿。本文呈现了如何利用作者提供的排序来提高机器学习会议同行评审过程的实证分析。我们聚焦于Isotonic Mechanism（等距机制），该机制利用作者提供的排序对原始评审分数进行校准。我们的分析表明，这些排序校准后的分数在估计ground truth“预期评审分数”方面，相较于原始评审分数在平方误差和绝对误差指标上均表现更佳。此外，我们提出了若干谨慎、低风险的Isotonic Mechanism和作者提供的排序在同行评审中的应用，包括支持高级区域主席监督区域主席的建议、协助选择论文奖项、以及指导紧急评审员的招聘。
引用
@article{arxiv.2408.13430,
title = {The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review},
author = {Buxin Su and Jiayao Zhang and Natalie Collina and Yuling Yan and Didong Li and Kyunghyun Cho and Jianqing Fan and Aaron Roth and Weijie Su},
journal= {arXiv preprint arXiv:2408.13430},
year = {2025}
}
备注
Minor revision of Section 4; Published in Journal of the American Statistical Association (JASA) as a Discussion Paper