会议同行评审的系统级分析
计算机科学与博弈论
2025-09-30 v2
摘要
会议同行评审过程涉及三个目标不同的主体：作者希望自己的论文被声望高的场所快速接收；会议希望呈现一个包含许多高质量论文和少量低质量论文的议程；审稿人希望避免过重的评审负担。这些目标远未对齐，主要因为对投稿的评估 inherently 带有噪声。多年来，会议尝试了众多策略来权衡取舍。这些实验包括设定各种接收门槛、改变每篇投稿的审稿人数、要求重投稿件附上先前评审意见等。本工作中，我们从分析和经验两方面考察各种策略的效果，更重要的是，探究其奏效或不奏效的原因。我们将会议与作者的互动建模为一个 Stackelberg 博弈：声望高的会议承诺一个接收策略；作者通过每轮评审中（重新）投稿或不投来最优应对，替代方案是一个“确定接收”（如轻审稿场所）。我们的主要结果包括以下观察：1）会议通常应设定比实际期望质量更高的接收门槛；我们称之为“重投鸿沟”。2）审稿负担主要由边缘论文的重投驱动——因此，审慎选择接收门槛可在会议质量可接受损失下减少审稿量。3）会议声望、审稿人不准确性和作者耐心会增大重投鸿沟，从而在固定会议质量下增加审稿负担。为稳健起见，我们进一步考虑不同的论文质量模型，并将理论结果与基于真实数据估计的合理参数模拟进行比较。
引用
@article{arxiv.2303.09020,
title = {A System-Level Analysis of Conference Peer Review},
author = {Yichi Zhang and Fang-Yi Yu and Grant Schoenebeck and David Kempe},
journal= {arXiv preprint arXiv:2303.09020},
year = {2025}
}