中文

PeerReview4All:同行评审中公平且准确的审稿人分配

机器学习 2019-11-18 v2 数据结构与算法 信息论 机器学习 math.IT

摘要

我们考虑会议同行评审中论文自动分配给审稿人的问题,重点关注公平性与统计准确性。我们的公平性目标是最大化最弱势论文的评审质量,这与常用的最大化所有论文总质量的目标形成对比。我们设计了一种基于增量最大流过程的分配算法,并证明其在公平性上近乎最优。我们的统计准确性目标是确保正确恢复应被录用的论文。我们对一种流行的客观分数模型以及我们在文中提出的一种新颖主观分数模型,给出了同行评审过程准确性的精确极小极大分析。我们的分析证明,我们提出的分配算法也带来了近乎最优的统计准确性。最后,我们设计了一种新颖实验,允许对各种分配算法进行客观比较,并克服了同行评审实验中因缺乏真值而固有的困难。该实验以及合成与真实数据上其他实验的结果证实了算法的理论保证。

关键词

引用

@article{arxiv.1806.06237,
  title  = {PeerReview4All: Fair and Accurate Reviewer Assignment in Peer Review},
  author = {Ivan Stelmakh and Nihar B. Shah and Aarti Singh},
  journal= {arXiv preprint arXiv:1806.06237},
  year   = {2019}
}