无损失不共识：同行评审中的学习与社会选择
人工智能
2023-08-04 v2 计算机科学与博弈论
机器学习
摘要
在同行评审系统中，评审者常被要求评估投稿的各类特征，如技术质量或新颖性。对每项预定义特征给出分数，评审者须据此提供整体的量化推荐。可以假设每位评审者心中自有从特征集合到推荐结果的映射，且不同评审者心中的映射各不相同。这引入了被称为计量偏差的任意性因素。本文讨论由 Noothigattu、Shah 与 Procaccia 提出、后被 AAAI 2022 会议组织者采用的一个框架。Noothigattu、Shah 与 Procaccia 提议通过最小化特定损失函数聚合评审者的映射，并从社会选择理论角度研究了该方法的公理性质。我们对他们工作中使用的若干结果与假设提出质疑，并报告了一系列负面结果。一方面，我们研究了所提若干公理之间的权衡与方法能否恰当捕捉多数评审者共识之间的矛盾；另一方面，我们表明放弃某一不现实假设会产生剧烈影响，包括导致该方法不连续。
引用
@article{arxiv.2211.02144,
title = {No Agreement Without Loss: Learning and Social Choice in Peer Review},
author = {Pablo Barceló and Mauricio Duarte and Cristóbal Rojas and Tomasz Steifer},
journal= {arXiv preprint arXiv:2211.02144},
year = {2023}
}
备注
accepted for ECAI 2023