同行评审分配策略的反事实评估
信息检索
2023-05-30 v1 数字图书馆
应用统计
摘要
同行评审分配算法旨在将研究论文匹配给合适的专家评审人，以最大化所得评审的质量。设计有效分配策略的一个关键挑战是评估分配算法的改动如何映射到评审质量的变化。本文利用近期提出的在同行评审分配中引入随机性（以缓解欺诈）的策略，将其作为评估反事实分配策略的宝贵机会。具体而言，我们借助此类随机分配为许多关注到的分配策略的评审观察提供了正概率。为应对标准离策略评估方法（如正性违背）中的应用难题，我们基于评审人-论文协变量与结果间映射的单调性与 Lipschitz 平滑性假设，提出了基于部分识别的新方法。我们将方法应用于两个计算机科学会议的数据：TPDP'21 研讨会（95 篇论文与 35 名评审人）和 AAAI'22 会议（8,450 篇论文与 3,145 名评审人）。我们估计了 (i) 改变分配算法中权重（如评审人投标 vs. 文本相似度（评审人过往论文与投稿间））对评审质量的影响，以及 (ii) “随机化代价”，即扰动与未扰动最优匹配间期望质量之差。我们发现更高权重置于文本相似度可提升评审质量，且在评审人-论文分配中引入随机化仅边际降低评审质量。我们的部分识别方法本身具独立意义，而离策略方法或可广泛用于评估各类算法匹配系统。
引用
@article{arxiv.2305.17339,
title = {Counterfactual Evaluation of Peer-Review Assignment Policies},
author = {Martin Saveski and Steven Jecmen and Nihar B. Shah and Johan Ugander},
journal= {arXiv preprint arXiv:2305.17339},
year = {2023}
}