同行评审中恶意论文投标的数据集
密码学与安全
2023-03-14 v2 人工智能
计算机科学与博弈论
摘要
在会议同行评审中，常要求评审员对每篇投稿提供“投标”以表达其审稿意愿。随后，论文分配算法利用这些投标（连同其他数据）计算出评审员与论文的高质量匹配。然而，该过程已被恶意评审员利用：他们策略性地投标以不道德地操纵论文分配，严重破坏同行评审流程。例如，这些评审员可能旨在通过分配至友人论文以达成利益交换。构建并评估缓解此问题的方法的一大关键障碍是缺乏任何公开可用的恶意论文投标数据。本工作中，我们收集并公开发布了一个新颖数据集以填补该空白，该数据集来自一场模拟会议活动，参与者被指示诚实或恶意投标。我们进一步对投标行为给出描述性分析，包括对所采用不同策略的分类。最后，我们评估了各策略操纵分配的能力，并评估了若干旨在检测恶意投标的简单算法的性能。这些检测算法的性能可作为未来恶意投标检测研究的基线。
引用
@article{arxiv.2207.02303,
title = {A Dataset on Malicious Paper Bidding in Peer Review},
author = {Steven Jecmen and Minji Yoon and Vincent Conitzer and Nihar B. Shah and Fei Fang},
journal= {arXiv preprint arXiv:2207.02303},
year = {2023}
}