RATE: 面向同行评审系统中专家度排序的评审人画像与免标注训练
计算与语言
2026-01-28 v1
摘要
在LLM时代，评审人分配变得日益关键且具有挑战性，因为快速的主题转移使得许多2023年之前的基准过时，并且代理信号无法很好地反映评审人的真实熟悉程度。我们通过引入LR-bench来解决这一评估瓶颈，这是一个高保真、最新的基准，从2024-2025年的人工智能/自然语言处理手稿中整理而成，并通过大规模电子邮件调查收集了五级自评熟悉度评分，产生了1055个专家标注的论文-评审人-分数标注。我们进一步提出了RATE，一个以评审人为中心的排序框架，它将每位评审人最近的出版物提炼成紧凑的基于关键词的画像，并使用从启发式检索信号构建的弱偏好监督来微调嵌入模型，从而能够将每篇手稿直接与评审人画像进行匹配。在LR-bench和CMU黄金标准数据集上，我们的方法始终达到最先进的性能，以明显优势超越了强大的嵌入基线。我们在https://huggingface.co/datasets/Gnociew/LR-bench 发布了LR-bench，并在https://github.com/Gnociew/RATE-Reviewer-Assign 发布了GitHub仓库。
引用
@article{arxiv.2601.19637,
title = {RATE: Reviewer Profiling and Annotation-free Training for Expertise Ranking in Peer Review Systems},
author = {Weicong Liu and Zixuan Yang and Yibo Zhao and Xiang Li},
journal= {arXiv preprint arXiv:2601.19637},
year = {2026}
}
备注
18 pages