WarrantScore：用于同行评审中论点证据评估的论据建模
计算与语言
2026-01-27 v1
摘要
随着提交论文数量的快速增长，科学同行评审过程正面临人力资源不足的挑战。积极探索使用语言模型以降低同行评审人力成本的做法，已成为一种潜在解决方案。已提出一种方法，以人类可解释的方式评估科学评论中 substantiation（论点支撑程度）的水平。该方法提取论证的核心组件——论点和证据，并根据论点是否得到证据支持来评估 substantiation 水平。Substantiation 水平指论点基于客观事实的程度。然而，在评估 substantiation 水平时，仅检测论点是否具有支持证据是不够的；还需要准确地评估论点与其证据之间的逻辑推理。我们提出了一种新的科学评论评估指标，用于评估论点与证据之间的逻辑推理。实验结果表明，所提方法的与人类评分之间的相关性高于传统方法，表明其有潜力更好地支持同行评审过程的效率。
引用
@article{arxiv.2601.17377,
title = {WarrantScore: Modeling Warrants between Claims and Evidence for Substantiation Evaluation in Peer Reviews},
author = {Kiyotada Mori and Shohei Tanaka and Tosho Hirasawa and Tadashi Kozuno and Koichiro Yoshino and Yoshitaka Ushiku},
journal= {arXiv preprint arXiv:2601.17377},
year = {2026}
}