中文

RIGOURATE:基于证据对齐的论文主张量化评估

计算与语言 2026-01-13 v2

摘要

科学严谨性往往被置于大胆表述之下,导致作者超出其结果支持的范围对主张进行夸大。我们提出 RIGOURATE,一个两阶段的多模态框架,从论文正文中检索支持证据,并为每个主张 assigned an overstatement score。该框架包含来自 ICLR 和 NeurIPS 论文的 10K 多余 claim-evidence sets 数据集, 使用八个大语言模型进行注释,并通过同行评审评论校准 overstatement 分数,并通过人类评估进行验证。它采用微调的重排序器进行证据检索,并采用微调模型预测 overstatement 分数并提供依据。与强大的基线方法相比,RIGOURATE 实现了更好的证据检索和夸大检测。总体而言,我们的工作实现了证据比例性,支持更清晰、更透明的科学交流。

关键词

引用

@article{arxiv.2601.04350,
  title  = {RIGOURATE: Quantifying Scientific Exaggeration with Evidence-Aligned Claim Evaluation},
  author = {Joseph James and Chenghao Xiao and Yucheng Li and Nafise Sadat Moosavi and Chenghua Lin},
  journal= {arXiv preprint arXiv:2601.04350},
  year   = {2026}
}