RIGOURATE:基于证据对齐的论文主张量化评估
计算与语言
2026-01-13 v2
摘要
科学严谨性往往被置于大胆表述之下,导致作者超出其结果支持的范围对主张进行夸大。我们提出 RIGOURATE,一个两阶段的多模态框架,从论文正文中检索支持证据,并为每个主张 assigned an overstatement score。该框架包含来自 ICLR 和 NeurIPS 论文的 10K 多余 claim-evidence sets 数据集, 使用八个大语言模型进行注释,并通过同行评审评论校准 overstatement 分数,并通过人类评估进行验证。它采用微调的重排序器进行证据检索,并采用微调模型预测 overstatement 分数并提供依据。与强大的基线方法相比,RIGOURATE 实现了更好的证据检索和夸大检测。总体而言,我们的工作实现了证据比例性,支持更清晰、更透明的科学交流。
引用
@article{arxiv.2601.04350,
title = {RIGOURATE: Quantifying Scientific Exaggeration with Evidence-Aligned Claim Evaluation},
author = {Joseph James and Chenghao Xiao and Yucheng Li and Nafise Sadat Moosavi and Chenghua Lin},
journal= {arXiv preprint arXiv:2601.04350},
year = {2026}
}