将歪曲科学出版物的谬误基于证据进行定位
计算与语言
2025-02-10 v2
摘要
与健康相关的错误信息常常错误地引用可信的生物医学出版物作为证据。这些出版物在应用逻辑谬误时,表面上似乎支持虚假主张。在这项工作中,我们旨在检测并突出此类谬误,这需要评估被歪曲出版物的确切内容。为此,我们提出了MissciPlus,它是谬误检测数据集Missci的扩展。MissciPlus通过将被应用的谬误基于被歪曲研究中的真实世界段落,扩展了Missci。这为在真实世界输入条件下检测和表述谬误创建了一个真实的测试平台,并支持新的、真实的段落检索任务。MissciPlus是第一个将真实世界的被歪曲证据与错误主张配对,且输入与基于证据的事实核查模型相同的逻辑谬误数据集。利用MissciPlus,我们(i)评估了检索模型在识别仅通过谬误推理支持主张的段落方面的性能,(ii)评估了大型语言模型(LLM)基于被歪曲的科学段落表述谬误推理的能力,以及(iii)评估了事实核查模型在驳斥歪曲生物医学研究的错误信息方面的有效性。我们的研究结果表明,当前的事实核查模型难以利用被歪曲的段落来驳斥错误信息。此外,这些段落可能会误导LLM将虚假主张视为真实。
引用
@article{arxiv.2408.12812,
title = {Grounding Fallacies Misrepresenting Scientific Publications in Evidence},
author = {Max Glockner and Yufang Hou and Preslav Nakov and Iryna Gurevych},
journal= {arXiv preprint arXiv:2408.12812},
year = {2025}
}
备注
Accepted to NAACL 2025