Missci：重建误表述科学中的谬误

社交网络上的健康相关误信息可能导致不良决策和现实危险。此类误信息常常误表述科学出版物并将其引用为“证据”以获得 perceived 信誉。要有效地自动反驳此类论点，系统必须解释该论点是如何从被引用的出版物中错误推导出来的。当前的自动事实核查或谬误检测方法忽略了评估误用证据相对于误信息论点的需求，这是检测其之间不匹配所必需的。为弥补这一差距，我们提出了 Missci，一种用于谬误推理的论证理论模型，以及一个用于检测误表述生物医学出版物的新数据集。与以前的谬误检测数据集不同，Missci (i) 关注被引用出版物相关内容与不准确论点之间的隐式谬误，(ii) 需要模型在分类的同时 verbalize 谬误推理。我们将 Missci 作为数据集，用于测试大型语言模型（LLM）的关键推理能力，这些能力是重建真实世界谬误论证所必需的，处于 zero-shot 设置。我们评估了两个代表性的 LLM，并探讨了通过提示为 LLM 提供不同层次细节关于谬误类的影响。我们的实验和人类评估显示 GPT 4 在此任务上表现前景良好，同时也展示了该任务的难度。