合理化(rationale)必要且充分吗?针对可解释误information检测的LLM调优
计算与语言
2026-05-20 v1 人工智能
计算机与社会
摘要
社交媒体平台上误information的快速传播已成为巨大挑战。为遏制其扩散,误information检测(MD)已成为关键研究主题。传统基于小模型的MD方法通常通过黑箱过程进行二元分类。近期,大型语言模型(LLM)的兴起使得可解释MD成为可能,即模型生成解释性 rationale 以解释其决策,从而提升透明度。现有可解释MD方法主要专注于设计精妙的提示词,从而从现成LLM中诱导出rationale。本文提出了一条针对可解释MD的专用LLM微调管道。该管道首先收集大量事实核查文章,然后利用多个强大的LLM生成validity预测和rationale。为确保训练数据的高质量,我们采用筛选策略仅选取正确实例进行微调。尽管该管道直观且常见,但我们的实验揭示了仅凭标签正确性的粗糙筛选在实际中不够,存在两个关键局限:(1)粗粒度标签导致rationale不足:仅凭二元标签筛选的rationale不足以充分支持其决策;(2)过度验证行为导致不必要的rationale:较强的LLM倾向于 exhibit 过度验证行为,生成过于冗长且不必要的rationale。为此,我们引入LONSREX,一个新颖的数据合成管道,用于为可解释MD定位必要且充分的rationale。具体而言,我们提出一种度量标准,用于量化每一步验证对最终预测的贡献,从而评估其必要性和充分性。实验结果表明,LONSREX有效果。
引用
@article{arxiv.2605.19285,
title = {Are Rationales Necessary and Sufficient? Tuning LLMs for Explainable Misinformation Detection},
author = {Bing Wang and Rui Miao and Ximing Li and Chen Shen and Shaotian Yan and Changchun Li and Kaiyuan Liu and Xiaosong Yuan and Jieping Ye},
journal= {arXiv preprint arXiv:2605.19285},
year = {2026}
}
备注
Accepted by KDD 2026. 12 pages, 8 figures. Code: https://github.com/wangbing1416/LONSREX