中文

BiMind:用于错误信息检测的双头推理模型与注意力几何适配器

计算与语言 2026-05-06 v2

摘要

错误信息对内容真实性和完整性构成重大挑战,但大多数检测方法难以在注意力几何坍缩的条件下联合平衡文本内容验证与外部知识修正。为解决这一问题,我们提出了一个双头推理框架BiMind,它将内容内部推理与知识增强推理解耦。在BiMind中,我们引入了三项核心创新:(i) 一个注意力几何适配器,通过基于token的偏移重塑注意力logits并缓解注意力坍缩;(ii) 一个自检索知识机制,通过kNN检索构建领域内语义记忆,并通过特征线性调制注入检索到的邻居;(iii) 不确定性感知融合策略,包括熵门控融合和可训练的一致性头,由对称KL一致性正则化器稳定。为了量化知识贡献,我们定义了一个新指标——经验值(VoX),用于衡量知识增强推理带来的逐实例logit增益。在公开数据集上的实验结果表明,我们的BiMind模型超越了先进的检测方法,并提供了关于知识何时以及为何重要的可解释诊断。

关键词

引用

@article{arxiv.2604.06022,
  title  = {BiMind: A Dual-Head Reasoning Model with Attention-Geometry Adapter for Incorrect Information Detection},
  author = {Zhongxing Zhang and Emily K. Vraga and Jisu Huh and Jaideep Srivastava},
  journal= {arXiv preprint arXiv:2604.06022},
  year   = {2026}
}