基于意向行为理论的解释规划：检索增强型语言模型中源文件忠实解释的方法
计算与语言
2026-04-21 v2 人工智能
软件工程
摘要
大型语言模型（LLM）生成的自然语言解释往往具有说服力，但并非易于查证：用户难以确定解释中的主张是否得到证据支持。在可解释人工智能（XAI）领域，这促使关注忠实性和可追溯性，即解释主张能否以明确来源为依据，并可追溯至该来源。在检索增强生成（RAG）中进行编程教育应用研究时，教科书提供权威性证据。我们对六个LLM在90个基于三个编程教科书的Stack Overflow问题上进行基准测试，通过源文件遵循指标量化源文件忠实性。我们发现，非检索增强生成（RAG）模型的源文件遵循中位数为0%，而基线RAG系统仍显示低中位数遵循率（22%至40%，取决于模型）。在ACHinstein的意向行为解释理论的启发下，我们引入意向行为宏计划作为源文件忠实解释的描述性设计原则，并以链式意向行为引导（CoI）实现其应用，该方法通过扩展查询生成隐式解释性问题以驱动检索。无论是哪个模型，CoI均实现了显著性提升（最高可达63%），尽管绝对遵循仍处于中等水平，且部分模型的提升在统计上不显著。针对165名保留参与者（共招募220人）的用户研究表明，这些提升并未损害满意度、相关性或感知正确性。
引用
@article{arxiv.2604.06211,
title = {Illocutionary Explanation Planning for Source-Faithful Explanations in Retrieval-Augmented Language Models},
author = {Francesco Sovrano and Alberto Bacchelli},
journal= {arXiv preprint arXiv:2604.06211},
year = {2026}
}
备注
24 pages; Accepted for publication at XAI'2026