Faithfulness-QA: 用于训练基于上下文忠实 RAG 模型的反事实实体替换数据集
计算与语言
2026-04-30 v2 人工智能
摘要
检索增强生成（RAG）模型常常会生成基于参数记忆而非检索上下文中的答案，从而破坏检索增强的核心承诺。修复此问题的一个根本障碍是缺乏明确要求模型优先考虑上下文而非内部知识的训练数据。我们引入 Faithfulness-QA，一个规模为 99,094 样本的数据集，通过反事实实体替换构建。我们从两个已建立的提取式 QA 基准——SQuAD 和 TriviaQA——中自动识别上下文中包含答案的命名实体，用来自精选库（涵盖 76,953 个实体）的类型一致备选方案替换，从而在上下文与参数记忆之间制造受控的知识冲突。严格的质量筛选确保随机抽查 200 个样本在四项自动化检查中均通过。我们公开完整数据集、构建管道以及覆盖八类命名实体的类型化实体库。Faithfulness-QA 旨作为注意力机制忠实目标的训练资源，以及衡量 RAG 系统上下文 grounding 行为的评估基准。数据与代码已发布于 https://github.com/qzhangFDU/faithfulness-qa-dataset。
关键词
引用
@article{arxiv.2604.25313,
title = {Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models},
author = {Li Ju and Junzhe Wang and Qi Zhang},
journal= {arXiv preprint arXiv:2604.25313},
year = {2026}
}