KnowShiftQA：K-12 教育中教材知识变化时 RAG 系统的鲁棒性如何？
计算与语言
2025-07-22 v4
摘要
检索增强生成 (RAG) 系统在 K-12 教育领域显示出作为问答工具的巨大潜力，由于该领域的知识通常局限于权威教科书的受限范围。然而，这些教科书与大型语言模型 (LLM) 中内在参数知识之间的差异可能削弱 RAG 系统的效果。为系统性地调查 RAG 系统在面对此类知识差异时的鲁棒性，我们介绍KnowShiftQA。这一新型问答数据集通过对答案和来源文档施加刻意的人为知识更新来模拟这些差异，反映教材知识如何变化。KnowShiftQA 包含 3,005 个跨五个学科的问答题，采用全面的问答类型体系，聚焦于情境利用和知识整合。我们对检索和问答性能进行了广泛实验，结果显示大多数 RAG 系统在面对这些知识差异时会出现显著性能下降。此外，需整合情境 (教科书) 知识与参数 (LLM) 知识的问答题对当前 LLM 来说是重大挑战。
引用
@article{arxiv.2412.08985,
title = {KnowShiftQA: How Robust are RAG Systems when Textbook Knowledge Shifts in K-12 Education?},
author = {Tianshi Zheng and Weihan Li and Jiaxin Bai and Weiqi Wang and Yangqiu Song},
journal= {arXiv preprint arXiv:2412.08985},
year = {2025}
}
备注
ACL 2025 Main