轻量级 KB 对齐 OOD 检测以实现安全 RAG
计算与语言
2026-01-21 v2 信息检索
摘要
检索增强生成（RAG）系统正逐渐在高风险领域部署，安全性不仅取决于系统如何回答问题，还取决于在给定知识库（KB）的情况下，是否应该回答查询。准外域（OOD）查询可能导致稠密检索获取弱相关上下文，进而导致生成器产生虽流畅却无依据的响应。我们研究轻量级 KB 对齐 OOD 检测作为 RAG 系统的始终在线门控。我们的 метод采用 PCA 对 KB 嵌入进行降维，依据解释方差保留率（EVR）或基于可分性 t 检验排序选择紧凑子空间对查询进行评分。我们在16个领域（包括高风险的 COVID-19 和 Substance Use KBs）上评估几何语义搜索规则和轻量级分类器，并使用 LLM 生成的攻击以及野外 4chan 攻击进行鲁棒性测试。我们发现，低维检测器在保持 OOD 性能的同时，速度更快、成本更低且更易解释，优于基于提示的 LLM 判官。最终的人类和 LLM 评估表明，OOD 查询主要降低 RAG 输出的相关性，这凸显了高效外部 OOD 检测以维持安全、限域行为的必要性。
引用
@article{arxiv.2508.02296,
title = {Knowing When Not to Answer: Lightweight KB-Aligned OOD Detection for Safe RAG},
author = {Ilias Triantafyllopoulos and Renyi Qu and Salvatore Giorgi and Brenda Curtis and Lyle H. Ungar and João Sedoc},
journal= {arXiv preprint arXiv:2508.02296},
year = {2026}
}