DRAG：通过证据与图知识蒸馏将 RAG 从 LLM 蒸馏至 SLM 以迁移知识并缓解幻觉
计算与语言
2025-06-03 v1 人工智能
机器学习
摘要
Retrieval-Augmented Generation (RAG) 方法已被证明在需要事实一致性和稳健知识检索的任务中非常有效。然而，大规模 RAG 系统消耗大量计算资源，且容易生成人类产生的幻觉内容。本文提出 ，一种将 RAG 知识从大规模语言模型 (LLMs) 蒸馏至小型语言模型 (SLMs) 的新颖框架。该方法利用基于证据和知识图谱的蒸馏，确保蒸馏后的模型保留关键事实知识，同时显著减小模型规模和计算成本。通过将较小模型的预测与结构化知识图谱和排序证据对齐， 有效缓解了幻觉并提高了事实准确性。我们进一步展示了一个案例，说明该框架如何缓解用户隐私风险，并引入了相应的基准测试。在多个基准测试上的实验评估表明，使用相同模型时，我们的方法比先前适用于 SLM 的竞争性 RAG 方法（如 MiniRAG）高出 27.7%，同时保持了高水平效率和可靠性。 为在小型 LLM 中部署增强的检索与生成能力提供了一条实用且高效的资源路线图。
引用
@article{arxiv.2506.01954,
title = {DRAG: Distilling RAG for SLMs from LLMs to Transfer Knowledge and Mitigate Hallucination via Evidence and Graph-based Distillation},
author = {Jennifer Chen and Aidar Myrzakhan and Yaxin Luo and Hassaan Muhammad Khan and Sondos Mahmoud Bsharat and Zhiqiang Shen},
journal= {arXiv preprint arXiv:2506.01954},
year = {2025}
}
备注
ACL 2025 Main. Code is available at https://github.com/VILA-Lab/DRAG