CrAM：大语言模型中用于对抗检索增强生成中错误信息的可信感知注意力修改
计算与语言
2024-12-18 v3
摘要
检索增强生成（RAG）可以通过引用外部文档来缓解大语言模型（LLM）的幻觉。然而，外部文档中的错误信息可能会误导LLM的生成。为了解决这个问题，我们探索了“可信感知RAG”任务，其中LLM根据检索文档的可信度分数自动调整其影响，以对抗错误信息。为此，我们引入了一种即插即用的方法，名为edibility-aware ttention odification（CrAM）。CrAM识别LLM中有影响力的注意力头，并根据文档的可信度调整其注意力权重，从而减少低可信度文档的影响。在使用Llama2-13B、Llama3-8B和Qwen1.5-7B对Natural Questions和TriviaQA进行的实验表明，CrAM将LLM在错误信息污染下的RAG性能提升了超过20%，甚至超过了监督微调方法。
引用
@article{arxiv.2406.11497,
title = {CrAM: Credibility-Aware Attention Modification in LLMs for Combating Misinformation in RAG},
author = {Boyi Deng and Wenjie Wang and Fengbin Zhu and Qifan Wang and Fuli Feng},
journal= {arXiv preprint arXiv:2406.11497},
year = {2024}
}
备注
AAAI25 camera-ready