基于模型内部信息的答案归因：面向可信检索增强生成
计算与语言
2024-12-02 v4 人工智能
机器学习
摘要
确保模型答案的可验证性是检索增强生成（RAG）在问答（QA）领域的基本挑战。最近提出了自引用提示技术，使大语言模型（LLM）在生成答案时能够生成对支持文档的引用。然而，自引用的大语言模型常常难以匹配所需格式、引用不存在的来源，或未能忠实反映模型在生成过程中的上下文使用情况。本文提出 MIRAGE ——Model Internals-based RAG Explanations，即基于模型内部信息的 RAG 解释方法，采用即插即用的方式，通过模型内部信息实现 RAG 应用中的忠实答案归因。MIRAGE 通过显著性方法检测与答案相关的上下文敏感 token，并将其与检索文档配对。我们在多语言抽取式 QA 数据集上评估了所提方法，发现其与人类答案归因高度一致。在开放式 QA 上，MIRAGE 实现了与自引用相当的引用质量和效率，同时还能对归因参数进行更细粒度的控制。我们的定性评估凸显了 MIRAGE 归因的忠实性，并强调了模型内部信息在 RAG 答案归因方面的前景应用。
引用
@article{arxiv.2406.13663,
title = {Model Internals-based Answer Attribution for Trustworthy Retrieval-Augmented Generation},
author = {Jirui Qi and Gabriele Sarti and Raquel Fernández and Arianna Bisazza},
journal= {arXiv preprint arXiv:2406.13663},
year = {2024}
}
备注
Accepted by EMNLP 2024 Main Conference. Code and data released at https://github.com/Betswish/MIRAGE