RAG 归因中的正确性不等同于忠实性

从相关上下文开始检索是减少幻觉并增强答案可靠性的常见方法。显式引用来源文档允许用户验证生成的响应，并增加信任。以往的工作主要评估引用的正确性——即被引用文档是否支持相应的陈述。但仅凭引用正确性是不够的。为了建立对 attributed answers 的信任，我们必须同时考察引用的正确性和忠实性。在本工作中，我们首先消解了引用正确性和忠实性概念之间的界限，这些概念在以前的研究中被不一致地应用。忠实性确保模型对被引用文档的依赖是真实的，这反映了实际的引用使用，而不仅仅是与先前信念的表面一致性，我们称之为事后合理化。我们设计了一个实验，揭示了事后合理化的普遍问题，这些问题削弱了可靠的归因并可能导致信任错位。我们的发现表明，当前的 attributed answers 常常缺乏引用忠实性（约 57% 的引用），这凸显了评估正确性和忠实性以实现可信归因的必要性。