ACoRN：检索增强语言模型中具备噪声鲁棒性的抽象压缩技术

抽象压缩技术利用较小的语言模型对查询相关上下文进行压缩，从而降低检索增强生成（RAG）中的计算成本。然而，检索到的文档常常包含与查询答案无关或因事实错误内容而误导的信息，尽管其相关性得分很高。这表明，抽象压缩器在处理长上下文时，更容易忽略对于正确答案至关重要的信息，尤其是注意力扩散发生时。为解决此问题，本文对检索文档进行更细粒度的分类，提出一种具备噪声鲁棒性的抽象压缩方法（ACoRN），该方法引入了两种新颖的训练步骤。首先，我们对训练数据集进行离线数据增强，以增强压缩器对两种不同检索噪声的鲁棒性。其次，由于基于语言模型的压缩器无法充分利用来自多个检索文档的信息，并且存在位置偏差， 我们进行微调，生成以直接支持正确答案的关键信息为中心的摘要。我们的实验表明，使用ACoRN训练的T5-large模型在保持答案字符串的前提下，提高了EM和F1分数，这可以作为直接证据。ACoRN在包含大量降低准确性文档的数据集上表现突出，在现实场景中具有高度实用性。