利用向量化上下文改进检索增强的开放域问答

在大语言模型时代，应用检索增强生成等技术可以更好地解决开放域问答问题。由于模型规模和计算资源的限制，上下文长度通常有限，并且很难使模型在回答开放域问题的同时覆盖过长的上下文。本文提出了一种通用且便捷的方法来覆盖开放域问答任务中更长的上下文。它利用一个小型编码器语言模型有效编码上下文，并且编码与原始输入进行交叉注意力。使用我们的方法，原始语言模型可以覆盖数倍长的上下文，同时保持计算需求接近基线。我们的实验表明，在微调后，在两个保留数据集、四个保留数据集以及两个上下文学习设置中，性能都有所提升。