ReFusion：基于计算高效的检索表示融合改进自然语言理解
计算与语言
2024-05-28 v2 人工智能
摘要
将外部数据库中的知识融入语言模型的基于检索的增强（RA）在各种知识密集型（KI）任务中取得了巨大成功。然而，在非知识密集型（NKI）任务中集成检索仍具挑战。现有工作侧重于将检索结果与输入拼接以提高模型性能。遗憾的是，使用基于拼接的检索增强会导致输入长度增加，从而大幅增加注意力机制的计算需求。本文提出了一种名为 \textbf{ReFusion} 的 RA 新范式，这是一种具有双层优化的计算高效的检索表示融合。与以往工作不同，ReFusion 直接将检索表示融合到模型的隐藏状态中。具体而言，ReFusion 利用自适应检索积分器来寻找所提出的排序方案在不同模型层间的最优组合。实验结果表明，所提出的 ReFusion 在各种 NKI 任务中能够取得优异且稳健的性能。
引用
@article{arxiv.2401.02993,
title = {ReFusion: Improving Natural Language Understanding with Computation-Efficient Retrieval Representation Fusion},
author = {Shangyu Wu and Ying Xiong and Yufei Cui and Xue Liu and Buzhou Tang and Tei-Wei Kuo and Chun Jason Xue},
journal= {arXiv preprint arXiv:2401.02993},
year = {2024}
}