用插件式记忆混合增强零样本稠密检索器
计算与语言
2023-02-09 v1
摘要
在本文中，我们通过记忆混合增强（MoMA）提升语言模型的零样本泛化能力，该机制从多个信息语料库（“外部记忆”）中检索增强文档，并可在推理时“插入”新记忆。我们开发了一种联合学习机制，利用源自末端检索任务的潜在标签与来自记忆混合的难负样本对增强组件进行训练。我们在零样本稠密检索设置中通过用 MoMA 增强一个强大的基于 T5 的检索器来实例化该模型。我们的模型 MoMA 在标准 BEIR 基准包含的十八项任务上取得了强劲的零样本检索准确率。它优于那些通过增加模型参数和计算步数来寻求泛化的系统。我们的分析进一步说明了用记忆混合增强以实现鲁棒泛化的必要性、增强学习的益处，以及 MoMA 如何在推理时利用插件记忆而不改变其参数。我们计划开源我们的代码。
引用
@article{arxiv.2302.03754,
title = {Augmenting Zero-Shot Dense Retrievers with Plug-in Mixture-of-Memories},
author = {Suyu Ge and Chenyan Xiong and Corby Rosset and Arnold Overwijk and Jiawei Han and Paul Bennett},
journal= {arXiv preprint arXiv:2302.03754},
year = {2023}
}