基于动量对抗域不变表示的零样本密集检索
信息检索
2021-10-15 v1 计算与语言
机器学习
摘要
密集检索（DR）方法通过首先在嵌入空间中对文本进行编码，然后通过最近邻搜索进行匹配来执行文本检索。这要求表示空间具有强局部性属性，即每组少量相关文本的紧密分布，这很难泛化到没有足够训练数据的领域。在本文中，我们旨在零样本设置下，将 DR 模型从具有丰富监督信号的源训练领域泛化到没有任何相关标签的目标领域的能力。为了实现这一目标，我们提出了动量对抗域不变表示学习，该方法在 DR 训练过程中引入动量方法来训练一个区分源域与目标域的域分类器，然后对抗性地更新 DR 编码器以学习域不变表示。我们的实验表明，在零样本设置下，MoDIR 在来自 BEIR 基准的 10 多个排序数据集上稳健地优于其基线，在对 DR 模型评估具有足够敏感度的数据集上获得了超过 10% 的相对提升。本文的源代码将被发布。
引用
@article{arxiv.2110.07581,
title = {Zero-Shot Dense Retrieval with Momentum Adversarial Domain Invariant Representations},
author = {Ji Xin and Chenyan Xiong and Ashwin Srinivasan and Ankita Sharma and Damien Jose and Paul N. Bennett},
journal= {arXiv preprint arXiv:2110.07581},
year = {2021}
}