面向可适配稠密检索的域与相关性解耦建模
信息检索
2022-08-18 v1 计算与语言
机器学习
摘要
稠密检索（DR）技术的近期进展显著提升了第一阶段检索的效果。借助大规模监督数据训练，DR 模型可将查询与文档编码至低维稠密空间并进行有效的语义匹配。然而，先前研究表明，当训练好的 DR 模型被应用于与标注数据所在域不同的目标域时，其效果会大幅下降。可能的原因之一是 DR 模型从未见过目标语料，因而可能无法缓解训练域与目标域之间的差异。遗憾的是，在实践中，为避免域偏移而为每个目标域训练 DR 模型通常是一项困难任务，因为这需要额外的时间、存储与领域特定数据标注，而这些并非总可获得。为解决该问题，本文提出一种名为解耦稠密检索（DDR）的新颖 DR 框架，以支持 DR 模型的有效且灵活的域适配。DDR 由一个用于建模域不变匹配模式的相关性估计模块（REM）和若干用于建模多个目标语料的域特定特征的域适配模块（DAMs）组成。通过使 REM 与 DAMs 解耦，DDR 实现了一种灵活的训练范式：REM 以监督方式训练一次，而 DAMs 以无监督数据训练。跨不同域与语言的综合实验表明，相较于强 DR 基线，DDR 显著提升了排序性能，并在多数场景下大幅优于传统检索方法。
引用
@article{arxiv.2208.05753,
title = {Disentangled Modeling of Domain and Relevance for Adaptable Dense Retrieval},
author = {Jingtao Zhan and Qingyao Ai and Yiqun Liu and Jiaxin Mao and Xiaohui Xie and Min Zhang and Shaoping Ma},
journal= {arXiv preprint arXiv:2208.05753},
year = {2022}
}
备注
Preprint