基于对比对偶学习的更鲁棒稠密检索
信息检索
2021-07-19 v1
摘要
稠密检索在嵌入空间中执行文本检索，相比稀疏检索已展现出诸多优势。现有稠密检索器通过对比训练优化查询与文档的表示并将其映射至嵌入空间。该嵌入空间通过对齐匹配的查询-文档对并将负文档推离查询来优化。然而，在此种训练范式下，查询仅被优化以对齐文档并被粗略定位，导致各向异性的查询嵌入空间。本文中，我们分析了嵌入空间分布并提出一种有效训练范式——面向近似最近邻的对比对偶学习(DANCE)，以学习用于稠密检索的细粒度查询表示。DANCE 受经典信息检索训练公理查询似然的启发，引入了额外的查询检索对偶训练目标。借助对比学习，DANCE 的对偶训练目标为查询与文档学习更具针对性的表示，以保持嵌入空间平滑且均匀，从而在 MS MARCO 文档检索任务上提升了 DANCE 的排序性能。与仅以文档检索任务优化的 ANCE 不同，DANCE 使查询嵌入更集中于文档表示附近，同时令文档分布更具判别性。此种集中的查询嵌入分布为查询分配更均匀的负采样概率，并有助于在查询检索任务中充分优化查询表示。我们的代码发布于 https://github.com/thunlp/DANCE。
引用
@article{arxiv.2107.07773,
title = {More Robust Dense Retrieval with Contrastive Dual Learning},
author = {Yizhi Li and Zhenghao Liu and Chenyan Xiong and Zhiyuan Liu},
journal= {arXiv preprint arXiv:2107.07773},
year = {2021}
}
备注
Accepted by ICTIR 2021