利用组级重加权增强稠密检索器的鲁棒性
信息检索
2024-10-15 v4
摘要
从网页图谱中派生的锚文本-文档数据为以无监督方式训练稠密检索模型提供了丰富的配对信息。然而，无监督数据在网页图谱中呈现出多样的模式，且常常表现出显著的不平衡，导致在代表性不足或困难的组上性能欠佳。本文提出 WebDRO，一种用于聚类网页图谱数据并优化组权重以增强稠密检索模型鲁棒性的高效方法。首先，我们构建一个用于聚类锚文本-文档对的嵌入模型。具体而言，我们对嵌入模型进行对比训练以进行链接预测，从而引导嵌入模型捕捉网页图谱链接背后的文档特征。随后，我们在训练检索模型时采用组分布鲁棒优化（group distributional robust optimization）来重新校准不同锚文本-文档对簇的权重。训练过程中，我们引导模型为损失更高的簇分配更高权重，并更多关注最坏情况场景。该方法确保模型在所有数据模式上具有强泛化能力。我们在 MS MARCO 和 BEIR 上的实验表明，我们的方法能有效提升无监督训练和微调设置下的检索性能。进一步分析证实了 WebDRO 所学组权重的稳定性与有效性。本文代码可从 https://github.com/Hanpx20/GroupDRO_Dense_Retrieval 获取。
引用
@article{arxiv.2310.16605,
title = {Enhancing Dense Retrievers' Robustness with Group-level Reweighting},
author = {Peixuan Han and Zhenghao Liu and Zhiyuan Liu and Chenyan Xiong},
journal= {arXiv preprint arXiv:2310.16605},
year = {2024}
}