COCO-DR：通过对比和分布鲁棒学习对抗零样本稠密检索中的分布偏移
计算与语言
2022-11-28 v2 信息检索
机器学习
摘要
我们提出了一种新的零样本稠密检索(ZeroDR)方法COCO-DR，通过对抗源训练任务与目标场景之间的分布偏移来提高稠密检索的泛化能力。为减轻文档差异的影响，COCO-DR通过连续对比学习在目标语料库上继续预训练语言模型，以使模型适应目标分布。为应对未见过的目标查询，COCO-DR利用隐式分布鲁棒优化(iDRO)来重新加权来自不同源查询簇的样本，从而在微调期间提高模型对稀有查询的鲁棒性。COCO-DR在零样本检索基准BEIR上取得了优越的平均性能。在BERT Base规模下，COCO-DR Base优于其他体积大60倍的ZeroDR模型。在BERT Large规模下，COCO-DR Large优于参数多500倍的巨型GPT-3嵌入模型。我们的分析显示了COCO-DR在对抗分布偏移方面的有效性与提高零样本准确率之间的相关性。我们的代码和模型可在\url{https://github.com/OpenMatch/COCO-DR}找到。
引用
@article{arxiv.2210.15212,
title = {COCO-DR: Combating Distribution Shifts in Zero-Shot Dense Retrieval with Contrastive and Distributionally Robust Learning},
author = {Yue Yu and Chenyan Xiong and Si Sun and Chao Zhang and Arnold Overwijk},
journal= {arXiv preprint arXiv:2210.15212},
year = {2022}
}
备注
EMNLP 2022 (Main Conference). The code and Model can be found at https://github.com/OpenMatch/COCO-DR