对比微调提升神经排序器的鲁棒性
信息检索
2021-06-01 v1 计算与语言
摘要
最先进的神经排序器在面临噪声输入或应用于新领域时，性能可能会显著下降。本文提出一种微调神经排序器的新方法，可显著提升其对域外数据和查询扰动的鲁棒性。具体而言，在微调过程中，将表示空间中比较数据点的对比损失与标准排序损失相结合。我们利用相关性标签来标记相似/不相似对，使模型能够学习不同查询-文档对之间潜在的匹配语义，从而提升鲁棒性。在四个段落排序数据集上的实验中，所提出的对比微调方法在基于 BERT 和 BART 的排序器上均获得了针对查询重构、噪声扰动和零样本迁移的鲁棒性提升。此外，我们的实验表明，对比微调优于用于增强神经排序器鲁棒性的数据增强方法。
引用
@article{arxiv.2105.12932,
title = {Contrastive Fine-tuning Improves Robustness for Neural Rankers},
author = {Xiaofei Ma and Cicero Nogueira dos Santos and Andrew O. Arnold},
journal= {arXiv preprint arXiv:2105.12932},
year = {2021}
}