面向上下文排序的有监督对比学习方法
信息检索
2022-07-08 v1
摘要
上下文排序模型在文档排序任务中相比经典模型取得了显著的性能提升。然而，这些高度过参数化的模型往往需要大量数据，即使微调也是如此。本文提出一种简单而有效的方法，利用有监督对比学习来改善小数据集上的文档排序性能。我们通过使用查询-文档对中相关文档的部分内容创建训练数据来进行数据增强。然后，我们使用有监督对比学习目标从增强后的数据集中学习有效的排序模型。我们在TREC-DL数据集子集上的实验表明，尽管数据增广增加了训练数据规模，但使用现有的逐点或逐对训练目标并不一定能提升性能。然而，我们提出的有监督对比损失目标相比标准无增强设置带来了性能提升，展示了利用对比损失进行数据增强的效用。最后，我们通过在新闻（Robust04）、金融（FiQA）和科学事实核查（SciFact）相关的小规模排序数据集上展现出显著改进，证明了使用有监督对比学习目标的实际益处。
引用
@article{arxiv.2207.03153,
title = {Supervised Contrastive Learning Approach for Contextual Ranking},
author = {Abhijit Anand and Jurek Leonhardt and Koustav Rudra and Avishek Anand},
journal= {arXiv preprint arXiv:2207.03153},
year = {2022}
}