DUQGen：通过多样化合成查询生成实现神经排序器的无监督域适应
信息检索
2024-04-04 v1 计算与语言
摘要
最先进的神经排序器在大规模任务特定训练数据(如MS-MARCO)上预训练后,已被证明在各种排序任务中表现出强大的零样性能。然而,零样神经排序可能次优,因为未充分利用目标域信息。不幸的是,获取足够大且高质量的目标训练数据以改进现代神经排序器可能昂贵且耗时。为此,我们提出一种新方法用于排序的无监督域适应,DUQGen,其解决了先前文献中一个关键空白,即如何自动生成既有效又多样化的合成训练数据以微调针对新领域的现代神经排序器。具体而言,DUQGen通过识别相似文档的聚类来更好地代表目标域;并通过对结果文档聚类进行概率抽样来生成更具多样性的训练数据集。我们进行了大量实验,在标准BEIR数据集上证明,DUQGen在所有数据集上 consistently优于所有零样基线,并在16个数据集中的平均相对提升4%。我们补充了对所提出方法性能及其潜在改进领域进行深入分析的结果。
引用
@article{arxiv.2404.02489,
title = {DUQGen: Effective Unsupervised Domain Adaptation of Neural Rankers by Diversifying Synthetic Query Generation},
author = {Ramraj Chandradevan and Kaustubh D. Dhole and Eugene Agichtein},
journal= {arXiv preprint arXiv:2404.02489},
year = {2024}
}
备注
NAACL 2024 Main Conference