C3：基于对比弱监督持续预训练的横跨语言即席检索
信息检索
2022-04-27 v1 计算与语言
摘要
预训练语言模型已提升了许多任务（包括即席检索）的效果。近期研究表明，在检索任务微调前以辅助目标继续预训练语言模型可进一步提升检索效果。与单语检索不同，为跨语言映射设计合适的辅助任务具有挑战性。为应对该挑战，我们利用不同语言中具有可比性的维基百科文章，在检索任务微调前对现成的多语预训练模型进行继续预训练。我们表明该方法可提升检索效果。
引用
@article{arxiv.2204.11989,
title = {C3: Continued Pretraining with Contrastive Weak Supervision for Cross Language Ad-Hoc Retrieval},
author = {Eugene Yang and Suraj Nair and Ramraj Chandradevan and Rebecca Iglesias-Flores and Douglas W. Oard},
journal= {arXiv preprint arXiv:2204.11989},
year = {2022}
}
备注
6 pages, 2 figures, accepted as a SIGIR 2022 Short Paper