P^3 Ranker：通过提示式学习与预微调缓解预训练与排序微调间的鸿沟
信息检索
2022-05-06 v2 计算与语言
摘要
与其他语言任务相比，将预训练语言模型（PLMs）应用于搜索排序往往需要更细微的处理和训练信号。本文中，我们识别并研究了预训练与排序微调之间的两种不匹配：关于训练目标与模型架构差异的训练模式鸿沟，以及考虑排序所需知识与预训练所学知识之间差距的任务知识鸿沟。为缓解这些鸿沟，我们提出预训练、提示学习与预微调神经排序器（P^3 Ranker）。P^3 Ranker利用基于提示的学习将排序任务转换为类预训练的模式，并使用预微调在中间监督任务上初始化模型。在MS MARCO和Robust04上的实验显示了P^3 Ranker在小样本排序中的优越性能。分析表明，P^3 Ranker能够通过基于提示的学习更好地适应排序任务，并检索预微调中获得的必要排序导向知识，从而实现数据高效的PLM适配。我们的代码可在 https://github.com/NEUIR/P3Ranker 获取。
引用
@article{arxiv.2205.01886,
title = {P^3 Ranker: Mitigating the Gaps between Pre-training and Ranking Fine-tuning with Prompt-based Learning and Pre-finetuning},
author = {Xiaomeng Hu and Shi Yu and Chenyan Xiong and Zhenghao Liu and Zhiyuan Liu and Ge Yu},
journal= {arXiv preprint arXiv:2205.01886},
year = {2022}
}
备注
Accepted by SIGIR 2022