DPTDR：面向稠密段落检索的深度提示微调
计算与语言
2022-08-25 v1 信息检索
摘要
深度提示微调（DPT）在大多数自然语言处理（NLP）任务中取得了巨大成功。然而，在稠密检索中它尚未得到充分研究，而微调（FT）仍占主导地位。当使用同一骨干模型（如 RoBERTa）部署多个检索任务时，基于 FT 的方法在部署成本上并不友好：每个新检索模型都需要重复部署骨干模型而无法复用。为降低此类场景下的部署成本，本文研究在稠密检索中应用 DPT。挑战在于直接将 DPT 用于稠密检索会大幅落后于 FT 方法。为弥补性能下降，我们提出了两种与模型和任务无关的、基于 DPT 检索器的策略，即检索导向的中间预训练与统一负样本挖掘，作为一种可兼容任意预训练语言模型和检索任务的通用方法。实验结果表明，所提方法（称为 DPTDR）在 MS-MARCO 和 Natural Questions 上均优于先前最先进的模型。我们还进行了消融实验以检验 DPTDR 中各策略的有效性。我们相信这项工作有助于工业界，因为它节省了巨大的部署精力与成本，并提高了计算资源的利用率。我们的代码见 https://github.com/tangzhy/DPTDR。
引用
@article{arxiv.2208.11503,
title = {DPTDR: Deep Prompt Tuning for Dense Passage Retrieval},
author = {Zhengyang Tang and Benyou Wang and Ting Yao},
journal= {arXiv preprint arXiv:2208.11503},
year = {2022}
}
备注
Accepted in COLING 2022