基于适配器的参数高效稀疏检索器与重排序器
信息检索
2023-03-24 v1 计算与语言
摘要
作为全量微调的替代方案，自然语言处理（NLP）中已研究了基于适配器的参数高效迁移学习。适配器通过在 transformer 层之间添加小型瓶颈层并保持大型预训练语言模型（PLM）冻结，在内存上高效且能很好地随下游任务扩展。尽管在 NLP 中显示出有前景的结果，这些方法在信息检索中尚未得到充分探索。先前的研究仅在稠密检索器或跨语言检索场景中进行了实验，本文旨在补全适配器中 IR 的应用图景。首先，我们研究用于稀疏检索器 SPLADE 的适配器，其不仅保留了微调所达到的效率和效果，而且内存高效且训练成本低数个数量级。我们观察到 Adapters-SPLADE 不仅仅优化 2% 的训练参数，还在 IR 基准数据集上优于全量微调对应模型和现有的参数高效稠密 IR 模型。其次，我们借助适配器在跨领域 BEIR 数据集和 TripClick 上解决神经检索的领域自适应问题。最后，我们还考虑了重排序器与第一阶段排序器之间的知识共享。总体而言，我们的研究补全了神经 IR 中适配器的考察。
引用
@article{arxiv.2303.13220,
title = {Parameter-Efficient Sparse Retrievers and Rerankers using Adapters},
author = {Vaishali Pal and Carlos Lassance and Hervé Déjean and Stéphane Clinchant},
journal= {arXiv preprint arXiv:2303.13220},
year = {2023}
}
备注
accepted at ECIR'23