通过促进任务专门化改进多任务检索
计算与语言
2023-07-04 v1 信息检索
摘要
在多任务检索中，单个检索器被训练为多个任务检索相关上下文。尽管具有实际吸引力，朴素多任务检索落后于任务特定检索（即为每个任务训练单独检索器）。我们表明，通过促进任务专门化，可以训练出优于任务特定检索器的多任务检索器。主要要素为：（1）更好地选择预训练模型（显式优化用于多任务的模型）及兼容的提示，以及（2）一种新颖的自适应学习方法，鼓励每个参数专门化于特定任务。所得多任务检索器在 KILT 基准上性能极高。经分析，我们发现该模型确实学到了相比无提示或自适应学习的朴素多任务更任务专门化的参数。
引用
@article{arxiv.2307.00342,
title = {Improving Multitask Retrieval by Promoting Task Specialization},
author = {Wenzheng Zhang and Chenyan Xiong and Karl Stratos and Arnold Overwijk},
journal= {arXiv preprint arXiv:2307.00342},
year = {2023}
}
备注
TACL 2023