RouterRetriever：基于混合专家嵌入模型的路由检索
信息检索
2025-02-27 v2 人工智能
摘要
信息检索方法通常依赖于在大型通用领域数据集（如 MSMARCO）上训练的单一嵌入模型。尽管这种方法可以产生表现合理的检索器，但在针对特定领域的测试中，往往不如专门训练的模型。先前的工作通过多任务训练来解决此问题，但在语言模型生成研究中广受欢迎的“在专家嵌入模型上进行路由”思想，至今尚未在信息检索领域得到探索。本文引入了 RouterRetriever，一种检索模型，利用路由机制从混合的领域特定专家中选择最合适的专家以处理每个查询。RouterRetriever 轻量级且可轻松添加或移除专家而无需额外训练。在 BEIR 数据集上的评估表明，RouterRetriever 的性能显著优于在 MSMARCO 上训练的模型（提升 2.1 个百分点 nDCG@10）和多任务模型（提升 3.2 个百分点），其优势归功于所采用的路由机制，该机制在常用语言模型路由技术中均表现出色（平均提升 1.8 个百分点）。此外，该优势能很好地推广到其他数据集，即使没有针对该数据集的特定专家也能实现收益。RouterRetriever 是首个展示了在没有单一通用嵌入模型的情况下，通过在混合领域特定专家嵌入模型上进行路由，能够实现检索 diverse, specialized domains 的优势。
引用
@article{arxiv.2409.02685,
title = {RouterRetriever: Routing over a Mixture of Expert Embedding Models},
author = {Hyunji Lee and Luca Soldaini and Arman Cohan and Minjoon Seo and Kyle Lo},
journal= {arXiv preprint arXiv:2409.02685},
year = {2025}
}
备注
published at AAAI 2025