CAME：面向第一阶段检索的竞争式混合专家模型学习
信息检索
2023-11-07 v1
摘要
第一阶段检索旨在从大规模集合中高效且有效地检索出候选文档子集。由于查询与相关文档之间可能存在多种匹配模式，已有工作尝试组合多个检索模型以尽可能找到更多相关结果。无论独立还是联合学习的集成模型，在训练时都不关注哪个组件模型对某个实例更合适。因此，它们无法充分挖掘不同类型检索模型在识别多样相关性模式上的能力。受此启发，本文提出一种由代表性匹配专家和新颖竞争式学习机制组成的混合专家（MoE）模型，使专家在训练中发展并增强其专长。具体而言，我们的 MoE 模型共享底层以学习通用语义表示，并使用结构不同的上层来表示各类检索专家。我们的竞争式学习机制分为两阶段：（1）标准化学习阶段，平等训练专家以发展其进行相关性匹配的能力；（2）专门化学习阶段，专家在每个训练实例上相互竞争，并根据表现获得奖励与更新，从而增强其在特定类型样本上的专长。在三个检索基准数据集上的实验结果表明，我们的方法显著优于最先进的基线。
引用
@article{arxiv.2311.02834,
title = {CAME: Competitively Learning a Mixture-of-Experts Model for First-stage Retrieval},
author = {Yinqiong Cai and Yixing Fan and Keping Bi and Jiafeng Guo and Wei Chen and Ruqing Zhang and Xueqi Cheng},
journal= {arXiv preprint arXiv:2311.02834},
year = {2023}
}