DESIRE-ME：基于 Mixture-of-Experts 的领域增强监督信息检索
信息检索
2024-03-21 v1
摘要
开放域问答需要能够应对问题多样性的检索系统，能够在广泛的查询类型和主题范围内提供准确答案。为解决这种主题异构性问题，本文提出 DESIRE-ME，一种基于 Mixture-of-Experts 框架的神经信息检索模型，整合多个专门化神经模型。我们依赖 Wikipedia 数据训练有效的神经门控机制，以对 incoming query 进行分类，并相应地为不同领域的专家提供加权预测。这使得 DESIRE-ME 能够在多个领域中自适应专化。通过在公开数据集上的大量实验，我们展示了我们的方案能够有效推广领域增强神经模型。DESIRE-ME 在处理开放域问题方面表现出色，通过提升底层最先进的稠密检索模型在 NDCG@10 上的最高提升达 12%，在 P@1 上的最高提升达 22%。
引用
@article{arxiv.2403.13468,
title = {DESIRE-ME: Domain-Enhanced Supervised Information REtrieval using Mixture-of-Experts},
author = {Pranav Kasela and Gabriella Pasi and Raffaele Perego and Nicola Tonellotto},
journal= {arXiv preprint arXiv:2403.13468},
year = {2024}
}
备注
Accepted at the 46th European Conference on Information Retrieval (ECIR 2024)