面向生物医学问答的专家混合模型
计算与语言
2022-04-18 v1
摘要
生物医学问答（BQA）因其广阔的应用前景近年来吸引了越来越多的关注。这是一项具有挑战性的任务，因为生物医学问题具有专业性且通常差异很大。现有的问答方法使用同质模型回答所有问题，导致不同类型的问题竞争共享参数，这将混淆模型针对每一类单一问题的决策。本文为缓解参数竞争问题，提出了一种基于专家混合（MoE）的问答方法 MoEBQA，通过稀疏路由解耦不同类型问题的计算。具体而言，我们将预训练的 Transformer 模型拆分为底层与顶层块。底层块由所有样本共享，旨在捕捉通用特征。顶层块扩展为 MoE 版本，由一系列独立专家组成，其中每个样本根据其潜在问题类型被分配给少数专家。MoEBQA 以端到端方式自动学习路由策略，使每位专家倾向于处理其擅长的题型。我们在三个基于真实考试构建的 BQA 数据集上评估 MoEBQA。结果表明，我们的 MoE 扩展显著提升了问答模型性能并达到了新的 SOTA 性能。此外，我们细致分析了 MoE 模块以揭示 MoEBQA 的工作机制，发现其能自动将问题分组为可读的簇。
引用
@article{arxiv.2204.07469,
title = {Mixture of Experts for Biomedical Question Answering},
author = {Damai Dai and Wenbin Jiang and Jiyuan Zhang and Weihua Peng and Yajuan Lyu and Zhifang Sui and Baobao Chang and Yong Zhu},
journal= {arXiv preprint arXiv:2204.07469},
year = {2022}
}