掌握少数派：基于不确定性引导的多专家框架用于挑战性偏斜序列学习
机器学习
2026-03-18 v1 人工智能
摘要
不平衡数据分布是序列学习中的一个关键挑战，导致模型容易识别频繁类别而在adequately 检测少数派类别方面受限。Mixture-of-Experts 模型提供了可扩展的解决方案，但其应用常受参数效率低、专家专化不足以及难以解决预测冲突的制约。为有效掌握少数派类别，我们提出了基于不确定性的多专家融合网络（UME）框架。UME 设计包含三个核心创新：首先，我们采用 Ensemble LoRA 实现参数高效建模，显著降低可训练参数数量；其次，我们引入基于 Dempster-Shafer 理论（DST）的序列专化引导，确保对挑战性偏斜类别的有效专化；最后，一个不确定性引导的融合机制使用 DST 的确定性度量动态加权专家意见，通过优先最具信心的专家来解决冲突，从而实现可靠的最终预测。广泛的实验在四个公共分层文本分类数据集上表明，UME 取得了 state-of-the-art 性能。在单个类别上，UME 相对于最佳基线实现了最高可达 17.97% 的性能提升，同时将可训练参数降低最高可达 10.32%。这些发现表明，不确定性引导的专家协调是应对挑战性偏斜序列学习的原则策略。我们的代码已公开于 https://github.com/CQUPTWZX/Multi-experts。
引用
@article{arxiv.2603.15708,
title = {Mastering the Minority: An Uncertainty-guided Multi-Expert Framework for Challenging-tailed Sequence Learning},
author = {Ye Wang and Zixuan Wu and Lifeng Shen and Jiang Xie and Xiaoling Wang and Hong Yu and Guoyin Wang},
journal= {arXiv preprint arXiv:2603.15708},
year = {2026}
}