DriftMoE：处理概念漂移的混合专家方法
摘要
学习受概念漂移 (concept drift) 约束的非平稳数据流，需要能够在-the-fly 适应且保持资源高效的模型。现有的自适应集成方法往往依赖粗糙的适应机制或简单投票方案，无法最佳利用专门化知识。本文介绍 DriftMoE，这是一种在线混合专家 (Mixture-of-Experts, MoE) 架构，通过 novel co-training 框架解决了这些限制。DriftMoE 具备紧凑的神经路由器，该路由器与一组增量 Hoeffding 树专家一起进行 co-training。关键创新在于一种共生学习循环， enable expert 专业化：路由器为预测选择最合适的专家，相关专家使用真实标签进行增量更新，路由器通过 multi-hot correctness mask 来 refined its 参数，以强化每个 accurate expert。该反馈循环为路由器提供清晰的训练信号，同时加速 expert 专业化。我们在覆盖渐进、突然和 real-world 漂移的九个 state-of-the-art 数据流学习基准测试中评估了 DriftMoE， test 了两种不同配置：一种是专注于数据情景 (multi-class variant)，另一种是专注于单类专业化 (task-based variant)。我们的结果表明，DriftMoE 在与 state-of-the-art 流学习自适应集成相比，实现了 competitive results，提供了一种原则且高效的概念漂移适应方法。所有代码、数据管线和可重复性脚本均已在我们的 public GitHub 仓库中提供：https://github.com/miguel-ceadar/drift-moe。
引用
@article{arxiv.2507.18464,
title = {DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts},
author = {Miguel Aspis and Sebastián A. Cajas Ordónez and Andrés L. Suárez-Cetrulo and Ricardo Simón Carbajo},
journal= {arXiv preprint arXiv:2507.18464},
year = {2025}
}
备注
Accepted at the SYNDAiTE@ECMLPKDD 2025 workshop