面向异构多流学习的漂移感知协作辅助混合专家模型
机器学习
2025-08-05 v1 人工智能
摘要
从多个数据流中学习在现实场景中具有根本性挑战，由于内在的异构性和不可预测的概念漂移。现有方法通常假设数据流是同质的，并采用静态架构进行无差别的知识融合，这限制了其在复杂动态环境中的可泛化性。为克服这一差距，我们提出了 CAMEL（Collaborative Assistance Mixture of Experts Learning），即一种动态“协作辅助混合专家学习”框架。它通过为每个数据流分配独立的系统（包括专用的特征提取器和任务特定的头部）来处理异构性。同时，动态的专家池捕获数据流特定的独特模式。关键在于，一个专门的辅助专家通过多头注意力机制从所有其他并行数据流中自主地提取并整合相关上下文，实现有针对性的知识传递，同时天然缓解来自无关来源的负迁移。此外，我们提出了自主专家调优器（AET）策略，动态管理专家生命周期以应对漂移。它为新概念实例化新的专家（冻结先前的专家以防止灾难性遗忘），并修剪过时的专家。这种专家级别的可塑性为在线模型容量调整提供了稳健且高效的机制。广泛的实验表明，CAMEL 在多样化的多流环境中表现出卓越的可泛化性和对复杂概念漂移的强大抗性。
引用
@article{arxiv.2508.01598,
title = {Drift-aware Collaborative Assistance Mixture of Experts for Heterogeneous Multistream Learning},
author = {En Yu and Jie Lu and Kun Wang and Xiaoyu Yang and Guangquan Zhang},
journal= {arXiv preprint arXiv:2508.01598},
year = {2025}
}