面对严重分布迁移的动态专家混合模型
机器学习
2025-11-25 v1 人工智能
摘要
构建能够持续学习并适应不断演变数据流的神经网络是持续学习(CL)和强化学习(RL)领域的核心挑战。这种终身学习问题通常以塑性-稳定性困境的形式呈现，关注塑性丧失和灾难性遗忘等问题。与神经网络不同，生物大脑通过容量增长来维持塑性，这一发现激发了研究者探索类似方法在人工网络中的应用，如动态增加容量。已有解决方案往往缺乏参数效率或依赖显式任务索引，但专家混合模型(Mixture-of-Experts, MoE)架构提供了为不同分布专门化专家的有前景的替代方案。本文旨在评估一种用于持续学习和强化学习环境的DynamicMoE方法，并基准测试其针对现有网络扩充方法的有效性。
引用
@article{arxiv.2511.18987,
title = {Dynamic Mixture of Experts Against Severe Distribution Shifts},
author = {Donghu Kim},
journal= {arXiv preprint arXiv:2511.18987},
year = {2025}
}