DIMoE-适配器：面向视觉语言模型持续学习的动态专家演化
计算机视觉与模式识别
2026-05-11 v1
摘要
持续学习使视觉语言模型能够在不从头重新训练的情况下累积知识并适应不断演化的任务。然而，在多域任务递增学习中，大范围域迁移加剧了稳定性-塑性两难。大多数现有方法依赖固定架构的静态参数分配，限制了对新域的适应并加剧了灾难性遗忘。为解决这些挑战，我们提出 DIMoE-适配器，这是一种面向视觉语言模型持续学习的动态增量混合专家适配器框架，引入动态专家演化范式以平衡稳定性和塑性。该范式通过两个协作组件实现：自校准专家演化（SCEE）和原型引导专家选择（PGES）。SCEE 通过专家优化动力学构建和演化稀疏专家池，提高塑性并减少冗余容量。PGES 基于 SCEE 构建的专家池控制专家利用，提高跨以前遇到和未遇到任务的稳定性。广泛的实验表明，DIMoE-适配器 在各种设置下均优于以前的 SOTA 方法。
引用
@article{arxiv.2605.07494,
title = {DIMoE-Adapters: Dynamic Expert Evolution for Continual Learning in Vision-Language Models},
author = {Mengxin Qin and Xiang Zhang and Xi Wang and Kun Wei and Xu Yang and Cheng Deng},
journal= {arXiv preprint arXiv:2605.07494},
year = {2026}
}