通过多源动态扩张模型增量学习多个多样化数据域

持续学习旨在开发能够逐步吸收新信息同时保留先前知识的模型。然而，当前研究主要针对数据样本全部来自单一数据域的简单学习场景进行。本文转向更复杂且更贴近现实的学习环境，即数据样本来源于多个不同域。我们通过引入一种新方法——多源动态扩张模型（Multi-Source Dynamic Expansion Model, MSDEM）来解决这一复杂的学习挑战。该方法利用各种预训练模型作为骨干网络，逐步基于它们建立新的专家以适应新任务。此外，我们提出了一种创新的动态可扩展注意力机制，用于选择性地利用来自多个骨干网络的知识，从而加速新任务的学习。我们还引入了动态图权重路由器，战略性地复用所有先前获取的参数和表示，以进行新任务学习，从而最大化正向知识传递效果，进一步提高了泛化性能。我们进行了一系列完整的实验，实验结果表明，我们的方法在实践中实现了最先进的性能。