利用领域特定适配器与特征门控机制提升持续学习中的知识保留
计算机视觉与模式识别
2025-04-14 v1 图像与视频处理
摘要
持续学习使模型能够从连续的数据流中学习，同时保留先前获取的知识，有效解决灾难性遗忘问题。本研究提出了一种新方法，通过在视觉Transformer的自注意力机制中集成适配器，来增强在顺序添加来自不同领域的数据集时维持知识的能力。与仅使用单个数据集进行持续学习的先前方法不同，本方法引入了领域特定的输出头和特征门控，使模型能够在保持对先前学习任务高精度的同时，仅从多个领域中纳入essential信息。本方法与当前最先进的主要参数高效微调方法进行了比较。结果表明，本方法有效缓解了先前工作的局限性。此外，我们使用三个数据集（CIFAR-100、Flowers102和DTD），分别代表不同领域，进行比较分析，以探讨任务顺序对模型性能的影响。我们的发现强调了数据集排序在塑造学习结果方面的关键作用，表明战略性的排序显著提高了模型适应随时间演变数据分布的能力，同时保持先前学习知识的完整性。
引用
@article{arxiv.2504.08613,
title = {Enhancing knowledge retention for continual learning with domain-specific adapters and features gating},
author = {Mohamed Abbas Hedjazi and Oussama Hadjerci and Adel Hafiane},
journal= {arXiv preprint arXiv:2504.08613},
year = {2025}
}
备注
Submitted to Applied Intelligence (Springer), under review since November 26, 2024