MOS：面向基于预训练模型的类递增学习的模型手术
机器学习
2025-06-19 v2 计算机视觉与模式识别
摘要
类递增学习要求模型在不忘记旧知识的前提下持续获取新类别的知识。尽管预训练模型在类递增学习中显示出优异性能，但在模型学习新概念时仍会发生灾难性遗忘。现有工作试图利用轻量级组件调整预训练模型，但遗忘现象仍源于参数和检索层面。具体而言，模型的迭代更新导致参数漂移，而误检索不相关模块会导致推理时的不匹配。为此，我们提出MOdel Surgery (MOS)以拯救模型免受旧知识遗忘。通过训练任务特定的适配器，我们持续调整预训练模型以适应下游任务。为缓解参数层面的遗忘，我们提出一种适配器合并方法，以学习任务特定的适配器，旨在弥合不同组件之间的差距，同时保留任务特定信息。此外，为解决检索层面的遗忘，我们在推理期间引入一种无训练的自校准适配器检索机制，利用模型固有的更佳适配器检索能力。通过这些步骤的联合纠正，MOS能够在学习过程中稳健抵抗灾难性遗忘。七个基准数据集上的大量实验验证了MOS的领先性能。代码可在 https://github.com/sun-hailong/AAAI25-MOS 获取。
引用
@article{arxiv.2412.09441,
title = {MOS: Model Surgery for Pre-Trained Model-Based Class-Incremental Learning},
author = {Hai-Long Sun and Da-Wei Zhou and Hanbin Zhao and Le Gan and De-Chuan Zhan and Han-Jia Ye},
journal= {arXiv preprint arXiv:2412.09441},
year = {2025}
}
备注
Accepted to AAAI 2025. Code is available at: https://github.com/sun-hailong/AAAI25-MOS