基于组与独占稀疏正则化的CNN持续学习
机器学习
2026-01-08 v1 人工智能
摘要
我们提出了一种基于正则化的方法，用于固定容量卷积神经网络（CNN）的持续学习（CL），该方法在顺序学习多个任务时不会遭受灾难性遗忘问题。这种被称为基于组与独占稀疏性的持续学习（GESCL）的方法，通过一个稳定性正则化项来确保CNN的稳定性，从而避免遗忘先前任务，该项防止被检测为对过去任务重要的滤波器在学习新任务时偏离过大。在此基础上，GESCL通过一个可塑性正则化项使网络具有可塑性，该项利用CNN的过参数化特性来高效地稀疏化网络，并调整不重要的滤波器使其对未来任务变得相关。通过这种方式，与那些动态扩展网络或记忆过去任务数据的CL方法相比，GESCL处理的参数和计算量显著减少。在流行的CL视觉基准上的实验表明，GESCL在整体CL性能（以分类精度衡量）以及避免灾难性遗忘方面，均显著优于现有最先进方法。
引用
@article{arxiv.2601.03658,
title = {Group and Exclusive Sparse Regularization-based Continual Learning of CNNs},
author = {Basile Tousside and Janis Mohr and Jörg Frochte},
journal= {arXiv preprint arXiv:2601.03658},
year = {2026}
}
备注
12 pages, Canadian Artificial Intelligence Association (CAIAC)