在线持续学习中稳定性-可塑性困境的新见解
计算机视觉与模式识别
2023-02-20 v1 人工智能
机器学习
摘要
持续学习的目的是连续学习新任务（即可塑性），同时不遗忘旧任务中已学知识（即稳定性）。在在线持续学习场景中，数据严格以流的形式到来，由于从单个数据点可获得的训练信号有限，其可塑性比离线持续学习更易受损。为克服在线持续学习中的稳定性-可塑性困境，我们提出一种名为多尺度特征适配网络（MuFAN）的在线持续学习框架，该框架利用从预训练网络不同层级提取的更丰富上下文编码。此外，我们引入一种新颖的结构级蒸馏损失，并用新提出的稳定性-可塑性归一化模块替换常用的批归一化层来训练 MuFAN，从而同时保持高可塑性与高稳定性。MuFAN 在 SVHN、CIFAR100、miniImageNet 和 CORe50 数据集上优于其他最先进的持续学习方法。大量实验与消融研究验证了各提出组件的重要性和可扩展性：1）来自预训练编码器的多尺度特征图，2）结构级蒸馏损失，以及 3）MuFAN 中的稳定性-可塑性归一化模块。代码已公开于 https://github.com/whitesnowdrop/MuFAN。
引用
@article{arxiv.2302.08741,
title = {New Insights for the Stability-Plasticity Dilemma in Online Continual Learning},
author = {Dahuin Jung and Dongjin Lee and Sunwon Hong and Hyemi Jang and Ho Bae and Sungroh Yoon},
journal= {arXiv preprint arXiv:2302.08741},
year = {2023}
}
备注
Accepted to ICLR2023