NISPA：面向稀疏网络持续学习的神经启发稳定性-可塑性自适应架构
机器学习
2022-06-22 v1
摘要
持续学习（CL）的目标是随时间推移学习不同任务。与 CL 相关的主要期望是：保持旧任务上的性能，利用旧任务改进未来任务的学习，并在训练过程中引入最小开销（例如，不要求模型增长或重新训练）。我们提出神经启发稳定性-可塑性自适应（NISPA）架构，通过一个具有固定密度的稀疏神经网络来满足这些期望。NISPA 形成稳定路径以保留从旧任务中学到的知识。同时，NISPA 利用连接重布线创建新的可塑性路径，在新任务上复用已有知识。我们在 EMNIST、FashionMNIST、CIFAR10 和 CIFAR100 数据集上的广泛评估表明，NISPA 显著优于代表性的最先进持续学习基线方法，并且与基线相比，其可学习参数数量最多减少十倍。我们还论证了稀疏性是持续学习的一个关键要素。NISPA 代码可在 https://github.com/BurakGurbuz97/NISPA 获取。
引用
@article{arxiv.2206.09117,
title = {NISPA: Neuro-Inspired Stability-Plasticity Adaptation for Continual Learning in Sparse Networks},
author = {Mustafa Burak Gurbuz and Constantine Dovrolis},
journal= {arXiv preprint arXiv:2206.09117},
year = {2022}
}
备注
International Conference on Machine Learning 2022