通过全面渐进式贝叶斯神经网络实现鲁棒持续学习
机器学习
2022-03-01 v1
摘要
本工作提出了一种全面渐进式贝叶斯神经网络，用于对一系列任务进行鲁棒的持续学习。该贝叶斯神经网络被逐步剪枝和生长，使得有足够的网络资源来表示任务序列，同时网络不会爆炸。其出发点是：相似任务应具有相同的总网络资源数量，以确保在持续学习场景中所有任务得到公平表示。因此，随着新任务的数据流入，会向网络中添加足够的神经元，使得网络每一层（包括与先前任务的共享表示以及各任务相关的独立表示）的神经元总数对所有任务都相等。在每个任务训练结束时冗余的权重也通过重新初始化被剪枝，以便在后续任务中得到有效利用。因此，网络逐步生长，但确保了网络资源的有效利用。我们将所提方法称为“通过全面渐进式贝叶斯神经网络实现鲁棒持续学习（RCL-CPB）”，并在 MNIST 数据集上于三种不同的持续学习场景下评估该方法。此外，我们使用 split CIFAR100（每类 5 个类别共 20 个任务）的同类任务序列，以及使用 MNIST、SVHN 和 CIFAR10 数据集的异类任务序列，评估了 RCL-CPB 的性能。演示与性能结果表明，所提出的渐进式 BNN 策略能够实现鲁棒的持续学习。
引用
@article{arxiv.2202.13369,
title = {Robust Continual Learning through a Comprehensively Progressive Bayesian Neural Network},
author = {Guo Yang and Cheryl Sze Yin Wong and Ramasamy Savitha},
journal= {arXiv preprint arXiv:2202.13369},
year = {2022}
}