SpaceNet：为持续学习腾出自由空间
机器学习
2021-04-15 v3 计算机视觉与模式识别
机器学习
摘要
持续学习（CL）范式旨在使神经网络能够以顺序方式持续学习任务。该学习范式中的根本挑战在于，当模型针对新任务进行优化时（尤其是当这些数据不可访问时）会灾难性地遗忘先前学习的任务。当前基于架构的方法旨在缓解灾难性遗忘问题，但代价是扩展模型的容量。基于正则化的方法保持固定的模型容量；然而，先前的研究表明，当推理过程中任务身份不可用时（例如类增量学习场景），这些方法存在巨大的性能下降。在这项工作中，我们提出了一种称为 SpaceNet 的新型基于架构的方法，用于类增量学习场景，其中我们智能地利用模型可用的固定容量。SpaceNet 以自适应方式从零开始训练稀疏深度神经网络，将每个任务的稀疏连接压缩在紧凑数量的神经元中。稀疏连接的自适应训练产生稀疏表示，减少了任务之间的干扰。实验结果表明，我们提出的方法对旧任务的灾难性遗忘具有鲁棒性，且 SpaceNet 在利用模型可用容量方面高效，为学习更多任务留出空间。特别地，当 SpaceNet 在知名的 CL 基准测试：split MNIST、split Fashion-MNIST 和 CIFAR-10/100 上进行测试时，它以很大的性能差距优于基于正则化的方法。此外，它在无需模型扩展的情况下取得了优于基于架构方法的性能，并与基于回放的方法取得了相当的结果，同时提供了巨大的内存缩减。
引用
@article{arxiv.2007.07617,
title = {SpaceNet: Make Free Space For Continual Learning},
author = {Ghada Sokar and Decebal Constantin Mocanu and Mykola Pechenizkiy},
journal= {arXiv preprint arXiv:2007.07617},
year = {2021}
}
备注
Published in Neurocomputing Journal