基于率约简的增量学习
机器学习
2020-12-01 v1 人工智能
计算机视觉与模式识别
摘要
当前的深度学习架构遭受灾难性遗忘，即在增量训练新类别时无法保留先前所学类别的知识。深度学习方法面临的根本障碍在于深度学习模型被作为“黑盒”优化，难以适当调整模型参数以保留关于已见数据的知识。为克服灾难性遗忘问题，我们提出利用源自率约简（rate reduction）原理的替代性“白盒”架构，其中网络的每一层均显式计算而无需反向传播。在此范式下，我们证明给定预训练网络与新数据类别，我们的方法可证明地构造一个新网络，该网络模拟使用所有过去与新类别的联合训练。最后，我们的实验表明，所提学习算法在分类性能上的衰减显著更小，在 MNIST 与 CIFAR-10 上大幅优于当前最优方法，并证明了即便对于足够复杂的图像数据，使用“白盒”算法进行增量学习的合理性。
引用
@article{arxiv.2011.14593,
title = {Incremental Learning via Rate Reduction},
author = {Ziyang Wu and Christina Baek and Chong You and Yi Ma},
journal= {arXiv preprint arXiv:2011.14593},
year = {2020}
}