SupportNet：利用支持数据解决类增量学习中的灾难性遗忘
神经与进化计算
2018-12-31 v3 人工智能
机器学习
机器学习
摘要
一个普通的训练良好的深度学习模型通常不具备在不遗忘先前所学知识的情况下学习新知识的能力，这被称为灾难性遗忘。在此我们提出一种新方法 SupportNet，以高效且有效地解决类增量学习场景中的灾难性遗忘问题。SupportNet 结合了深度学习和支持向量机（SVM）的优势，其中 SVM 用于从旧数据中识别支持数据，这些数据与新数据一起被输入深度学习模型进行进一步训练，从而使模型在学习新信息时能够回顾旧数据的关键信息。两个强大的巩固正则化器被应用于稳定已学习的表示并确保所学模型的鲁棒性。我们在各种任务上通过综合实验验证了我们的方法，结果表明 SupportNet 大幅优于最先进的增量学习方法，甚至达到与在旧数据和新数据上从头训练的深度学习模型相似的性能。我们的程序可在以下地址获取：https://github.com/lykaust15/SupportNet
引用
@article{arxiv.1806.02942,
title = {SupportNet: solving catastrophic forgetting in class incremental learning with support data},
author = {Yu Li and Zhongxiao Li and Lizhong Ding and Yijie Pan and Chao Huang and Yuhui Hu and Wei Chen and Xin Gao},
journal= {arXiv preprint arXiv:1806.02942},
year = {2018}
}