用于克服灾难性遗忘的少样本自我提醒
机器学习
2018-12-04 v1 机器学习
摘要
深度神经网络已知存在灾难性遗忘问题，即在顺序学习新任务时往往会遗忘先前任务中的知识。这种缺陷阻碍了基于深度学习的视觉系统在持续学习场景中的应用。在本工作中，我们提出了一种简单却出奇有效的防止灾难性遗忘的方法。我们的方法称为少样本自我提醒（FSR），通过对保存在情景记忆中来自旧任务的选定样本进行logit匹配，正则化神经网络以使其不改变已学习的行为。出奇的是，这种简化方法仅需重训少量数据，便能在知识保持上优于以往方法。我们在流行基准上的两种不同持续学习设置，以及一个任务设计得更不相似的新持续学习问题上，展示了本方法相对于先前方法的优越性。
引用
@article{arxiv.1812.00543,
title = {Few-Shot Self Reminder to Overcome Catastrophic Forgetting},
author = {Junfeng Wen and Yanshuai Cao and Ruitong Huang},
journal= {arXiv preprint arXiv:1812.00543},
year = {2018}
}