通过增量矩匹配克服灾难性遗忘
机器学习
2018-01-31 v3 人工智能
摘要
灾难性遗忘是神经网络的一个问题，即网络在训练第二个任务后会丢失第一个任务的信息。在此，我们提出了一种方法，即增量矩匹配(IMM)，来解决这个问题。IMM增量式地匹配分别在第一个和第二个任务上训练的神经网络后验分布的矩。为了使后验参数的搜索空间平滑，IMM过程辅以多种迁移学习技术，包括权重迁移、新旧参数的L2范数，以及一种使用旧参数的dropout变体。我们在多种数据集上分析了我们的方法，包括MNIST、CIFAR-10、Caltech-UCSD-Birds和Lifelog数据集。实验结果表明，IMM通过平衡新旧网络之间的信息，实现了最先进的性能。
引用
@article{arxiv.1703.08475,
title = {Overcoming Catastrophic Forgetting by Incremental Moment Matching},
author = {Sang-Woo Lee and Jin-Hwa Kim and Jaehyun Jun and Jung-Woo Ha and Byoung-Tak Zhang},
journal= {arXiv preprint arXiv:1703.08475},
year = {2018}
}
备注
Accepted for NIPS 2017