旋转你的网络：更好的权重巩固与更少的灾难性遗忘
计算机视觉与模式识别
2018-12-13 v4
摘要
在本文中，我们提出一种在顺序任务学习场景中避免灾难性遗忘的方法。我们的技术基于一种网络重参数化，其近似对角化网络参数的费雪信息矩阵。该重参数化采取参数空间因子化旋转的形式，当其与弹性权重巩固（假设对角费雪信息矩阵）结合使用时，在顺序任务的终身学习上显著提升了性能。在 MNIST、CIFAR-100、CUB-200 和 Stanford-40 数据集上的实验结果表明，我们显著改进了标准弹性权重巩固的结果，并且与终身学习中其他最先进的无遗忘方法相比获得了有竞争力的结果。
引用
@article{arxiv.1802.02950,
title = {Rotate your Networks: Better Weight Consolidation and Less Catastrophic Forgetting},
author = {Xialei Liu and Marc Masana and Luis Herranz and Joost Van de Weijer and Antonio M. Lopez and Andrew D. Bagdanov},
journal= {arXiv preprint arXiv:1802.02950},
year = {2018}
}
备注
Accepted at ICPR'18. First two authors contributed equally