基于最优相关性映射理解持续学习中的灾难性遗忘与记忆
机器学习
2021-02-24 v1 计算机视觉与模式识别
摘要
神经网络中的灾难性遗忘是持续学习中的一个重大问题。当前多数方法在训练期间重放先前数据，这违反了理想持续学习系统的约束。此外，当前处理遗忘的方法忽略了灾难性记忆问题，即区分来自不同任务数据的能力恶化。在我们的工作中，我们受最优重叠假设启发，引入了相关性映射网络（RMNs）。这些映射通过为关键参数分配大权重，反映权重对当前任务的相关性。我们表明RMNs学习到优化的表征重叠，克服了灾难性遗忘和记忆的双重问题。我们的方法在所有常见持续学习数据集上达到了最先进的性能，甚至显著优于数据重放方法，同时不违反理想持续学习系统的约束。此外，RMNs保留了以无监督方式检测来自新任务数据的能力，从而证明了它们对灾难性记忆的抵抗力。
引用
@article{arxiv.2102.11343,
title = {Understanding Catastrophic Forgetting and Remembering in Continual Learning with Optimal Relevance Mapping},
author = {Prakhar Kaushik and Alex Gain and Adam Kortylewski and Alan Yuille},
journal= {arXiv preprint arXiv:2102.11343},
year = {2021}
}