克服神经网络灾难性遗忘的自然方法
机器学习
2021-06-07 v2 机器学习
摘要
不久前，一种成功克服神经网络中灾难性遗忘的方法被发现。尽管我们知道在一些将预训练网络适配特定任务时运用该方法以保留技能的实例，它尚未得到广泛传播。在本文中，我们拟提出一种基于通过网络中每条连接的总绝对信号来克服灾难性遗忘的替代方法。该方法实现简单，且在我们看来本质上接近于动物大脑在后续学习中保留先前所学技能的过程。我们希望该方法的易实现性将促使其广泛应用。
引用
@article{arxiv.2005.07107,
title = {Natural Way to Overcome the Catastrophic Forgetting in Neural Networks},
author = {Alexey Kutalev},
journal= {arXiv preprint arXiv:2005.07107},
year = {2021}
}
备注
9 pages, 3 figures