面向深度学习的人工神经变异性：过拟合、噪声记忆与灾难性遗忘
摘要
深度学习常受到两个在自然神经系统中极少存在的严重问题的批评：过拟合与灾难性遗忘。它甚至可以记忆随机标记的数据，而这些实例-标签对背后几乎没有什么知识。当深度网络随时间持续学习以适应新任务时，通常会迅速覆盖从先前任务中学到的知识。在神经科学中，众所周知人脑反应即使对相同刺激也表现出显著的变异性，这被称为神经变异性（neural variability）。该机制在自然神经系统的运动学习中平衡了准确性与可塑性/灵活性。这促使我们设计一种类似机制，称为人工神经变异性（artificial neural variability, ANV），它帮助人工神经网络从“自然”神经网络中学习一些优势。我们严格证明，ANV 充当训练数据与所学模型之间互信息的隐式正则化器。该结果从理论上保证 ANV 能严格改善泛化性、对标签噪声的鲁棒性以及对灾难性遗忘的鲁棒性。我们随后设计了一个神经变量风险最小化（neural variable risk minimization, NVRM）框架和神经变量优化器，以在实践中为常规网络架构实现 ANV。实证研究表明，NVRM 能以可忽略的代价有效缓解过拟合、标签噪声记忆和灾难性遗忘。\footnote{代码: \url{https://github.com/zeke-xie/artificial-neural-variability-for-deep-learning}。
引用
@article{arxiv.2011.06220,
title = {Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting},
author = {Zeke Xie and Fengxiang He and Shaopeng Fu and Issei Sato and Dacheng Tao and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2011.06220},
year = {2021}
}
备注
Accepted by Neural Computation, MIT Press;20 pages; 13 figures; Key Words: Neural Variability, Neuroscience, Deep Learning, Label Noise, Catastrophic Forgetting