神经网络初始化中特征多样性是否必要？
机器学习
2020-07-06 v3 机器学习
摘要
训练神经网络的标准做法是以独立方式初始化权重。近期工作的结果表明，初始化时的特征“多样性”在训练网络中起着重要作用。然而，其他具有降低特征多样性的初始化方案也被证明是可行的。在这项工作中，我们进行了一系列实验，旨在阐明初始化时特征多样性的重要性。我们表明，完全缺乏多样性对训练有害，但其影响可通过相对少量的噪声添加来抵消——即便是标准非确定性 GPU 计算中的噪声也足够。此外，我们构建了一个在初始化时具有完全相同特征且几乎所有权重初始化为 0 的深度卷积网络，该网络可被训练至达到与其标准初始化对应网络相当的准确率。
引用
@article{arxiv.1912.05137,
title = {Is Feature Diversity Necessary in Neural Network Initialization?},
author = {Yaniv Blumenfeld and Dar Gilboa and Daniel Soudry},
journal= {arXiv preprint arXiv:1912.05137},
year = {2020}
}
备注
This paper has been substantially modified, updated, and expanded with additional content (arXiv:2007.01038). To avoid confusion, we are withdrawing the old version of this article