零初始化:仅用零和一初始化神经网络
机器学习
2022-11-07 v3 计算机视觉与模式识别
摘要
深度神经网络通常以随机权重进行初始化,并选取适当的初始方差以确保训练期间稳定的信号传播。然而,尤其是随着层数增加,选择合适的方差变得具有挑战性。在本工作中,我们用一种完全确定性的初始化方案(即 ZerO)取代随机权重初始化,该方案基于恒等变换和 Hadamard 变换,仅用零和一(至多一个归一化因子)初始化网络权重。通过理论与实证研究,我们证明 ZerO 能够训练网络而不损害其表达能力。将 ZerO 应用于 ResNet 在包括 ImageNet 在内的多个数据集上取得了最先进的性能,这表明随机权重对于网络初始化可能并非必要。此外,ZerO 具有诸多益处,例如训练超深网络(无需批量归一化)、展现出导致低秩稀疏解的低秩学习轨迹,以及提升训练可复现性。
引用
@article{arxiv.2110.12661,
title = {ZerO Initialization: Initializing Neural Networks with only Zeros and Ones},
author = {Jiawei Zhao and Florian Schäfer and Anima Anandkumar},
journal= {arXiv preprint arXiv:2110.12661},
year = {2022}
}