正交初始化的深度网络神经正切核研究
机器学习
2021-07-22 v4 机器学习
摘要
主流观点认为正交权重对于强制动力学等距并加速训练至关重要。正交初始化在线性网络中提升学习速度已被充分证明。然而，尽管人们相信当满足动力学等距条件时同样适用于非线性网络，但这一观点背后的训练动态尚未被深入探索。本工作中，我们通过神经正切核（NTK）研究了包括全连接网络（FCNs）和卷积神经网络（CNNs）在内的多种架构在正交初始化下的超宽网络动态。通过一系列命题与引理，我们证明了对应于高斯权重与正交权重的两个 NTK 在网络宽度无穷时相等。进一步，训练期间正交初始化的无限宽网络的 NTK 理论上应保持恒定。这表明在 NTK（懒惰训练）机制下正交初始化不能加速训练，与主流想法相反。为探索正交性在何种情况下能加速训练，我们在 NTK 机制外进行了详实的实证调查。我们发现当超参数设为在非线性激活中实现线性机制时，正交初始化可通过大学习率或大模型深度提升学习速度。
引用
@article{arxiv.2004.05867,
title = {On the Neural Tangent Kernel of Deep Networks with Orthogonal Initialization},
author = {Wei Huang and Weitao Du and Richard Yi Da Xu},
journal= {arXiv preprint arXiv:2004.05867},
year = {2021}
}
备注
revised theorems and completed proofs