深度神经网络训练中的可控正交化
计算机视觉与模式识别
2020-04-03 v1 机器学习
摘要
正交化因能保持雅可比矩阵所有奇异值接近 1 并减少表示中的冗余，被广泛用于训练深度神经网络（DNNs）。本文提出一种计算高效且数值稳定的正交化方法，利用牛顿迭代（ONI）在 DNNs 中学习逐层正交权重矩阵。ONI 通过迭代地将权重矩阵的奇异值拉伸至 1 来工作。该性质使其能通过迭代次数控制权重矩阵的正交性。我们表明，我们的方法通过有效控制正交性以提供优化收益与表示能力缩减之间的最优权衡，提升了图像分类网络的性能。我们还表明，ONI 通过维持网络的 Lipschitz 连续性来稳定生成对抗网络（GANs）的训练，类似于谱归一化（SN），并进一步通过提供可控正交性优于 SN。
引用
@article{arxiv.2004.00917,
title = {Controllable Orthogonalization in Training DNNs},
author = {Lei Huang and Li Liu and Fan Zhu and Diwen Wan and Zehuan Yuan and Bo Li and Ling Shao},
journal= {arXiv preprint arXiv:2004.00917},
year = {2020}
}
备注
Accepted to CVPR 2020. The Code is available at https://github.com/huangleiBuaa/ONI