神经网络训练中的近似正交归一化
机器学习
2020-01-15 v2 机器学习
摘要
深度神经网络 (DNN) 的泛化能力是采用深度学习方法解决实际问题时的一个主要关注点。本文提出一种称为近似正交归一化 (AON) 的新技术，以提升 DNN 模型的泛化能力。考虑模型中某一神经层的权重矩阵 W，我们的目标是设计函数 h(W)，使其行向量彼此近似正交，同时允许 DNN 模型足够精确地拟合训练数据。如此可避免同层神经元间的共适应，从而提升网络泛化能力。具体而言，在每次迭代中，我们首先使用泰勒展开近似 (WW^T)^(-1/2)，再与矩阵 W 相乘。此后，通过应用谱归一化 (SN) 技术对矩阵乘积进行归一化以得到 h(W)。从概念上讲，AON 旨在将正交正则化转化为正交归一化，以避免手动平衡原函数与惩罚函数。实验结果表明，与正交正则化相比，AON 取得了良好的验证性能。
引用
@article{arxiv.1911.09445,
title = {Approximated Orthonormal Normalisation in Training Neural Networks},
author = {Guoqiang Zhang and Kenta Niwa and W. B. Kleijn},
journal= {arXiv preprint arXiv:1911.09445},
year = {2020}
}