面向嵌入式自动化的深度神经网络均值谱归一化
机器学习
2019-07-10 v1 机器学习
摘要
深度神经网络（DNN）因近期在架构、优化技术与正则化等方面的标准化进展，已在自动化系统领域兴起。本文以实证方法，为更好地理解谱归一化（SN）及其对更广泛深度学习模型正则化标准化的潜力迈出一步。我们进行了若干实验以研究其训练动态，并与无处不在的批归一化（BN）比较，表明 SN 增加了梯度稀疏性并控制梯度方差。此外，我们表明 SN 受一种我们称之为均值漂移现象的影响，该现象削弱了其性能。随后，我们提出一种称为均值谱归一化（MSN）的权重重参数化方法以解决均值漂移，从而显著提升网络性能。我们的模型在实践中比 BN 快约 16%，且可训练参数更少。我们还展示了我们的 MSN 在小型、中型与大型 CNN（分别为 3 层 CNN、VGG7 与 DenseNet-BC）以及使用生成对抗网络（GAN）的无监督图像生成任务上的性能，以评估其对广泛嵌入式自动化任务的适用性。
引用
@article{arxiv.1907.04003,
title = {Mean Spectral Normalization of Deep Neural Networks for Embedded Automation},
author = {Anand Krishnamoorthy Subramanian and Nak Young Chong},
journal= {arXiv preprint arXiv:1907.04003},
year = {2019}
}
备注
8 pagesm IEEE CASE 2019