预印本：范数损失：一种高效而有效的深度神经网络正则化方法
计算机视觉与模式识别
2021-03-12 v1
摘要
卷积神经网络训练可能遭受梯度爆炸或消失、基于缩放的权重空间对称性和协变量偏移等多种问题。为解决这些问题，研究者开发了权重正则化方法与激活归一化方法。本文提出一种基于Oblique流形的权重软正则化方法。该方法使用损失函数将每个权重向量推向范数接近于1，即权重矩阵被平滑地导向所谓的Oblique流形。我们在非常流行的CIFAR-10、CIFAR-100和ImageNet 2012数据集上，使用ResNet与wide-ResNet两种先进架构评估了该方法。该方法引入可忽略的计算开销，结果表明其与最先进水平具有竞争力，且在某些情况下优于最先进水平。此外，结果对批大小和正则化因子等超参数设置较不敏感。
引用
@article{arxiv.2103.06583,
title = {Preprint: Norm Loss: An efficient yet effective regularization method for deep neural networks},
author = {Theodoros Georgiou and Sebastian Schmitt and Thomas Bäck and Wei Chen and Michael Lew},
journal= {arXiv preprint arXiv:2103.06583},
year = {2021}
}