谱批归一化：频域中的归一化
计算机视觉与模式识别
2023-06-30 v1 机器学习
摘要
正则化是一组用于提升深度神经网络泛化能力的技术。本文中，我们引入谱批归一化(SBN)，一种通过在频率（谱）域中归一化特征图来改进泛化的新颖有效方法。无批归一化(BN)的残差网络激活在初始化时倾向于随网络深度指数级爆炸。这导致即使参数相对较小，特征图范数也极大。这些爆炸动力学对学习非常有害。BN使缩放因子上的权重衰减正则化近似等价于对特征图范数的加性惩罚，在一定程度上防止了极大的特征图范数。然而，我们通过实验表明，尽管BN有近似加性惩罚，深度神经网络(DNNs)中的特征图倾向于在网络起始处爆炸，且DNNs的特征图在整个训练期间包含大值。该现象在非残差网络中也以减弱形式出现。SBN通过在频域归一化特征图来解决大特征图问题。在我们的实验中，我们经验性地表明SBN防止了初始化时特征图爆炸及训练期间的大特征图值。此外，频域中的特征图归一化导致更均匀分布的频域分量。这阻止DNNs依赖特征图的单一频域分量。这些连同SBN的其他效应，对残差和非残差网络的训练具有正则化作用。我们通过实验表明，在标准正则化方法之外使用SBN以可观幅度提升了DNNs性能，例如ResNet50在ImageNet上提升0.71%。
引用
@article{arxiv.2306.16999,
title = {Spectral Batch Normalization: Normalization in the Frequency Domain},
author = {Rinor Cakaj and Jens Mehnert and Bin Yang},
journal= {arXiv preprint arXiv:2306.16999},
year = {2023}
}
备注
Accepted by The International Joint Conference on Neural Network (IJCNN) 2023