归一化卷积神经网络
计算机视觉与模式识别
2025-04-03 v4
摘要
我们提出了一种归一化卷积神经层，这是一种在卷积网络中进行归一化的新方法。与传统方法不同，该层在卷积过程中对 im2col 矩阵的各行进行归一化，使其天然适应切片输入并更好地与核结构对齐。这一独特方法使其区别于标准归一化技术，并阻碍了直接集成到为传统卷积操作优化的现有深度学习框架中。我们的方法具有普适性，可应用于任何涉及卷积层的深度学习任务。通过在卷积过程中内在地归一化，它作为自归一化网络（Self-Normalizing Networks）的卷积适配版本，在无需额外归一化层的情况下保持其核心原理。值得注意的是，在微批量训练场景下，它始终优于其他与批量无关的归一化方法。这一性能提升源于对 im2col 矩阵各行的标准化，理论上可带来更平滑的损失梯度和更好的训练稳定性。
引用
@article{arxiv.2005.05274,
title = {Normalized Convolutional Neural Network},
author = {Dongsuk Kim and Geonhee Lee and Myungjae Lee and Shin Uk Kang and Dongmin Kim},
journal= {arXiv preprint arXiv:2005.05274},
year = {2025}
}