卷积归一化：提升深度卷积网络的鲁棒性与训练
计算机视觉与模式识别
2022-01-05 v2 人工智能
机器学习
图像与视频处理
摘要
归一化技术已成为现代卷积神经网络（ConvNets）的基本组件。特别是，许多近期工作表明，促进权重的正交性有助于训练深度模型并提升鲁棒性。对于 ConvNets，大多数现有方法基于对由拼接或展平卷积核得到的权重矩阵进行惩罚或归一化。这些方法常常破坏或忽略核的良好卷积结构；因此，它们对于深度 ConvNets 往往代价高昂或不实用。相比之下，我们引入一种简单高效的“卷积归一化”（ConvNorm）方法，可充分利用傅里叶域中的卷积结构，并作为简单即插即用模块方便地集成到任何 ConvNets 中。我们的方法受近期卷积稀疏编码预处理方法工作的启发，能有效促进每层通道级等距性。此外，我们表明 ConvNorm 可降低权重矩阵的逐层谱范数，从而改善网络的 Lipschitz 性质，使深度 ConvNets 更易训练且鲁棒性提升。应用于噪声 corruptions 下的分类和生成对抗网络（GAN），我们表明 ConvNorm 改善了 ResNet 等常见 ConvNets 的鲁棒性以及 GAN 的性能。我们在 CIFAR 和 ImageNet 上通过数值实验验证了我们的发现。
引用
@article{arxiv.2103.00673,
title = {Convolutional Normalization: Improving Deep Convolutional Network Robustness and Training},
author = {Sheng Liu and Xiao Li and Yuexiang Zhai and Chong You and Zhihui Zhu and Carlos Fernandez-Granda and Qing Qu},
journal= {arXiv preprint arXiv:2103.00673},
year = {2022}
}
备注
SL and XL contributed equally to this work; 23 pages, 6 figures, 6 tables, published in NeurIPS'21