核归一化卷积网络
机器学习
2024-03-06 v4 计算机视觉与模式识别
摘要
现有的卷积神经网络架构经常依赖批归一化（BatchNorm）来有效训练模型。然而，BatchNorm 在小批量尺寸下表现不佳，且不适用于差分隐私。为解决这些局限，我们提出了核归一化（KernelNorm）与核归一化卷积层，并将其作为核心构建模块纳入核归一化卷积网络（KNConvNets）。我们实现了对应于最先进 ResNets 的 KNConvNets，同时去除了 BatchNorm 层。通过大量实验，我们表明 KNConvNets 在图像分类与语义分割中取得了比 BatchNorm 对应模型更高或相当的性能。它们还在非隐私与差分隐私训练中显著优于其批无关竞争对手，包括基于层归一化与组归一化的方法。鉴于此，KernelNorm 将层归一化与组归一化的批无关特性与 BatchNorm 的性能优势结合在一起。
引用
@article{arxiv.2205.10089,
title = {Kernel Normalized Convolutional Networks},
author = {Reza Nasirigerdeh and Reihaneh Torkzadehmahani and Daniel Rueckert and Georgios Kaissis},
journal= {arXiv preprint arXiv:2205.10089},
year = {2024}
}