卷积神经网络中归一化层的平移等变性与混叠
计算机视觉与模式识别
2025-06-19 v2
摘要
设计对连续平移严格等变的卷积神经网络架构是一个活跃的研究领域。它有望惠及科学计算，特别是通过使现有成像系统在物理上更加准确。大多数努力集中在下采样/池化层、上采样层和激活函数的设计上，但很少关注归一化层。在这项工作中，我们提出了一个新颖的理论框架，用于理解归一化层对离散移位和连续平移的等变性。我们还确定了归一化层在其操作维度上具备等变性的充分必要条件。使用来自 ResNet-18 和 ImageNet 的真实特征图，我们对这些理论结果进行了实证测试，发现它们与我们的预测一致。
引用
@article{arxiv.2505.19805,
title = {Translation-Equivariance of Normalization Layers and Aliasing in Convolutional Neural Networks},
author = {Jérémy Scanvic and Quentin Barthélemy and Julián Tachella},
journal= {arXiv preprint arXiv:2505.19805},
year = {2025}
}
备注
Accepted at the Workshop on the Theory of AI for Scientific Computing (COLT 2025)