归一化等变神经网络及其在图像去噪中的应用
计算机视觉与模式识别
2024-02-22 v2
摘要
在许多信息处理系统中，可能希望确保输入的任意改变（无论是平移还是缩放）均导致系统响应发生相应改变。尽管深度神经网络正逐步取代所有传统自动处理方法，但令人惊讶的是，其并不保证此类归一化等变（缩放+平移）性质，而这可能在许多应用中带来损害。为解决此问题，我们提出一种使现有神经网络按设计满足归一化等变的方法论。我们的核心主张是：不仅普通卷积层，而且所有逐元素作用于预激活神经元的激活函数（包括 ReLU（修正线性单元））都应从神经网络中完全移除，并由条件更良的替代方案取代。为此，我们引入仿射约束卷积与通道级排序池化层作为替代，并表明这两处架构修改在保持性能不损失的同时确实保留了归一化等变。图像去噪的实验结果表明，归一化等变神经网络除具备更优条件性外，还提供了跨噪声水平的更佳泛化能力。
引用
@article{arxiv.2306.05037,
title = {Normalization-Equivariant Neural Networks with Application to Image Denoising},
author = {Sébastien Herbreteau and Emmanuel Moebel and Charles Kervrann},
journal= {arXiv preprint arXiv:2306.05037},
year = {2024}
}