深度卷积神经网络如何在训练中丢失空间信息
机器学习
2022-11-24 v2 计算机视觉与模式识别
摘要
机器学习的一个核心问题是如何让深度网络在高维中学习任务。一个吸引人的假设是，它们通过构建数据的一种表示来实现此壮举，其中与任务无关的信息被丢失。对于图像数据集，该观点得到如下观察的支持：在训练后（而非训练前），随着信号在网络中传播，神经表示对作用于图像上的微分同胚变得越来越不敏感。这种敏感性的丢失与性能相关，且令人惊讶地与训练中获得的对白噪声敏感性的增强相关。这些事实尚未得到解释，且正如我们所展示的，当向训练集图像加入白噪声时仍成立。此处，我们（i）对各种架构实证表明，对图像微分同胚的稳定性由空间与通道池化共同实现，（ii）引入一个尺度检测任务模型，复现了我们在空间池化上的实证观察，以及（iii）解析计算因空间池化导致的对微分同胚与噪声的敏感性随深度如何缩放。发现缩放依赖于网络架构中步幅的存在。我们发现对噪声敏感性的增强源于被扰动的噪声在经 ReLU 单元修正后于池化过程中累积。
引用
@article{arxiv.2210.01506,
title = {How deep convolutional neural networks lose spatial information with training},
author = {Umberto M. Tomasini and Leonardo Petrini and Francesco Cagnetta and Matthieu Wyart},
journal= {arXiv preprint arXiv:2210.01506},
year = {2022}
}