深度卷积网络为何对微小图像变换的泛化如此糟糕？
计算机视觉与模式识别
2020-01-24 v4
摘要
卷积神经网络（CNNs）通常被假定对微小图像变换具有不变性：或因卷积架构所致，或因使用数据增强训练所致。近来，若干作者已表明事实并非如此：输入的微小平移或缩放可彻底改变网络的预测。本文中，我们量化这一现象并探问为何卷积架构与数据增强均不足以实现所需的不变性。具体而言，我们表明卷积架构并未给出不变性，因为其忽略了经典采样定理；而数据增强未给出不变性，因为 CNNs 仅对与训练集中典型图像非常相似的图像学习到对变换的不变性。我们讨论该问题的两种可能解决方案：（1）对中间表示进行抗混叠；（2）增加数据增强，并表明它们至多只能提供部分解决。综上，我们的结果表明，在保持高精度的同时确保神经网络对微小图像变换的不变性这一问题仍未解决。
引用
@article{arxiv.1805.12177,
title = {Why do deep convolutional networks generalize so poorly to small image transformations?},
author = {Aharon Azulay and Yair Weiss},
journal= {arXiv preprint arXiv:1805.12177},
year = {2020}
}