度量卷积神经网络学习表面统计规律性的倾向
机器学习
2017-12-01 v1 机器学习
摘要
深度 CNN 已知表现出如下特性：一方面它们在测试集上泛化极好，另一方面它们对所谓的对抗扰动极其敏感。高性能 CNN 对对抗样本的极端敏感性严重令人怀疑这些网络是在学习数据集中的高层抽象。我们关注如下问题：一个未学习到数据集任何高层语义的深度 CNN 如何能泛化得如此之好？本文的目标是度量 CNN 学习数据集表面统计规律性的倾向。为此，我们使用傅里叶滤波来构造共享完全相同高层抽象但呈现定性不同表面统计规律性的数据集。对于 SVHN 和 CIFAR-10 数据集，我们给出两种傅里叶滤波变体：低频变体和随机滤波变体。每种傅里叶滤波方案都调谐以保留物体的可识别性。我们的主要发现是，CNN 表现出依附于训练数据集傅里叶图像统计的倾向，有时在各测试集间表现出高达 28% 的泛化差距。此外，我们观察到显著增大网络深度对缩小上述泛化差距影响甚微。因此我们提供了支持如下假设的定量证据：深度 CNN 倾向于学习数据集中的表面统计规律性而非更高层次的抽象概念。
引用
@article{arxiv.1711.11561,
title = {Measuring the tendency of CNNs to Learn Surface Statistical Regularities},
author = {Jason Jo and Yoshua Bengio},
journal= {arXiv preprint arXiv:1711.11561},
year = {2017}
}
备注
Submitted