混叠对深度卷积网络泛化能力的影响
计算机视觉与模式识别
2021-08-21 v1 机器学习
摘要
我们研究混叠对深度卷积网络泛化能力的影响，并指出由于广泛使用的架构存在结构性局限，仅靠数据增强方案无法防止混叠。借鉴频率分析理论的见解，我们仔细审视 ResNet 与 EfficientNet 架构，并审视其各主要组件中混叠与信息损失之间的权衡。我们展示了如何通过在关键位置（尤其是网络缺乏学习能力之处）插入不可训练的低通滤波器来缓解混叠。这些简单的架构改动在独立同分布条件下显著提升了泛化能力，在分布外条件下提升更甚，例如 ImageNet-C [11] 中自然损坏下的图像分类以及 Meta-Dataset [26] 上的少样本学习。在这两个数据集上均取得了最先进（state-of-the-art）结果，且未引入额外可训练参数，并使用了开源代码库的默认超参数。
引用
@article{arxiv.2108.03489,
title = {Impact of Aliasing on Generalization in Deep Convolutional Networks},
author = {Cristina Vasconcelos and Hugo Larochelle and Vincent Dumoulin and Rob Romijnders and Nicolas Le Roux and Ross Goroshin},
journal= {arXiv preprint arXiv:2108.03489},
year = {2021}
}
备注
Accepted to ICCV 2021. arXiv admin note: text overlap with arXiv:2011.10675