FrequencyLowCut 池化——即插即用抵御灾难性过拟合
计算机视觉与模式识别
2022-09-21 v2 图像与视频处理
摘要
过去几年，卷积神经网络（CNNs）在广泛的计算机视觉任务中占据主导神经架构地位。从图像与信号处理角度看，这一成功或许有些令人惊讶，因为大多数 CNN 固有的空间金字塔设计在其下采样操作中明显违背了基本信号处理定律，即采样定理。然而，由于欠采样似乎不影响模型精度，该问题在被广泛关注模型鲁棒性之前一直被广泛忽视。近期在对抗攻击与分布偏移背景下的工作 [17] 最终表明，CNN 的脆弱性与由不良下采样操作引起的混叠伪影之间存在强相关性。本文基于这些发现，引入了一种无混叠的下采样操作，可轻松插入任意 CNN 架构：FrequencyLowCut 池化。我们的实验表明，结合简单快速的 FGSM 对抗训练，这种无超参数的算子显著提升了模型鲁棒性并避免了灾难性过拟合。
引用
@article{arxiv.2204.00491,
title = {FrequencyLowCut Pooling -- Plug & Play against Catastrophic Overfitting},
author = {Julia Grabinski and Steffen Jung and Janis Keuper and Margret Keuper},
journal= {arXiv preprint arXiv:2204.00491},
year = {2022}
}
备注
accepted at ECCV 2022