通过傅里叶掩码理解人工神经网络的鲁棒性与泛化
计算机视觉与模式识别
2022-03-18 v1 机器学习
图像与视频处理
摘要
尽管人工神经网络（ANNs）在许多学科中取得了巨大成功，对其计算特征的刻画以及泛化与鲁棒性等关键特性的起源仍是开放问题。近期文献表明，具有良好泛化特性的鲁棒网络往往偏向于处理图像中的低频信息。为进一步探索频率偏置假说，我们开发了一种算法，可学习调制掩码以突出保持已训练网络性能所需的关键输入频率。我们通过在这些输入频率的调制上施加损失不变性来实现这一点。我们首先用该方法检验对抗训练或数据增强网络的低频偏好假说。我们的结果表明，对抗鲁棒网络确实表现出低频偏置，但我们发现该偏置也依赖于频率空间中的方向。然而，对于其他类型的数据增强这未必成立。我们的结果还表明，这些关键频率实际上就是最初用于实现泛化的那些频率。令人惊讶的是，通过这些调制掩码观测到的图像无法被识别，且类似于纹理状图案。
引用
@article{arxiv.2203.08822,
title = {Understanding robustness and generalization of artificial neural networks through Fourier masks},
author = {Nikos Karantzas and Emma Besier and Josue Ortega Caro and Xaq Pitkow and Andreas S. Tolias and Ankit B. Patel and Fabio Anselmi},
journal= {arXiv preprint arXiv:2203.08822},
year = {2022}
}