计算机视觉模型的傅里叶敏感性与正则化

近期工作经实证表明，深度神经网络会锁定训练数据的傅里叶统计特性，并对输入中傅里叶基方向表现出更高的敏感性。理解并修改计算机视觉模型的此种傅里叶敏感性或有助于提升其鲁棒性。因此，本文采用一种原则性方法研究深度神经网络的频率敏感性特征。我们首先提出一种基变换技巧，证明函数输入梯度的酉变换可用于计算其在变换所诱导基下的梯度。利用该结果，我们通过输入梯度的酉傅里叶变换提出一种对任意可微模型傅里叶敏感性的通用度量。应用于深度神经网络时，我们发现计算机视觉模型始终对依赖于数据集、训练方法与架构的特定频率敏感。基于该度量，我们进一步提出一种傅里叶正则化框架，以修改模型的傅里叶敏感性与频率偏置。使用我们所提正则化族，我们证明深度神经网络在鲁棒性评估上获得了分类准确率的提升。