卷积网络为何学习有向带通滤波器：理论与实证支持

人们反复观察到，应用于图像理解任务的卷积架构会学习有向带通滤波器。对此结果的一种标准解释是，这些滤波器反映了它们在训练期间所接触图像的结构：自然图像通常在局部由各种尺度的有向轮廓组成，而有向带通滤波器正与这种结构相匹配。我们提供了另一种解释，其依据不是图像的结构，而是卷积架构的结构。具体而言，复指数是卷积的特征函数。这些特征函数是全局定义的；然而，卷积架构在局部上操作。为了强制局部性，可以对特征函数施加窗函数，这导致有向带通滤波器成为用卷积架构学习的自然算子。从表示的观点看，这些滤波器提供了一种局部系统化的方式来刻画和操作图像或其他信号。我们为卷积网络在其所有卷积层学习此类滤波器的假设提供实证支持。虽然先前的研究已显示早期层滤波器具有有向带通特性的证据，但我们的研究似乎是首个记录此类滤波器特性在所有层均占主导的工作。先前的研究遗漏了这一观察，因为它们集中于跨层滤波的累积组合效应，而我们考察每一层存在的滤波器特性。