线性 CNN 仅利用最显著频率发现数据集的统计结构
计算机视觉与模式识别
2023-07-26 v2 人工智能
机器学习
神经与进化计算
摘要
我们在此提出通向更深入理解卷积神经网络（CNN）的垫脚石，即一种线性 CNN 中学习理论的形式。通过分析梯度下降方程，我们发现网络在训练过程中的演化由数据集结构与卷积网络结构之间的相互作用决定。我们表明线性 CNN 以非线性、有序、阶段式的转变发现数据集的统计结构，且发现速度随数据集与卷积网络结构之间关系的不同而变化。此外，我们发现这种相互作用处于我们称之为“主导频率偏置”的核心，即线性 CNN 仅利用数据集中不同结构部分的最显著频率便达成这些发现。我们进一步提供实验以展示我们的理论如何与实践中使用的深度非线性 CNN 相关联。我们的发现为 CNN 的内部运作提供了新的见解，并有助于解释其捷径学习以及依赖纹理而非形状的趋势。
引用
@article{arxiv.2303.02034,
title = {Linear CNNs Discover the Statistical Structure of the Dataset Using Only the Most Dominant Frequencies},
author = {Hannah Pinson and Joeri Lenaerts and Vincent Ginis},
journal= {arXiv preprint arXiv:2303.02034},
year = {2023}
}