卷积神经网络中特征学习的机制
机器学习
2023-09-04 v1 计算机视觉与模式识别
机器学习
摘要
理解卷积神经网络如何从图像数据中学习特征，是机器学习与计算机视觉中的一个基本问题。在本工作中，我们揭示了这样一种机制。我们提出卷积神经特征猜想（Convolutional Neural Feature Ansatz），即任意卷积层中滤波器的协方差与该层输入块（patch）所取的平均梯度外积（AGOP）成正比。我们为我们的猜想提供了广泛的经验证据，包括在标准神经架构（如 AlexNet、VGG 以及在 ImageNet 上预训练的 ResNets）的卷积层中，识别出滤波器协方差与基于块的 AGOP 之间的高度相关性。我们也提供了支持性的理论证据。随后，我们通过使用基于块的 AGOP 在卷积核机器中实现深度特征学习，证明了我们结果的普适性。我们将所得算法称为（深度）ConvRFM，并表明我们的算法能恢复与深度卷积网络相似的特征，包括边缘检测器的显著涌现。此外，我们发现 Deep ConvRFM 克服了先前已确认的卷积核的局限性，例如其无法适应图像中的局部信号，从而相较于固定卷积核带来了显著的性能提升。
引用
@article{arxiv.2309.00570,
title = {Mechanism of feature learning in convolutional neural networks},
author = {Daniel Beaglehole and Adityanarayanan Radhakrishnan and Parthe Pandit and Mikhail Belkin},
journal= {arXiv preprint arXiv:2309.00570},
year = {2023}
}