CNN 所学功能架构中李对称性的涌现
神经元与认知
2021-04-20 v1 神经与进化计算
摘要
本文研究了卷积神经网络（CNN）在自然图像学习过程中早期层对称性的自发形成。我们的架构构建方式模仿生物视觉系统的早期阶段。具体而言，它包含一个预处理步骤 ，其定义类比于外侧膝状体（LGN）。此外，第一卷积层配备了以学习到的连接核驱动的传播所定义的侧向连接，类比于初级视觉皮层（V1）的水平连接。层 展现出由高斯拉普拉斯（LoG）良好近似的旋转对称模式，而 LoG 是 LGN 细胞感受野轮廓的著名模型。第一层中的卷积滤波器可由 Gabor 函数近似，这与 V1 中简单细胞轮廓的成熟模型一致。我们研究了该层学习到的侧向连接核，展示了相对于所学滤波器的方向选择性的涌现。我们还考察了学习到的核所诱导的关联场，并与已知的基于 V1 水平连接的群模型进行了定性和定量比较。这些几何性质在 CNN 架构训练期间自发产生，类似于视觉系统中因外部刺激驱动的大脑可塑性而涌现对称性。
引用
@article{arxiv.2104.08537,
title = {Emergence of Lie symmetries in functional architectures learned by CNNs},
author = {Federico Bertoni and Noemi Montobbio and Alessandro Sarti and Giovanna Citti},
journal= {arXiv preprint arXiv:2104.08537},
year = {2021}
}