理解卷积神经网络的初始凝聚现象
机器学习
2023-05-18 v1 神经与进化计算
摘要
先前研究表明,小初始化且基于梯度训练方法的全连接网络在训练中会表现出称为凝聚的现象。该现象指隐藏神经元的输入权重在训练期间凝聚为孤立方向,揭示了参数空间中对简单解的隐式偏置。然而,神经网络结构对凝聚的影响尚未被研究。在本研究中,我们聚焦于卷积神经网络(CNN)的考察。我们的实验表明,当经受小初始化与基于梯度的训练方法时,同一CNN层内的核权重在训练期间也聚拢在一起,展现出显著的凝聚程度。理论上,我们证明在有限训练期内,小初始化的两层CNN的核将收敛至一个或少数几个方向。该工作朝更好理解具有特定结构的神经网络所展现的非线性训练行为迈出了一步。
引用
@article{arxiv.2305.09947,
title = {Understanding the Initial Condensation of Convolutional Neural Networks},
author = {Zhangchen Zhou and Hanxu Zhou and Yuqing Li and Zhi-Qin John Xu},
journal= {arXiv preprint arXiv:2305.09947},
year = {2023}
}