深度窄神经网络的神经正切核分析
机器学习
2022-06-29 v2 最优化与控制
机器学习
摘要
近期在分析过参数化神经网络训练动态方面取得的巨大进展主要集中于宽网络，因此未能充分探讨深度在深度学习中的作用。在这项工作中，我们首次给出了无限深但窄神经网络的训练性保证。我们研究了具有特定初始化的多层感知机（MLP）的无限深度极限，并利用 NTK 理论建立了训练性保证。随后我们将分析扩展到无限深卷积神经网络（CNN）并进行了简要实验。
引用
@article{arxiv.2202.02981,
title = {Neural Tangent Kernel Analysis of Deep Narrow Neural Networks},
author = {Jongmin Lee and Joo Young Choi and Ernest K. Ryu and Albert No},
journal= {arXiv preprint arXiv:2202.02981},
year = {2022}
}