标准有限宽度卷积神经网络架构的经验神经正切核研究
机器学习
2020-06-25 v1 计算机视觉与模式识别
机器学习
摘要
神经正切核（NTK）是为深度学习建立理论这一持续努力中的重要里程碑。其关于足够宽的神经网络表现为核方法、或等价地表现为随机特征模型的预测，已在某些宽架构上得到实证确认。一个开放性问题是如何很好地用 NTK 理论建模实践中常见宽度、在 ImageNet 等复杂数据集上训练的标准神经网络架构。我们针对两种著名卷积神经网络架构即 AlexNet 和 LeNet 实证研究了该问题，发现它们的行为与其有限宽度 NTK 对应物显著偏离。对于这些网络的更宽版本（其中通道数和全连接层宽度增加），该偏离减小。
引用
@article{arxiv.2006.13645,
title = {On the Empirical Neural Tangent Kernel of Standard Finite-Width Convolutional Neural Network Architectures},
author = {Maxim Samarin and Volker Roth and David Belius},
journal= {arXiv preprint arXiv:2006.13645},
year = {2020}
}
备注
10 pages