关于残差架构的随机核
机器学习
2020-06-18 v4 机器学习
摘要
我们推导了 ResNet 和 DenseNet 的神经正切核(NTK)的有限宽度与深度修正。我们的分析表明,有限规模残差架构在初始化时比其原始对应架构更接近“核机制”:而在不使用跳跃连接的网络中,收敛到 NTK 需要固定深度并增大各层宽度。我们的发现表明,在 ResNet 中,当深度和宽度同时趋于无穷且采用适当初始化时,可能收敛到 NTK。然而在 DenseNet 中,NTK 随宽度趋于无穷而收敛到其极限是有保证的,且收敛速率与深度和权重尺度均无关。我们的实验验证了理论结果,并展示了深度 ResNet 和 DenseNet 在使用随机梯度特征的核回归中的优势。
引用
@article{arxiv.2001.10460,
title = {On Random Kernels of Residual Architectures},
author = {Etai Littwin and Tomer Galanti and Lior Wolf},
journal= {arXiv preprint arXiv:2001.10460},
year = {2020}
}