深度残差网络神经正切核的谱分析
机器学习
2021-04-08 v1
摘要
深度残差网络架构已被证明比经典前馈网络取得更高精度，但其成功仍未被完全理解。聚焦于通过各自神经正切核（ResNTK）的、极度过参数化且带 ReLU 激活的全连接残差网络，我们在此提供这些核的谱分析。具体而言，我们表明，正如全连接网络的 NTK（FC-NTK）一样，对于均匀分布在超球面 上的输入，ResNTK 的特征函数是球谐函数，且特征值随频率 以 多项式衰减。这进而意味着其再生核希尔伯特空间中的函数集合与 FC-NTK 相同，因此也与 Laplace 核相同。我们进一步通过类比 Laplace 核表明，取决于平衡跳跃连接与残差连接的超参数选择，ResNTK 可随深度变得尖锐（如 FC-NTK），或保持稳定形状。
引用
@article{arxiv.2104.03093,
title = {Spectral Analysis of the Neural Tangent Kernel for Deep Residual Networks},
author = {Yuval Belfer and Amnon Geifman and Meirav Galun and Ronen Basri},
journal= {arXiv preprint arXiv:2104.03093},
year = {2021}
}