卷积网络中跳跃连接的核视角
机器学习
2023-03-02 v2
摘要
过参数化残差网络(ResNets)是图像处理中最成功的卷积神经架构之一。本文通过其高斯过程核与神经正切核研究其性质。我们推导了这些核的显式公式,分析其谱,并给出其隐含条件数的界。结果表明:(1) 使用 ReLU 激活时,这些残差核的特征值以与无跳跃连接时相同核相似的速率多项式衰减,因而保持相似的频域偏置;(2) 但残差核具有更强的局部偏置。我们的分析进一步表明,在有限深度下,这些残差核所得的矩阵比无跳跃连接所得矩阵具有更有利的条件数,从而能够实现梯度下降训练的更快收敛。
引用
@article{arxiv.2211.14810,
title = {A Kernel Perspective of Skip Connections in Convolutional Networks},
author = {Daniel Barzilai and Amnon Geifman and Meirav Galun and Ronen Basri},
journal= {arXiv preprint arXiv:2211.14810},
year = {2023}
}