线性卷积层的渐近奇异值分布
机器学习
2020-06-15 v1 机器学习
摘要
在卷积神经网络中，具有线性卷积的多通道二维卷积层的线性变换是一个具有双重Toeplitz块的块矩阵。尽管“环绕”操作可将线性卷积转换为循环卷积，从而用具有双重循环块的块矩阵的奇异值以更低的计算复杂度近似其奇异值，但这种近似的精度无法保证。本文提出通过该线性变换矩阵的渐近谱表示——谱密度矩阵——来审视之，并由此发展了一种比循环近似精度更高的简单奇异值近似方法，以及具有更低计算复杂度的谱范数上界。与循环近似相比，我们通过微妙调整奇异值分布获得了适度改进。我们还证明了谱范数上界可作为有效的谱正则化器，用于提升ResNets的泛化性能。
引用
@article{arxiv.2006.07117,
title = {Asymptotic Singular Value Distribution of Linear Convolutional Layers},
author = {Xinping Yi},
journal= {arXiv preprint arXiv:2006.07117},
year = {2020}
}