关于卷积神经正切与高斯过程核的谱偏置
机器学习
2022-03-18 v1 人工智能
摘要
我们通过各自的 Gaussian process 与 neural tangent kernels 研究各种过参数化卷积神经架构的性质。我们证明，在归一化多通道输入与 ReLU 激活下，这些核关于均匀测度的特征函数由定义在不同像素各通道上的球谐函数的乘积构成。我们随后利用可分层分解核来界定它们各自的特征值。我们展示了特征值呈多项式衰减，量化了衰减速率，并推导了反映这些网络中分层特征组合方式的度量。我们的结果对过参数化卷积网络架构提供了具体的定量刻画。
引用
@article{arxiv.2203.09255,
title = {On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels},
author = {Amnon Geifman and Meirav Galun and David Jacobs and Ronen Basri},
journal= {arXiv preprint arXiv:2203.09255},
year = {2022}
}