关于神经正切核的归纳偏置
机器学习
2019-11-01 v2 机器学习
摘要
最先进的神经网络存在严重的过参数化，使得优化算法成为学习具有良好泛化性质的预测模型的关键要素。近期一系列工作表明，在某一过参数化 regime 下，梯度下降的学习动态由初始化时获得的特定核——称为神经正切核——所主导。我们通过分析该核及相应的函数空间(RKHS)来研究此种 regime 下学习的归纳偏置。具体而言，我们研究了具有有限范数函数的光滑性、逼近性和稳定性性质，包括卷积网络情况下对图像形变的稳定性，并与其他已知类似架构的核进行比较。
引用
@article{arxiv.1905.12173,
title = {On the Inductive Bias of Neural Tangent Kernels},
author = {Alberto Bietti and Julien Mairal},
journal= {arXiv preprint arXiv:1905.12173},
year = {2019}
}
备注
NeurIPS 2019