$\mathcal{R}$-范数归纳偏置的内蕴维数与泛化性质
机器学习
2023-06-27 v2
摘要
我们研究由特定目标函数标注的数据集的 -范数最小化插值函数的结构与统计性质。-范数是两层神经网络的归纳偏置之基础，近来被引入以刻画控制网络权重大小对函数的影响，且与网络宽度无关。我们发现这些插值函数是内蕴多元函数，即便存在拟合数据的岭函数时亦如此，并且 -范数归纳偏置不足以在某些学习问题中实现统计最优泛化。总体而言，这些结果揭示了与实用神经网络训练相关的归纳偏置的新图景。
引用
@article{arxiv.2206.05317,
title = {Intrinsic dimensionality and generalization properties of the $\mathcal{R}$-norm inductive bias},
author = {Navid Ardeshir and Daniel Hsu and Clayton Sanford},
journal= {arXiv preprint arXiv:2206.05317},
year = {2023}
}
备注
34 pages