关于最小范数插值子的多重下降与核的限制性下等距性
统计理论
2020-07-27 v2 机器学习
机器学习
统计理论
摘要
我们研究再生核希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS)中数据的最小范数插值子的风险。对于输入维度与样本量的各种标度, ，我们对风险的上界呈多重下降形状。经验证据支持我们的发现：RKHS中的最小范数插值子可展现这种样本量上不寻常的非单调性；此外，我们实验中峰值的位置与我们的理论预测相符。由于适当初始化的宽神经网络上的梯度流收敛于关于某核的最小范数插值子，我们的分析也为这些过参数化模型提供了新的估计与泛化保证。我们分析的核心是对随机核矩阵限制到总体协方差算子的特征空间 filtration 上的谱性质的研究，这本身可能具有独立意义。
引用
@article{arxiv.1908.10292,
title = {On the Multiple Descent of Minimum-Norm Interpolants and Restricted Lower Isometry of Kernels},
author = {Tengyuan Liang and Alexander Rakhlin and Xiyu Zhai},
journal= {arXiv preprint arXiv:1908.10292},
year = {2020}
}