常见核函数的旋转不变性如何阻碍高维泛化
统计理论
2021-04-12 v1 机器学习
机器学习
统计理论
摘要
核岭回归在低维情形下达到极小极大最优率已是众所周知。然而，其在高维下的行为远未被充分理解。近期工作在关于真值函数与输入数据分布的某些假设下建立了核回归的一致性。本文表明，被广泛研究的核函数（如 RBF、内积核以及任意深度的全连接 NTK）的旋转不变性在高维下会诱导出对低次多项式的偏置。我们的结果给出了在广泛分布范围以及针对不同特征值衰减的核函数各种缩放选择下的泛化误差下界。该下界表明，高维下核岭回归的一般一致性结果需要超越特征值衰减、依赖于核函数结构的更精细分析。
引用
@article{arxiv.2104.04244,
title = {How rotational invariance of common kernels prevents generalization in high dimensions},
author = {Konstantin Donhauser and Mingqi Wu and Fanny Yang},
journal= {arXiv preprint arXiv:2104.04244},
year = {2021}
}