任意球面数据任意维度上神经网络切向核最小特征值的界
机器学习
2024-05-24 v1 机器学习
摘要
神经网络切向核(NTK)最小特征值的界是神经网络优化和记忆分析的关键要素。然而,现有结果需要对数据进行分布性假设,并且仅限于高维情景,即输入维度至少以样本数的对数形式扩展。在本工作中,我们消除了这两个要求,改为以数据共线性的度量为界限:这些界限在相对于保持恒定时仍以高概率成立。我们通过一种新颖的半球变换应用来证明了这些结果。
引用
@article{arxiv.2405.14630,
title = {Bounds for the smallest eigenvalue of the NTK for arbitrary spherical data of arbitrary dimension},
author = {Kedar Karhadkar and Michael Murray and Guido Montúfar},
journal= {arXiv preprint arXiv:2405.14630},
year = {2024}
}
备注
47 pages