中文

任意球面数据任意维度上神经网络切向核最小特征值的界

机器学习 2024-05-24 v1 机器学习

摘要

神经网络切向核(NTK)最小特征值的界是神经网络优化和记忆分析的关键要素。然而,现有结果需要对数据进行分布性假设,并且仅限于高维情景,即输入维度d0d_0至少以样本数nn的对数形式扩展。在本工作中,我们消除了这两个要求,改为以数据共线性的度量为界限:这些界限在d0d_0相对于nn保持恒定时仍以高概率成立。我们通过一种新颖的半球变换应用来证明了这些结果。

关键词

引用

@article{arxiv.2405.14630,
  title  = {Bounds for the smallest eigenvalue of the NTK for arbitrary spherical data of arbitrary dimension},
  author = {Kedar Karhadkar and Michael Murray and Guido Montúfar},
  journal= {arXiv preprint arXiv:2405.14630},
  year   = {2024}
}

备注

47 pages