神经正切核的正定性

Luís Carvalho; João L. Costa; José Mourão; Gonçalo Oliveira

神经正切核的正定性

机器学习 2024-04-22 v1 人工智能概率论谱理论

作者: Luís Carvalho , João L. Costa , José Mourão , Gonçalo Oliveira

摘要

神经正切核已成为研究宽神经网络的一个基本概念。特别地，已知 NTK 的正定性与足够宽的网络的记忆能力直接相关，即通过梯度下降在训练中达到零损失的可能性。在此，我们将改进先前的工作，并获得关于任意深度前馈网络 NTK 正定性的精确结果。更确切地说，我们将证明，对于任何非多项式激活函数，NTK 都是严格正定的。我们的结果基于对多项式函数的一种新颖刻画，这具有独立的意义。

关键词

神经正切核宽神经网络严格正定性非多项式激活函数记忆能力梯度下降

引用

@article{arxiv.2404.12928,
  title  = {The Positivity of the Neural Tangent Kernel},
  author = {Luís Carvalho and João L. Costa and José Mourão and Gonçalo Oliveira},
  journal= {arXiv preprint arXiv:2404.12928},
  year   = {2024}
}

备注

Comments welcome

神经正切核的正定性

摘要

关键词

引用

备注

相关论文