中文

NTK 近似成立条件的紧界

机器学习 2023-11-07 v3

摘要

我们研究在使用平方损失训练模型时神经正切核(NTK)近似何时成立。在 Chizat 等人 2019 的惰性训练设定下,我们证明将模型按因子 α=O(T)\alpha = O(T) 重新缩放足以使 NTK 近似在训练时间 TT 之前成立。我们的界是紧的,并改进了 Chizat 等人 2019 先前要求更大重新缩放因子 α=O(T2)\alpha = O(T^2) 的界。

关键词

引用

@article{arxiv.2305.13141,
  title  = {Tight conditions for when the NTK approximation is valid},
  author = {Enric Boix-Adsera and Etai Littwin},
  journal= {arXiv preprint arXiv:2305.13141},
  year   = {2023}
}

备注

Accepted to TMLR. Added proof flowchart