NTK 近似成立条件的紧界
机器学习
2023-11-07 v3
摘要
我们研究在使用平方损失训练模型时神经正切核(NTK)近似何时成立。在 Chizat 等人 2019 的惰性训练设定下,我们证明将模型按因子 重新缩放足以使 NTK 近似在训练时间 之前成立。我们的界是紧的,并改进了 Chizat 等人 2019 先前要求更大重新缩放因子 的界。
引用
@article{arxiv.2305.13141,
title = {Tight conditions for when the NTK approximation is valid},
author = {Enric Boix-Adsera and Etai Littwin},
journal= {arXiv preprint arXiv:2305.13141},
year = {2023}
}
备注
Accepted to TMLR. Added proof flowchart