用于理解神经网络弹射动力学的二次模型
机器学习
2024-05-03 v3 最优化与控制
机器学习
摘要
尽管神经网络在其宽度增加时可由线性模型近似，但宽神经网络的某些性质无法被线性模型捕捉。在本工作中，我们表明近期提出的神经二次模型可展现出以大模型学习率训练时出现的“弹射相位”[Lewkowycz et al. 2020]。我们随后通过实证表明，神经二次模型的行为在泛化上尤其是弹射相位区间内与神经网络相平行。我们的分析进一步证明二次模型可作为分析神经网络的有效工具。
引用
@article{arxiv.2205.11787,
title = {Quadratic models for understanding catapult dynamics of neural networks},
author = {Libin Zhu and Chaoyue Liu and Adityanarayanan Radhakrishnan and Mikhail Belkin},
journal= {arXiv preprint arXiv:2205.11787},
year = {2024}
}
备注
accepted in ICLR 2024; changed the title