深度均衡单指数模型的梯度下降
机器学习
2026-01-13 v2 统计理论
机器学习
统计理论
摘要
深度均衡模型（DEQs）最近作为训练实现多个现代机器学习任务中无限深度权重绑定神经网络的强大范式而涌现。尽管其实际应用取得了成功，但对于DEQs训练中梯度下降动力学的理论理解仍是活跃的研究领域。本文我们在线性模型和单指数模型的简单设置中严格研究了DEQs的梯度下降动力学，填补了文献中若干空白。我们证明了线性DEQs的守恒律，这一性质表明参数在训练期间保持在球面上，并利用这一特性表明梯度流在所有时间均保持良好条件。随后，我们证明了在合适的初始化和足够小的步长下，梯度下降对线性DEQs和深度均衡单指数模型收敛到全局最小值的线性收敛。最后，我们通过实验验证了我们的理论发现。
引用
@article{arxiv.2511.16976,
title = {Gradient descent for deep equilibrium single-index models},
author = {Sanjit Dandapanthula and Aaditya Ramdas},
journal= {arXiv preprint arXiv:2511.16976},
year = {2026}
}