过参数化深度平衡模型的全局收敛性
机器学习
2023-03-30 v2 机器学习
摘要
深度平衡模型(DEQ)通过带输入注入的无限深度权值绑定模型的平衡点隐式定义。它不直接进行无限次计算，而是用求根法直接求解平衡点，并通过隐式微分计算梯度。本研究考察了过参数化DEQ的训练动力学。在假设初始平衡点满足某条件的情形下，我们证明训练过程中唯一平衡点始终存在，并证明梯度下降对二次损失函数以线性收敛速率收敛到全局最优解。为表明该所需初始条件可通过温和的过参数化满足，我们对随机DEQ进行了细粒度分析。我们提出一种新颖的概率框架，以克服无限深度权值绑定模型非渐近分析中的技术困难。
引用
@article{arxiv.2205.13814,
title = {Global Convergence of Over-parameterized Deep Equilibrium Models},
author = {Zenan Ling and Xingyu Xie and Qiuhao Wang and Zongpeng Zhang and Zhouchen Lin},
journal= {arXiv preprint arXiv:2205.13814},
year = {2023}
}
备注
Accepted by AISTATS 2023