作为带耗散牛顿动力系统的梯度下降-上升收敛性分析
最优化与控制
2019-03-07 v1 计算机科学与博弈论
机器学习
神经与进化计算
摘要
一个动力系统由收益函数的梯度定义。动力学变量分为两类：上升变量与下降变量。上升变量沿梯度方向运动，而下降变量沿相反方向运动。此类或极为相似的动力系统已在博弈论、优化、神经网络与种群生物学等多个领域中被研究。梯度下降-上升被近似为一个牛顿动力系统，其守恒总能量定义为动能与正比于收益函数的势能之和。该近似的误差是一种违背能量守恒的残余力。若残余力为纯耗散的，则能量可作为李雅普诺夫函数，且有界轨迹到稳态的收敛得以保证。Kose 与 Uzawa 先前的一个收敛定理要求收益函数在下降变量上凸、在上升变量上凹。此处假设被放宽，使得收益函数只需在上升变量上比在下降变量上“较不凸”或“较凹”。这种相对凸性条件允许多个稳态的存在，不同于凸-凹假设。当与蕴含极小极大平衡存在的充分条件结合时，轨迹的有界性也得到保证。
引用
@article{arxiv.1903.02536,
title = {Convergence of gradient descent-ascent analyzed as a Newtonian dynamical system with dissipation},
author = {H. Sebastian Seung},
journal= {arXiv preprint arXiv:1903.02536},
year = {2019}
}