从最优控制理论推导坐标下降算法
最优化与控制
2023-09-11 v1 机器学习
摘要
近来，有学者提出不同的优化算法可以从最优控制理论发出的一个中心源头加以统一。在此我们推进这一命题，展示坐标下降算法如何从该新兴原理推导而出。具体而言，我们展示基本坐标下降算法可以使用极大值原理和一组最大值函数作为“控制”Lyapunov 函数推导得到。由此得到的 coordinate descent 算法的收敛性因而与其相应 Lyapunov 函数的受控耗散相关联。在所有情形下，搜索向量的操作度量由凸目标函数的 Hessian 给出。
引用
@article{arxiv.2309.03990,
title = {Derivation of Coordinate Descent Algorithms from Optimal Control Theory},
author = {I. M. Ross},
journal= {arXiv preprint arXiv:2309.03990},
year = {2023}
}