时间反演耗散引出梯度范数最小化与函数值最小化之间的对偶性
最优化与控制
2023-11-02 v3
摘要
在凸优化中，自 Nesterov 1983 年开创性工作以来，高效最小化函数值的一阶优化方法一直是核心研究课题。然而近来，Kim 与 Fessler 的 OGM-G 以及 Lee 等人的 FISTA-G 作为高效最小化梯度大小的另一类方法被提出。本文提出 H-对偶性，它揭示了高效最小化函数值的方法与高效最小化梯度大小的方法之间令人惊讶的一一对应关系。在连续时间表述中，H-对偶性对应于耗散/摩擦项时间依赖性的反演。据我们所知，H-对偶性不同于 Lagrange/Fenchel 对偶性，且区别于任何先前已知的对偶或对称关系。利用 H-对偶性，我们更清晰地理解了 Nesterov 方法与 OGM-G 之间的对称性，导出了一类新的高效减小光滑凸函数梯度大小的方法，并发现了一种比 FISTA-G 更简单且更快的新复合最小化方法。
引用
@article{arxiv.2305.06628,
title = {Time-Reversed Dissipation Induces Duality Between Minimizing Gradient Norm and Function Value},
author = {Jaeyeon Kim and Asuman Ozdaglar and Chanwoo Park and Ernest K. Ryu},
journal= {arXiv preprint arXiv:2305.06628},
year = {2023}
}