一种用于具有二次增长的非光滑函数的近线性收敛一阶方法
最优化与控制
2023-07-18 v3
摘要
经典结果表明，梯度下降对于光滑强凸函数的极小化器线性收敛。一个自然的问题是，是否存在一种针对具有二次增长的非光滑函数的局部近线性收敛方法。本工作为广泛一类非光滑且非凸的局部Lipschitz函数设计了这样的方法，包括max-of-smooth、Shapiro可分解类以及一般的半代数函数。该算法是无参数的，并源自Goldstein的概念性次梯度方法。
引用
@article{arxiv.2205.00064,
title = {A nearly linearly convergent first-order method for nonsmooth functions with quadratic growth},
author = {Damek Davis and Liwei Jiang},
journal= {arXiv preprint arXiv:2205.00064},
year = {2023}
}
备注
75 pages, 8 figures. Revised intro. New experiments. Simplified proofs. PyTorch code available here: https://github.com/COR-OPT/ntd.py/