无参数投影梯度下降
机器学习
2023-06-01 v1
摘要
我们考虑在闭凸集上最小化凸函数的问题，采用投影梯度下降(Projected Gradient Descent, PGD)。我们提出 AdaGrad 的完全无参数版本，其自适应于初始化点与最优解之间的距离，以及次梯度平方范数之和。我们的算法能够处理投影步骤，与经典 PGD 相比不涉及重启、沿轨迹重新加权或额外的梯度计算。它亦满足累积遗憾的最优收敛速率，直至对数因子。我们将该方法扩展至随机优化，并进行了支持所发展理论的数值实验。
引用
@article{arxiv.2305.19605,
title = {Parameter-free projected gradient descent},
author = {Evgenii Chzhen and Christophe Giraud and Gilles Stoltz},
journal= {arXiv preprint arXiv:2305.19605},
year = {2023}
}