指数梯度法的一般收敛性结果
最优化与控制
2017-05-29 v1
摘要
批量指数梯度 (EG) 方法为概率单纯形或量子密度矩阵空间上的凸光滑最小化问题提供了一种原则性方法。然而，该方法并不总能保证收敛。现有的 EG 方法收敛性分析要求损失函数满足特定的定量光滑性条件，例如损失函数或其梯度的 Lipschitz 连续性，但这些条件在重要应用中可能不成立。在本文中，我们证明了带有 Armijo 线搜索的 EG 方法对于任何具有局部 Lipschitz 连续梯度的凸损失函数均能收敛。得益于我们的收敛性保证，在我们所拥有的真实数据集上，带有 Armijo 线搜索的 EG 方法成为了最大似然量子态估计中最快的保证收敛算法。
引用
@article{arxiv.1705.09628,
title = {A General Convergence Result for the Exponentiated Gradient Method},
author = {Yen-Huan Li and Volkan Cevher},
journal= {arXiv preprint arXiv:1705.09628},
year = {2017}
}
备注
18 pages, 2 figures