快速随机 Bregman 梯度法：锐利分析与方差缩减
最优化与控制
2021-04-21 v1
摘要
我们研究利用随机 Bregman 梯度法最小化相对光滑凸函数的问题。我们首先证明 Bregman 随机梯度下降（BSGD）收敛到一个依赖于最优处噪声（梯度大小）的区域。特别地，当该噪声为零时（数据被完美拟合的插值设定），采用常数步长的 BSGD 收敛到精确极小点。否则，当目标具有有限和结构时，我们证明可使用方差缩减来抵消噪声影响。特别地，在 Bregman 参考函数满足额外正则性假设下，可获得到精确极小点的快速收敛。我们在相对光滑的两个关键应用上展示了方法的有效性：含泊松噪声的层析重建与分布式优化的统计预处理。
引用
@article{arxiv.2104.09813,
title = {Fast Stochastic Bregman Gradient Methods: Sharp Analysis and Variance Reduction},
author = {Radu-Alexandru Dragomir and Mathieu Even and Hadrien Hendrikx},
journal= {arXiv preprint arXiv:2104.09813},
year = {2021}
}