具有次梯度、随机梯度与自适应学习率的三算子分裂方法
最优化与控制
2022-02-21 v2
摘要
三算子分裂（TOS）（Davis & Yin, 2017）在每个分项具有高效梯度预言机或邻近算子时，可有效最小化多个凸函数之和。这一要求在机器学习应用中常无法满足：（i）可能仅有随机梯度而非全梯度可用；（ii）相较于邻近算子，使用次梯度处理复杂罚函数可能更高效且现实。受此驱动，我们分析了TOS三种潜在有价值的扩展。前两种允许使用次梯度与随机梯度，并被证明能保证的收敛速率。第三种扩展AdapTOS为TOS赋予自适应步长。对于在凸集交集上优化凸损失这一重要设定，AdapTOS达到了通用收敛速率，即该速率自适应于目标的未知光滑程度。我们在多种应用上将所提方法与竞争方法进行比较。
引用
@article{arxiv.2110.03274,
title = {Three Operator Splitting with Subgradients, Stochastic Gradients, and Adaptive Learning Rates},
author = {Alp Yurtsever and Alex Gu and Suvrit Sra},
journal= {arXiv preprint arXiv:2110.03274},
year = {2022}
}
备注
Appears in the 35th Annual Conference on Neural Information Processing Systems (NeurIPS 2021)