一种随机近端Polyak步长
最优化与控制
2023-05-05 v2 机器学习
机器学习
摘要
最近，随机Polyak步长（SPS）已成为一种具有竞争力的随机梯度下降自适应步长方案。在此，我们开发了ProxSPS，这是一种能够处理正则化项的SPS的近端变体。开发SPS的近端变体尤为重要，因为SPS需要目标函数的下界才能良好工作。当目标函数是损失函数和正则化项之和时，对总和下界的可用估计可能很宽松。相比之下，ProxSPS只需要损失函数的下界，而这通常是容易获得的。因此，我们表明ProxSPS在存在正则化的情况下更易于调整且更稳定。此外，对于图像分类任务，ProxSPS的性能与AdamW相当，几乎不需要调整，并且能产生具有更小权重参数的网络。我们还为ProxSPS提供了广泛的收敛性分析，涵盖了非光滑、光滑、弱凸和强凸的设置。
引用
@article{arxiv.2301.04935,
title = {A Stochastic Proximal Polyak Step Size},
author = {Fabian Schaipp and Robert M. Gower and Michael Ulbrich},
journal= {arXiv preprint arXiv:2301.04935},
year = {2023}
}