SAdam：一种面向强凸函数的 Adam 变体

Adam 算法在大规模机器学习中已极为流行。在凸性条件下，已被证明具有数据依赖的 $O(\sqrt{T})$ 遗憾界，其中 $T$ 为时间范围。然而，能否利用强凸性进一步提升性能仍是一个开放问题。在本文中，我们给出肯定答案，开发了 Adam 的一个变体（称为 SAdam），其对强凸函数实现了数据依赖的 $O(\log T)$ 遗憾界。其核心思想是维持一个衰减更快但受控的步长以利用强凸性。此外，在一组特殊的超参数配置下，我们的 SAdam 退化为 SC-RMSprop（一种近期提出的面向强凸函数的 RMSprop 变体），我们为其提供了首个数据依赖的对数遗憾界。在优化强凸函数与训练深度网络上的实证结果证明了我们方法的有效性。