通过折扣到动态归约实现动态遗憾及其在曲率损失和Adam优化器中的应用
机器学习
2026-02-10 v1 最优化与控制
摘要
我们研究非平稳在线学习中的动态遗憾最小化，主要关注跟随正则化领导者（FTRL）方法。FTRL 对于曲率损失以及理解自适应优化器（如 Adam）很重要，然而，现有的针对 FTRL 的动态遗憾分析探索较少。为了解决这个问题，我们基于折扣到动态归约，并提出了一种模块化方法来获得 FTRL 相关问题的动态遗憾界。具体来说，我们关注两种代表性的曲率损失：线性回归和逻辑回归。我们的方法不仅简化了在线线性回归最优动态遗憾的现有证明，而且为在线逻辑回归提供了新的动态遗憾保证。除了在线凸优化之外，我们将该归约应用于分析 Adam 优化器，在随机、非凸和非平滑设置中获得了最优收敛率。该归约还允许对具有两个折扣参数 (β1, β2) 的 Adam 进行更详细的处理，从而为 Adam 优化器的裁剪和无裁剪变体带来了新的结果。
引用
@article{arxiv.2602.08372,
title = {Dynamic Regret via Discounted-to-Dynamic Reduction with Applications to Curved Losses and Adam Optimizer},
author = {Yan-Feng Xie and Yu-Jie Zhang and Peng Zhao and Zhi-Hua Zhou},
journal= {arXiv preprint arXiv:2602.08372},
year = {2026}
}