自适应方差缩减的统一理论
最优化与控制
2025-11-07 v1
摘要
方差缩减是一类在众多机器学习任务中均能发挥作用的强大机制，其基于估计具有递归序列的精确梯度。此前，许多论文已证明，具有无偏方差缩减估计器的方法可在单一框架中描述。我们对该方法进行推广，表明无偏性假设是过度严格的，因此我们纳入偏置估计器进行分析。但本文的主要贡献在于提出新的方差缩减方法，这些方法采用自适应步长，在算法迭代期间动态调整，且无需调参。我们的分析涵盖有限和问题、分布式优化以及坐标方法。各种任务的数值实验验证了我们方法的有效性。
引用
@article{arxiv.2511.04569,
title = {Unified Theory of Adaptive Variance Reduction},
author = {Aleksandr Shestakov and Valery Parfenov and Aleksandr Beznosikov},
journal= {arXiv preprint arXiv:2511.04569},
year = {2025}
}