MURANA：一种随机方差缩减优化的通用框架
最优化与控制
2023-03-07 v3 机器学习
摘要
我们提出了一种通用的方差缩减算法，称之为多重随机化算法（MURANA），用于以顺序或分布式方式最小化若干光滑函数之和加上一个正则项。我们的方法以通用随机算子形式化，这使我们能够建模多种用于降低计算复杂度的策略。例如，MURANA支持梯度的稀疏激活，也支持通过更新向量的压缩来降低通信负载。这种多功能性使MURANA能在统一框架内涵盖许多现有的随机化机制，也使得设计作为特例的新方法成为可能。
引用
@article{arxiv.2106.03056,
title = {MURANA: A Generic Framework for Stochastic Variance-Reduced Optimization},
author = {Laurent Condat and Peter Richtárik},
journal= {arXiv preprint arXiv:2106.03056},
year = {2023}
}
备注
3rd Annual Conference on Mathematical and Scientific Machine Learning (MSML), Aug. 2022. PMLR 190:81-96