基于随机近端点法的梯度中位数追踪
机器学习
2025-10-30 v2 机器学习
最优化与控制
摘要
在随机优化的若干应用中，梯度的稳健估计能带来益处。例如，具有受损节点的分布式学习、训练数据中存在大异常值、隐私约束下的学习，甚至由算法自身动力学引起的重尾噪声等场景。在此，我们研究了基于中位数估计的稳健梯度估计器的 SGD。我们首先推导了基于随机近端点法计算中位数梯度及其推广的迭代方法。然后，我们提出了一种在迭代间估计中位数梯度的算法，并发现若干知名方法是该框架的特例。例如，我们观察到不同形式的裁剪允许计算梯度中位数的在线估计，而 (heavy-ball) 动量则对应于均值的在线估计。最后，我们提供了一个在样本间计算中位数梯度的算法理论框架，并证明了即使在重尾、状态依赖的噪声下，该方法也能收敛。
引用
@article{arxiv.2402.12828,
title = {Tracking the Median of Gradients with a Stochastic Proximal Point Method},
author = {Fabian Schaipp and Guillaume Garrigos and Umut Simsekli and Robert Gower},
journal= {arXiv preprint arXiv:2402.12828},
year = {2025}
}