通过自排斥随机游走加速分布式随机优化
概率论
2024-01-19 v1 机器学习
最优化与控制
摘要
我们研究了一类分布式随机优化算法，其中梯度由一个以随机游走方式遍历代理网络的令牌进行采样。通常，这些随机游走被选为渐近采样于目标分布的马尔可夫链，并在优化迭代的收敛中起关键作用。在本文中，我们采取了一种新颖的方法，用遵循非线性马尔可夫链（即自排斥随机游走，SRRW）的令牌取代标准的线性马尔可夫令牌。SRRW 针对任何给定的“基础”马尔可夫链定义，并由正标量 α 参数化，其转移到过去高频访问状态的可能性较低，故得此名。在图上的 MCMC 采样背景下，Doshi 等人 (2023) 的最新突破表明，SRRW 能使采样的渐近方差降低 O(1/α)。我们提出使用 SRRW 的“广义”版本来驱动以随机逼近形式进行的分布式随机优化令牌算法，称为 SA-SRRW。我们证明了所得 SA-SRRW 的优化迭代误差几乎必然收敛于零，并证明了中心极限定理，推导出了对应于迭代误差的所得渐近协方差矩阵的显式形式。该渐近协方差始终小于由基础马尔可夫链驱动的算法的协方差，并以 O(1/α^2) 的速率递减，从而在随机优化背景下放大了使用 SRRW 的性能优势。实证结果支持了我们的理论发现。
引用
@article{arxiv.2401.09665,
title = {Accelerating Distributed Stochastic Optimization via Self-Repellent Random Walks},
author = {Jie Hu and Vishwaraj Doshi and Do Young Eun},
journal= {arXiv preprint arXiv:2401.09665},
year = {2024}
}
备注
Accepted for oral presentation at the Twelfth International Conference on Learning Representations (ICLR 2024)