随机重排下网络化智能体的方差缩减随机学习
机器学习
2018-05-30 v3 最优化与控制
机器学习
摘要
文献[ying2017convergence]中提出了一种新的摊销方差缩减梯度（AVRG）算法，与 SAGA 相比具有恒定的存储需求，与 SVRG 相比具有均衡的梯度计算量。AVRG 策略的一个关键优势在于其易于实现去中心化。本文展示了如何将 AVRG 扩展到网络场景，其中多个学习智能体通过图拓扑连接。在此场景下，每个智能体观测空间分布的数据，且所有智能体仅允许与直接邻居通信。此外，各智能体观测到的数据量可能差异很大。对于这种情况，AVRG 均衡的梯度计算特性成为一项真正的优势，可减少因本地数据存储需求不均衡导致的空闲时间，而这是其他缩减方差梯度算法的典型特征。所得到的扩散-AVRG 算法被证明能线性收敛到精确解，并且比其他替代算法内存效率高得多。此外，我们提出了一种小批量策略，以平衡扩散-AVRG 的通信与计算效率。当采用合适的批量大小时，仿真中观察到扩散-AVRG 比精确扩散或 EXTRA 具有更高的计算效率，同时保持几乎相同的通信效率。
引用
@article{arxiv.1708.01384,
title = {Variance-Reduced Stochastic Learning by Networked Agents under Random Reshuffling},
author = {Kun Yuan and Bicheng Ying and Jiageng Liu and Ali H. Sayed},
journal= {arXiv preprint arXiv:1708.01384},
year = {2018}
}
备注
23 pages, 12 figures, submitted for publication