面向分布式稀疏学习的近端SCOPE：更好的数据划分意味着更快的收敛速率
机器学习
2018-10-29 v2 机器学习
摘要
利用多机集群进行分布式稀疏学习在机器学习中备受关注，尤其适用于高维数据的大规模应用。实现稀疏学习的一种流行方法是使用 正则化。本文提出一种称为近端SCOPE（pSCOPE）的新方法，用于带 正则化的分布式稀疏学习。pSCOPE基于协作自主局部学习（CALL）框架。在pSCOPE的CALL框架中，我们发现数据划分会影响学习过程的收敛性，随后我们定义了一种度量来衡量数据划分的优劣。基于所定义的度量，我们从理论上证明：若数据划分足够好，pSCOPE以线性收敛速率收敛。我们还证明了更好的数据划分意味着更快的收敛速率。此外，pSCOPE也具有通信高效性。在真实数据集上的实验结果表明，pSCOPE可以优于其他最先进的分布式稀疏学习方法。
引用
@article{arxiv.1803.05621,
title = {Proximal SCOPE for Distributed Sparse Learning: Better Data Partition Implies Faster Convergence Rate},
author = {Shen-Yi Zhao and Gong-Duo Zhang and Ming-Wei Li and Wu-Jun Li},
journal= {arXiv preprint arXiv:1803.05621},
year = {2018}
}