面向去中心化特征机器学习的随机分布式优化
分布式、并行与集群计算
2019-05-16 v2 机器学习
摘要
分布式机器学习在文献中已被广泛研究，以在数据量不断增长的情况下扩展机器学习模型训练。我们从另一个角度研究分布式机器学习，即关于相同训练样本的信息本质上是去中心化的，并位于不同的参与方处。我们针对这种特征分布式机器学习（FDML）问题提出了一种异步随机梯度下降（SGD）算法，以联合从去中心化特征中学习，并在有界异步下提供理论收敛保证。我们的算法不需要在参与方之间共享原始特征数据甚至局部模型参数，从而保持了高水平的数据机密性。我们在参数服务器架构中实现了我们的 FDML 算法。我们通过在一个真实世界应用的大量数据上进行的广泛实验，将我们的系统与完全集中式训练（违反数据局部性要求）以及仅基于局部特征的训练进行比较，实验共涉及 500 万样本和总计 个特征。实验结果证明了所提出的 FDML 系统的有效性和高效性。
引用
@article{arxiv.1812.06415,
title = {Stochastic Distributed Optimization for Machine Learning from Decentralized Features},
author = {Yaochen Hu and Di Niu and Jianming Yang and Shengping Zhou},
journal= {arXiv preprint arXiv:1812.06415},
year = {2019}
}
备注
9 pages