带负梯度权重的客户端-服务器架构的分布式优化
分布式、并行与集群计算
2016-12-20 v2 机器学习
最优化与控制
摘要
海量数据集与计算资源的可用性使得机器学习和预测分析极为普及。在这项工作中，我们提出了一种同步算法与架构，用于由机器学习应用所带来的隐私需求所驱动的分布式优化。我们针对最近提出的多参数服务器架构给出了一种算法。我们考虑一组参数服务器，它们基于从客户端接收到的随机化梯度来学习模型。客户端是拥有私有数据集（导出私有目标函数）的计算实体，它们评估并上传随机化梯度至参数服务器。参数服务器基于接收到的梯度执行模型更新，并与其他服务器共享模型参数。我们证明了所提算法能够针对一种非常通用的架构优化总体目标函数，该架构包含连接至 个参数服务器的 个客户端，其拓扑任意时变，且参数服务器构成一个连通网络。
引用
@article{arxiv.1608.03866,
title = {Distributed Optimization for Client-Server Architecture with Negative Gradient Weights},
author = {Shripad Gade and Nitin H. Vaidya},
journal= {arXiv preprint arXiv:1608.03866},
year = {2016}
}
备注
[Submitted 12 Aug., 2016. Revised 18 Dec.,2016.] Added Section 3.1, added additional discussion to Section 5, added references