分布式不精确阻尼牛顿法:数据划分与负载均衡
机器学习
2016-03-17 v1 最优化与控制
摘要
本文研究了分布式环境下实现的不精确阻尼牛顿法。我们从原始的 DiSCO 算法 [Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss, Yuchen Zhang and Lin Xiao, 2015] 出发。我们将展示该算法可能无法良好扩展,并提出了算法修改,从而减少通信、改善负载均衡并提高计算效率。我们使用一个由 273GB 数据集描述的正则化经验损失最小化实例进行了数值实验。
引用
@article{arxiv.1603.05191,
title = {Distributed Inexact Damped Newton Method: Data Partitioning and Load-Balancing},
author = {Chenxin Ma and Martin Takáč},
journal= {arXiv preprint arXiv:1603.05191},
year = {2016}
}