AIDE：快速且通信高效的分布式优化
最优化与控制
2016-08-25 v1 机器学习
机器学习
摘要
本文提出两种新的通信高效方法，用于函数平均值的分布式最小化。第一种算法是 DANE 算法的不精确变体，允许任何局部算法返回局部子问题的近似解。我们证明这种策略不会显著影响 DANE 的理论保证。事实上，我们的方法可视为一种鲁棒化策略，因为该方法在实际数据划分上的表现远优于 DANE。众所周知，DANE 算法达不到通信复杂度的理论下界。为弥合这一差距，我们提出第一种方法的加速变体，称为 AIDE，它不仅达到了通信下界，还可以使用纯一阶预言机实现。我们的实证结果表明，在机器学习应用中自然出现的场景下，AIDE 优于其他通信高效算法。
引用
@article{arxiv.1608.06879,
title = {AIDE: Fast and Communication Efficient Distributed Optimization},
author = {Sashank J. Reddi and Jakub Konečný and Peter Richtárik and Barnabás Póczós and Alex Smola},
journal= {arXiv preprint arXiv:1608.06879},
year = {2016}
}