关于分布式近似牛顿方法的收敛性：全局化、更紧界及超越
机器学习
2019-08-07 v1 机器学习
统计计算
摘要
DANE 算法是一种常用于通信高效分布式机器学习的近似牛顿方法。对 DANE 感兴趣的原因包括可扩展性与通用性。然而，DANE 的收敛可能很微妙；其吸引人的收敛速率仅对二次目标函数是严格的，而对于更一般的凸函数，已知结果并不强于经典一阶方法的结果。为弥补这些缺陷，我们在本文中提出一些更适合分析的新 DANE 变体。我们首先引入一种配备回溯线搜索的简单 DANE 变体，对于二次和 non-quadratic 强凸函数均可证明其全局渐近收敛性与更紧的局部非渐近收敛速率保证。然后我们提出一种重球法来加速 DANE 的收敛，表明对于强凸函数可建立近乎紧致的局部收敛速率，并且通过对算法的适当修改，同一结果可全局适用于线性预测模型。提供了数值证据以确认我们方法的理论与实际优势。
引用
@article{arxiv.1908.02246,
title = {On Convergence of Distributed Approximate Newton Methods: Globalization, Sharper Bounds and Beyond},
author = {Xiao-Tong Yuan and Ping Li},
journal= {arXiv preprint arXiv:1908.02246},
year = {2019}
}