扩展拟牛顿算法：通信高效的分布式SR1
最优化与控制
2020-05-15 v2 机器学习
摘要
在本文中，我们提出了采样有限内存对称秩1（S-LSR1）算法的可扩展分布式实现。首先，我们表明S-LSR1的朴素分布式实现在每次迭代中需要多轮昂贵的通信，因此效率低下。随后我们提出DS-LSR1，一种通信高效变体，其：(i) 大幅减少每次迭代所通信的数据量，(ii) 在节点间具有良好的工作负载均衡，以及(iii) 无矩阵且无求逆。所提方法在问题维度和数据点数两方面均具有良好扩展性。最后，我们在标准神经网络训练任务上展示了DS-LSR1的经验性能。
引用
@article{arxiv.1905.13096,
title = {Scaling Up Quasi-Newton Algorithms: Communication Efficient Distributed SR1},
author = {Majid Jahani and Mohammadreza Nazari and Sergey Rusakov and Albert S. Berahas and Martin Takáč},
journal= {arXiv preprint arXiv:1905.13096},
year = {2020}
}
备注
24 pages, 14 figures, 6 tables