L-DQN：一种异步有限内存分布式拟牛顿法
最优化与控制
2021-09-07 v2 分布式、并行与集群计算
摘要
本工作提出一种在主从通信模型下求解经验风险最小化问题的分布式算法，称为 L-DQN。L-DQN 是一种支持工作节点间异步计算的分布式有限内存拟牛顿法。我们的方法在存储与通信成本上均高效，即在每次迭代中主节点与工作者通信大小为 的向量，其中 为决策变量维数，且每个节点所需内存量为 ，其中 为可调参数。据我们所知，这是在存在节点间延迟的异步设定下首个具有可证明全局线性收敛保证的分布式拟牛顿法。我们提供了数值实验以阐明我们方法的理论与实际性能。
引用
@article{arxiv.2108.09365,
title = {L-DQN: An Asynchronous Limited-Memory Distributed Quasi-Newton Method},
author = {Bugra Can and Saeed Soori and Maryam Mehri Dehnavi and Mert Gürbüzbalaban},
journal= {arXiv preprint arXiv:2108.09365},
year = {2021}
}