存在掉队者且采样分布非一致条件下的去中心化优化
分布式、并行与集群计算
2021-08-26 v1 机器学习
最优化与控制
摘要
我们考虑当工作节点从非一致分布中采样数据，并由于被称为掉队者的慢节点而执行不同工作量时的去中心化共识优化问题。非一致分布问题与工作量可变问题此前已被分别研究。在我们的工作中，我们在统一的系统模型下将二者结合起来进行分析。我们研究了在两种启发式方法下结合工作节点输出时优化算法的收敛性：(1) 等权重，以及 (2) 根据每个节点完成的工作量进行加权。我们证明了在完美共识下这两种方法的收敛性，假设掉队者统计量在所有迭代中对所有工作节点是独立且同分布的。我们的数值结果表明，在近似共识下，对于凸和非凸目标函数，第二种方法均优于第一种方法。我们利用最小方差无偏估计 (MVUE) 理论来评估是否存在用于结合工作节点输出的最优方法。虽然我们得出结论这两种启发式方法都不是最优的，但我们也证明了不存在最优方法。
引用
@article{arxiv.2108.11071,
title = {Decentralized optimization with non-identical sampling in presence of stragglers},
author = {Tharindu Adikari and Stark Draper},
journal= {arXiv preprint arXiv:2108.11071},
year = {2021}
}
备注
This paper was presented in part at the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Barcelona, Spain, May 2020. https://ieeexplore.ieee.org/document/9053329