基于梯度与 M-估计量的通信高效分布式牛顿类优化
统计方法学
2022-07-14 v1 分布式、并行与集群计算
摘要
在现代数据科学中，大规模数据常并行存储与处理于大量节点。出于保密等考量，各并行中心仅可传输有限的数据信息。为更高效地解决此类问题，一组通信高效的方法正被积极研发。我们提出了两种通信高效的牛顿型算法，将各数据中心收集的 M-估计量与梯度相结合。通过利用这些通信高效的统计量全局构造两个 Fisher 信息估计量而建立。该框架具有更高的收敛速率，改进了现有的牛顿类方法。此外，我们给出了两种偏差校正的一步分布式估计量。当各中心样本量的平方大于中心总数时，它们在渐近意义上与全局 -估计量一样高效。我们方法的优势由大量理论与实证证据所阐明。
引用
@article{arxiv.2207.06253,
title = {Communication-efficient Distributed Newton-like Optimization with Gradients and M-estimators},
author = {Ziyan Yin},
journal= {arXiv preprint arXiv:2207.06253},
year = {2022}
}