基于共识蒙特卡洛的含掉队者鲁棒分布式贝叶斯学习
机器学习
2022-08-30 v2 信号处理
摘要
本文研究包含中心服务器与多个工作节点的分布式贝叶斯学习设置，重点关注缓解掉队者影响的问题。通过将被称为共识蒙特卡洛（CMC）的标准一次性或 embarrassingly parallel 贝叶斯学习协议推广，提出了两种基于分组和编码的掉队者弹性解决方案。为 CMC 设计掉队者弹性算法的两个主要挑战是：需要跨多次迭代估计工作节点输出的统计特性，以及在服务器上对工作节点输出进行联合非线性后处理。这与其他分布式设置（如梯度编码）形成鲜明对比，后者仅需工作节点输出的逐次求和。所提出的方法称为基于分组的 CMC（G-CMC）和编码 CMC（C-CMC），其利用工作节点上的冗余计算，以基于工作节点的部分输出在服务器上估计全局后验样本。仿真结果表明，在工节点数量较少时 C-CMC 可能优于 G-CMC，而工节点数量较多时通常更倾向于 G-CMC。
引用
@article{arxiv.2112.09794,
title = {Robust Distributed Bayesian Learning with Stragglers via Consensus Monte Carlo},
author = {Hari Hara Suthan Chittoor and Osvaldo Simeone},
journal= {arXiv preprint arXiv:2112.09794},
year = {2022}
}
备注
Accepted for publication in IEEE GLOBECOM 2022