面向分层分布式矩阵乘法的阵列 BP-XOR 码
信息论
2021-12-13 v3 分布式、并行与集群计算
math.IT
摘要
提出了一种基于阵列置信传播（BP）可解码 XOR（BP-XOR）码的分布式矩阵-矩阵乘法容错计算新技术。所提方案被证明是可配置的，并适用于现代分层计算架构，例如配备多个节点的图形处理单元（GPU），其中每个节点具有许多小型独立处理单元且核间通信增加。所提方案在存在称为 的慢节点时，在端到端总执行时间方面优于若干已知早期策略。这一性能优势源于对阵列码的精心设计，其将编码操作分布到集群（从）节点上，代价是增加了主从通信。精确描述了端到端延迟与总通信成本之间有趣的权衡。此外，为解决已识别的 stragglers 扩展问题，提出了基于投影几何的阵列 BP-XOR 码渐近版本，代价是一定的计算开销。对所有方案进行了详尽的延迟分析，以证明所提方案从端到端延迟角度看，在计算结果尺寸的子线性与线性区间均实现了阶最优计算。
引用
@article{arxiv.1904.11563,
title = {Array BP-XOR Codes for Hierarchically Distributed Matrix Multiplication},
author = {Suayb S. Arslan},
journal= {arXiv preprint arXiv:1904.11563},
year = {2021}
}
备注
22 pages, 5 figures, 4 tables. Accepted to IEEE Transactions on Information Theory, 2021. arXiv admin note: text overlap with arXiv:1709.07949