用于分布式矩阵乘法的稀疏随机 Khatri-Rao 乘积码
信息论
2022-05-13 v1 分布式、并行与集群计算
math.IT
摘要
我们对使用随机 Khatri-Rao 乘积(RKRP)码进行分布式矩阵乘法的范式提出了两种推广。我们首先引入一类称为稀疏随机 Khatri-Rao 乘积(SRKRP)码的码,其生成矩阵是稀疏的。当输入矩阵稀疏时,SRKRP 码比 RKRP 码具有更低的编码、计算和通信开销,同时展现出与其他最先进方案相似数值稳定性。我们通过实验研究了随机选取的 SRKRP 码的生成矩阵(限制在非掉队者集合上)秩亏的概率与编码方案的各种参数之间的关系,包括生成矩阵的稀疏度和非掉队者数量。其次,我们表明如果主节点除了执行工作节点所做的计算外还能执行极少量的矩阵乘积计算,则失败概率可大幅改善。
引用
@article{arxiv.2205.06162,
title = {Sparse Random Khatri-Rao Product Codes for Distributed Matrix Multiplication},
author = {Ruowan Ji and Anoosheh Heidarzadeh and Krishna R. Narayanan},
journal= {arXiv preprint arXiv:2205.06162},
year = {2022}
}