中文

利用空中计算与模拟编码的无线分布式矩阵 - 向量乘法

信息论 2024-02-20 v1 分布式、并行与集群计算 系统与控制 系统与控制 math.IT

摘要

本文提出了一种基于空中计算 (OTA) 的分布式矩阵 - 向量乘法方法,应用于分布式机器学习 (DML) 场景。得益于 OTA 计算,对大矩阵进行列划分能够根据 worker(即本地计算节点)的计算能力高效分配工作负载。此外,该方法无需额外带宽,即使 worker 数量增加以缓解慢节点(称为 stragglers)的影响,系统仍能保持可扩展性。然而,尽管有所改进,仍存在一些 worker 经历深度衰落并成为 stragglers,导致其无法传输结果的情况。通过分析均方误差 (MSE),我们证明了在基于 OTA 的方法中增加 worker 数量无需额外无线电资源即可降低 MSE。此外,我们引入了一种模拟编码方案以进一步提升性能,并将其与传统编码乘法 (CM) 方案进行了比较。仿真结果表明,基于 OTA 的方法实现了与 CM 方案相当的性能,同时可能仅需更少的无线电资源。

关键词

引用

@article{arxiv.2402.11390,
  title  = {Wireless Distributed Matrix-Vector Multiplication using Over-the-Air Computation and Analog Coding},
  author = {Jinho Choi},
  journal= {arXiv preprint arXiv:2402.11390},
  year   = {2024}
}

备注

13 pages, 8 figures