通过Kronecker积秩展开对嵌套双线性算法的通信下界
分布式、并行与集群计算
2023-09-29 v4 数值分析
数值分析
摘要
我们针对嵌套双线性算法(如Strassen矩阵乘法算法)在存储层次结构或处理器间通信建立了下界。我们基于先前的框架,该框架利用秩展开(即矩阵任意固定大小列子集的最小秩)对编码双线性算法的三个矩阵分别建立通信下界。该框架针对对应于给定双线性算法执行的依赖有向无环图(DAG)类给出下界,不同于其他仅对特定DAG给出界的方法。然而,我们的下界仅适用于不重复计算同一DAG节点的执行。两个双线性算法可通过其编码矩阵间的Kronecker积进行嵌套。我们的主要结果是:基于Kronecker积操作数的秩展开下界,给出了由Kronecker积构造的矩阵的秩展开下界。我们将秩展开下界应用于获得嵌套Toom-Cook卷积、Strassen算法以及部分对称张量缩并快速算法的新的通信下界。
引用
@article{arxiv.2107.09834,
title = {Communication lower bounds for nested bilinear algorithms via rank expansion of Kronecker products},
author = {Caleb Ju and Yifan Zhang and Edgar Solomonik},
journal= {arXiv preprint arXiv:2107.09834},
year = {2023}
}
备注
47 pages, 6 figures, 1 table. Revisions to paper for submission