对称张量缩并的双线性算法通信下界
分布式、并行与集群计算
2021-06-23 v2 数值分析
摘要
我们引入一个新的理论框架，用于推导双线性算法中数据移动的下界。双线性算法是双线性函数快速算法的一般表示，包括矩阵乘法、卷积和对称张量缩并的计算。双线性算法由三个矩阵描述。我们的通信下界基于量化这些矩阵的匹配列子集的最小矩阵秩。该基础结构产生了对称张量缩并算法的新通信下界，提供了定性的新见解。张量对称性（在模式置换下的不变性）在许多张量计算应用中很常见（例如，超图的张量表示、数据中高阶矩的分析，以及计算化学中电子相互作用的建模张量）。张量对称性使得表示大小和缩并的算术代价通过随等价置换数量缩放的因子而减少。然而，我们推导下界表明，这些算术代价和内存减少可能需要数据移动增加随张量大小缩放的因子。
引用
@article{arxiv.1707.04618,
title = {Communication Lower Bounds of Bilinear Algorithms for Symmetric Tensor Contractions},
author = {Edgar Solomonik and James Demmel and Torsten Hoefler},
journal= {arXiv preprint arXiv:1707.04618},
year = {2021}
}