图扩展与快速矩阵乘法的通信成本

算法的通信成本（也称为I/O复杂度）被证明与其对应计算图的扩展性质密切相关。我们在Strassen算法及其他快速矩阵乘法算法上展示了这一点，并首次获得了其通信成本的下界。在顺序计算情形下，处理器拥有大小为$M$的快速内存，不足以存储三个$n \times n$矩阵，对于许多矩阵乘法算法，快速与慢速内存之间移动的字数的下界为$\Omega((\frac{n}{\sqrt M})^{\omega_0}\cdot M)$，其中$\omega_0$是算术计数的指数（例如，Strassen算法中$\omega_0 = \lg 7$，传统矩阵乘法中$\omega_0 = 3$）。对于拥有$p$个并行处理器、每个处理器拥有大小为$M$的快速内存的情况，下界缩小$p$倍。这些下界在顺序和并行算法中均可达到，因此是最优的。这些下界也可被许多线性代数中的快速算法达到（例如，LU分解、QR分解和求解Sylvester方程的算法）。