空间填充曲线即所需：简化的通信避免矩阵乘法
分布式、并行与集群计算
2026-04-09 v2 人工智能
摘要
广义矩阵乘法 (GEMM) 是 HPC 工作负载和深度学习的基石。领先厂商库通过调优张量布局、并行方案和缓存分块等方式，以最小化内存层次间的数据移动并最大化吞吐量。由于最优参数设置取决于目标平台和矩阵形状，穷举调优难以实现。我们重新审视空间填充曲线 (SFC)，以减轻这一繁琐调优问题。通过对 SFC 的进步，将矩阵乘法划分并获得对平台无关且对形状无关的矩阵乘法方案，数据局部性极高。我们将 SFC 基于的工作划分扩展至实现通信避免 (CA) 算法，以实际最小化数据移动。CA 算法的无缝集成体现为紧凑代码，实现了在多个 CPU 平台上的领先水平性能，针对广泛的 GEMM 形状可超过厂商库实现快 5.5 倍（加权调和平均数加速 1.8 倍）。我们展示了该工作对两个实际应用的影响，借助本 GEMM 作为计算后端：i) LLM 推理中的 prefill 相较领先做法最高达 1.85 倍加速，ii) 分布式矩阵乘法加速最高达 2.2 倍。
引用
@article{arxiv.2601.16294,
title = {Space Filling Curves is All You Need: Communication-Avoiding Matrix Multiplication Made Simple},
author = {Evangelos Georganas and Alexander Heinecke and Pradeep Dubey},
journal= {arXiv preprint arXiv:2601.16294},
year = {2026}
}