EinDecomp：基于声明规范的机器学习与数值计算分解以实现并行执行
分布式、并行与集群计算
2024-10-04 v1
摘要
我们考虑自动分解以张量或数组为操作的运算，以便在多个设备上并行执行的问题。我们解决两个紧密相关的问题：首先，张量计算系统应提供何种编程抽象以启用此类分解？其次，鉴于该抽象，系统应如何自动分解张量计算？我们断言，张量计算系统应提供基于扩展爱因斯坦求和表示法的编程抽象，这是一种完全声明性、用于张量计算的数学规范。我们展示，任何使用爱因斯坦求和表示法指定的计算都可以重写为等效的张量关系计算，这种重写概括了现有张量并行表示法，如“数据并行”和“模型并行”。我们考虑最优计算扩展爱因斯坦求和表示法中操作图的张量关系分解的算法问题，并通过实验表明我们开发的算法具有价值。
引用
@article{arxiv.2410.02682,
title = {EinDecomp: Decomposition of Declaratively-Specified Machine Learning and Numerical Computations for Parallel Execution},
author = {Daniel Bourgeois and Zhimin Ding and Dimitrije Jankov and Jiehui Li and Mahmoud Sleem and Yuxin Tang and Jiawen Yao and Xinyu Yao and Chris Jermaine},
journal= {arXiv preprint arXiv:2410.02682},
year = {2024}
}