稀疏张量与张量网络缩并的最小代价循环嵌套
分布式、并行与集群计算
2024-07-17 v2 数学软件
性能
编程语言
摘要
稀疏张量分解与补全在从机器学习到计算量子化学的众多应用中十分常见。通常,这些模型优化的主要瓶颈在于单个大型稀疏张量与由若干稠密矩阵或张量组成的网络(SpTTN)的缩并。先前关于高性能张量分解与补全的工作聚焦于特定 SpTTN 核的性能与可扩展性优化。我们提出了用于识别并执行任意 SpTTN 核最高效循环嵌套的算法与运行时系统。我们既考虑了用于自动调优的此类循环嵌套枚举,也考虑了针对更简单度量(如缓冲区大小或缓存缺失模型)寻找最低代价循环嵌套的高效算法。我们的运行时系统无需用户指导即可确定最佳循环嵌套选择,并提供 SpTTN 核的分布式内存并行化。我们使用真实世界与合成张量评估了我们的框架。结果表明,我们的方法优于现有的通用最先进库,并匹配专用代码的性能。
引用
@article{arxiv.2307.05740,
title = {Minimum Cost Loop Nests for Contraction of a Sparse Tensor with a Tensor Network},
author = {Raghavendra Kanakagiri and Edgar Solomonik},
journal= {arXiv preprint arXiv:2307.05740},
year = {2024}
}
备注
15 pages, 7 figures