基于采样压缩比预测稀疏矩阵乘法输出结构
分布式、并行与集群计算
2022-07-29 v1 机器学习
数值分析
性能
数值分析
摘要
稀疏通用矩阵乘法（SpGEMM）是众多科学应用中的基本构建模块。SpGEMM 的一项关键任务是计算或预测输出矩阵的结构（即每个输出行的非零元素数量），以实现高效的内存分配与负载均衡，这会影响 SpGEMM 的整体性能。现有工作要么精确计算输出结构，要么采用上界或基于采样的方法预测输出结构。然而，这些方法要么耗费大量执行时间，要么精度不足。本文提出一种新颖的基于采样的方法，与现有基于采样的方法相比具有更好的精度和更低的开销。该方法首先利用相同采样结果矩阵的中间乘积数量（记为 FLOP）和非零元素数量（记为 NNZ）来预测 SpGEMM 的压缩比。然后，将每输出行的 FLOP 除以预测压缩比得到预测的输出结构。我们还提出了一种具有优化计算开销的现有基于采样方法的参考设计，以证明所提方法具有更好的精度。我们构建了 625 个具有不同矩阵维度和稀疏结构的测试用例来评估预测精度。实验结果表明，所提方法和参考设计的绝对相对误差平均分别为 1.56% 和 8.12%，最坏情况分别为 25% 和 156%。
引用
@article{arxiv.2207.13848,
title = {Predicting the Output Structure of Sparse Matrix Multiplication with Sampled Compression Ratio},
author = {Zhaoyang Du and Yijin Guan and Tianchan Guan and Dimin Niu and Nianxiong Tan and Xiaopeng Yu and Hongzhong Zheng and Jianyi Meng and Xiaolang Yan and Yuan Xie},
journal= {arXiv preprint arXiv:2207.13848},
year = {2022}
}
备注
This paper has been submitted to the IEEE International Conference on Parallel and Distributed Systems (ICPADS). 8 pages, 2 fgures, 3 tables