多核 DSP 上不规则形状矩阵-矩阵乘法的优化
分布式、并行与集群计算
2022-08-12 v1
摘要
通用矩阵乘法（GEMM）在科学仿真与人工智能中有广泛应用。尽管传统库在大型规则形状 GEMM 上能取得高性能，但在高性能计算（HPC）新算法与应用中常见的不规则形状 GEMM 上往往表现不佳。受能效约束，低功耗多核数字信号处理器（DSP）已成为 HPC 系统中的一种替代架构。面向 FT-m7032（一款面向 HPC 的 CPU-DSP 异构原型处理器）中的多核 DSP，我们提出了一种高效实现——ftIMM——用于三类不规则形状 GEMM。FtIMM 支持汇编微内核的自动生成、两种并行化策略，以及分块大小与并行化策略的自动调优。实验表明，在处理不规则形状 GEMM 时，ftIMM 在 FT-m7032 的多核 DSP 上比传统 GEMM 实现性能更优，最高带来 7.2 倍性能提升；并且 ftIMM 在多核 DSP 上远优于 FT-m7032 多核 CPU 上的开源库，效率最高高出 3.1 倍。
引用
@article{arxiv.2208.05872,
title = {Optimizing Irregular-Shaped Matrix-Matrix Multiplication on Multi-Core DSPs},
author = {Shangfei Yin and Qinglin Wang and Ruochen Hao and Tianyang Zhou and Songzhu Mei and Jie Liu},
journal= {arXiv preprint arXiv:2208.05872},
year = {2022}
}
备注
11 pages