IOPS：基于内外积混合的统一 SpMM 加速器
硬件体系结构
2023-12-21 v1
摘要
稀疏矩阵乘法（SpMM）广泛应用于图处理、机器学习和数据分析等众多领域。然而，基于内积的 SpMM 会导致不匹配的非零操作数产生冗余的零元素计算，而基于外积的方法则缺乏处理单元（PEs）之间的输入复用，并且累加部分和（psum）矩阵的输出局部性较差。此外，当前工作仅专注于稀疏 - 稀疏矩阵乘法（SSMM）或稀疏 - 稠密矩阵乘法（SDMM），很少能同时高效地处理两者。为解决这些问题，本文提出了一种称为 IOPS 的统一 SpMM 加速器，它混合了内积和外积。它在 PEs 之间利用内积数据流复用输入矩阵，并在每个 PE 中利用外积方法消除零元素计算，从而能够高效处理 SSMM 和 SDMM。此外，设计了一种地址映射方法来累加不规则的稀疏 psum 矩阵，减少了 psum 累加的延迟和 DRAM 访问。 furthermore，提出了一种自适应分区策略，根据输入矩阵的稀疏度比例对其进行分块，有效利用架构存储并减少 DRAM 访问。与 SSMM 加速器 SpArch 相比，我们实现了 1.7 倍至 6.3 倍的能效提升和 1.2 倍至 4.4 倍的资源效率提升，并节省了 1.4 倍至 2.1 倍的 DRAM 访问。
引用
@article{arxiv.2312.12766,
title = {IOPS: An Unified SpMM Accelerator Based on Inner-Outer-Hybrid Product},
author = {Wenhao Sun and Wendi Sun and Song Chen and Yi Kang},
journal= {arXiv preprint arXiv:2312.12766},
year = {2023}
}