面向 FPGA 加速稀疏深度神经网络的 RISC-V 扩展的硬件/软件协同设计
机器学习
2025-04-29 v1 人工智能
硬件体系结构
摘要
RISC-V 的可定制性使其成为加速深度神经网络 (DNN) 的吸引选择。通过指令集扩展和相应的自定义功能单元可实现。然而，高效利用这些机会需要一种硬件/软件协同设计方法，即在设计时综合考虑 DNN 模型、软件和硬件。本文提出了用于加速包含半结构化和非结构化稀疏性的 DNN 模型的新颖 RISC-V 扩展。虽然加速结构化和非结构化剪枝的想法并不新鲜，但我们的新颖设计相对于其他设计具有多项优势。为利用半结构化稀疏性，我们利用 FPGA 细粒度(位级)可配置性，建议在一组 DNN 权重的若干比特中保留几位，以编码后续权重块稀疏性信息。该提议的自定义功能单元利用此信息跳过计算。为利用非结构化稀疏性，我们提出了一个可变周期序列乘加单元，只对非零权重执行相应的乘法。我们实现的非结构化和半结构化剪枝加速器分别可实现最高提升约 3 倍和 4 倍的加速。随后我们提出了一种能够加速两种稀疏性的组合设计，提供最高提升约 5 倍的加速。我们的设计仅占用少量额外的 FPGA 资源，如此一来，所实现的协同设计即可在小型 FPGA 上加速 DNN。我们在标准 TinyML 应用（如关键词识别、图像分类和人脸检测）上对设计进行基准测试。
引用
@article{arxiv.2504.19659,
title = {Hardware/Software Co-Design of RISC-V Extensions for Accelerating Sparse DNNs on FPGAs},
author = {Muhammad Sabih and Abrarul Karim and Jakob Wittmann and Frank Hannig and Jürgen Teich},
journal= {arXiv preprint arXiv:2504.19659},
year = {2025}
}