MaRVIn：面向 DNN 推理的跨层混合精度 RISC-V 框架，从 ISA 扩展到硬件加速
机器学习
2025-09-19 v1 硬件体系结构
摘要
量化和混合精度技术的演进为提升神经网络的速度和能效开启了新的可能性。若干近期研究表明，在不同参数间适配精度水平可以在保持与全精度模型相当精度的同时显著降低计算需求。然而，现有的嵌入式微处理器在 ISA 扩展和硬件设计两方面均缺乏对高效执行混合精度神经网络的充分架构支持，导致效率低下，例如过度的数据打包/解包和算术单元利用不足。在这项工作中，我们提出了专门设计用于优化混合精度执行的新型 ISA 扩展和微架构实现，使 RISC-V 架构上的深度学习推理实现能效优化。我们提出了 MaRVIn，一个跨层软硬件协同设计框架，通过硬件改进、混合精度量化、ISA 级优化和周期精确仿真相结合的方式提升能效和性能。在硬件层面，我们通过可配置混合精度算术（2、4、8 位）增强 ALU 以处理权重/激活，并采用多泵送以降低执行延迟，同时实现软 SIMD 以高效执行 2 位操作。在软件层面，我们集成了感知剪枝的微调方法以优化模型压缩，以及基于贪心的 DSE 方法以高效搜索帕累托最优混合量化模型。此外，我们引入电压缩放以提升系统的能效。我们在广泛使用的 DNN 和数据集（如 CIFAR10 和 ImageNet）上的实验评估表明，我们的框架平均可实现 17.6 倍加速且精度损失低于 1%，并优于与 ISA 无关的最先进 RISC-V 内核，峰值能效高达 1.8 TOPs/W。
引用
@article{arxiv.2509.15187,
title = {MaRVIn: A Cross-Layer Mixed-Precision RISC-V Framework for DNN Inference, from ISA Extension to Hardware Acceleration},
author = {Giorgos Armeniakos and Alexis Maras and Sotirios Xydis and Dimitrios Soudris},
journal= {arXiv preprint arXiv:2509.15187},
year = {2025}
}
备注
Accepted for publication by IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, March 2025