RISC-V 核心上混合精度神经网络：用于多泵软 SIMD 操作的 ISA 扩展
硬件体系结构
2024-08-14 v2 人工智能
摘要
最近的量化和混合精度方法为提高神经网络（NN）的速度和能源效率提供了巨大机会。研究表明，具有不同低精度的单个参数可达到与全精度相当的准确性。然而，现代嵌入式微处理器在 ISA 扩展方面及其硬件设计方面对混合精度 NN 支持极其有限，这导致诸多数据打包与解包指令、算术单元 underutilization 等性能瓶颈。本文首次将针对混合精度硬件优化而设计的 ISA 扩展引入 RISC-V CPU 架构中。为此，我们提出了一种硬件-软件协同设计框架，使其能够实现协作式硬件设计、混合精度量化、ISA 扩展以及循环-精确仿真。在硬件层面，我们首先扩展了 proof-of-concept 微体系结构中的 ALU 单元，以支持可配置的细粒度混合精度算术运算。随后，我们采用多泵技术最小化执行延迟，并对 2 位运算应用额外的软 SIMD 优化。在 ISA 层面，编码了三条不同的 MAC 指令，将其扩展至编译器层面，每条指令对应不同的混合精度操作模式。我们对广泛使用的 DNN 和数据集（如 CIFAR10 和 ImageNet）进行了广泛实验评估，结果表明，该框架在平均可实现 15 倍能耗降低，且准确率损失不足 1%，并优于面向 RISC-V 核的 ISA 无关型最新方案。
引用
@article{arxiv.2407.14274,
title = {Mixed-precision Neural Networks on RISC-V Cores: ISA extensions for Multi-Pumped Soft SIMD Operations},
author = {Giorgos Armeniakos and Alexis Maras and Sotirios Xydis and Dimitrios Soudris},
journal= {arXiv preprint arXiv:2407.14274},
year = {2024}
}
备注
Accepted for publication at the 43rd International Conference on Computer-Aided Design (ICCAD `24), Oct 27-31 2024, New Jersey, USA