面向人工智能的压缩实数：基于 RISC-V CPU 的案例研究
机器学习
2023-09-15 v1 硬件体系结构
性能
摘要
正如近期所证明的，通常使用单精度 IEEE 754 浮点数（binary32）训练的深层神经网络（DNN）也可以使用更低精度工作。因此，16 位和 8 位压缩格式引起了相当多的关注。在本文中，我们关注在机器学习应用中压缩 binary32 数字已取得有趣结果且精度无显著下降的两类格式：bfloat 和 posit。尽管 16 位和 8 位 bfloat/posit 常用于减少已训练 DNN 权重/偏置的存储，推理仍经常在 CPU 的 32 位 FPU 上进行（尤其在无 GPU 时）。本文提出一种在计算前解压 bfloat/posit 张量的方法，即在压缩操作数被载入支持向量的 CPU 的向量寄存器之后进行解压，以节省带宽使用并提升缓存效率。最后，我们给出了该方案相对于未压缩方案具有优势的架构参数与考量。
引用
@article{arxiv.2309.07158,
title = {Compressed Real Numbers for AI: a case-study using a RISC-V CPU},
author = {Federico Rossi and Marco Cococcioni and Roger Ferrer Ibàñez and Jesùs Labarta and Filippo Mantovani and Marc Casas and Emanuele Ruffaldi and Sergio Saponara},
journal= {arXiv preprint arXiv:2309.07158},
year = {2023}
}