Fixflow：一个评估轻量级CNN推理中定点算术的框架
机器学习
2023-02-21 v1 硬件体系结构
摘要
卷积神经网络（CNN）广泛应用于物联网应用中的资源受限设备。为了降低计算复杂度和内存占用，资源受限设备使用定点表示法。与浮点表示法相比，这种表示法在硬件中消耗更少的面积和能量，同时保持相似的分类准确率。然而，要采用低精度定点表示法，需要各种考量以获得高准确率。尽管提出了许多量化和重训练技术来提高推理准确率，但这些方法耗时且需要访问整个数据集。本文研究了不同定点硬件单元对CNN推理准确率的影响。为此，我们提供了一个名为Fixflow的框架，用于评估硬件层面执行的定点计算对CNN分类准确率的影响。我们可以在硬件加速器中采用不同的定点考量，这包括舍入方法和调整定点运算结果的精度。Fixflow可以确定采用不同算术单元（如截断乘法器）对CNN分类准确率的影响。此外，我们还评估了这些单元在硬件加速器中的能量和面积消耗。我们在两个常用的MNIST和CIFAR-10数据集上进行了实验。我们的结果表明，在硬件层面采用不同的方法，尤其是在低精度下，会显著改变分类准确率。
引用
@article{arxiv.2302.09564,
title = {Fixflow: A Framework to Evaluate Fixed-point Arithmetic in Light-Weight CNN Inference},
author = {Farhad Taheri and Siavash Bayat-Sarmadi and Hatame Mosanaei-Boorani and Reza Taheri},
journal= {arXiv preprint arXiv:2302.09564},
year = {2023}
}