面向微控制器上基于图像块推理的价值驱动混合精度量化

在微控制器单元（MCU）上部署神经网络，因其计算和内存资源受限而面临巨大挑战。先前的研究探索了基于图像块的推理作为一种在不牺牲模型准确性的前提下节省内存的策略。然而，这种技术存在严重的冗余计算开销，导致执行延迟显著增加。解决此问题的一个可行方案是混合精度量化，但它面临精度下降和搜索耗时长的挑战。在本文中，我们提出了 QuantMCU，这是一种新颖的基于图像块的推理方法，利用价值驱动的混合精度量化来减少冗余计算。我们首先利用价值驱动的图像块分类（VDPC）来保持模型精度。VDPC 根据图像块是否包含离群值将其分为两类。对于包含离群值的图像块，我们对其后续数据流分支上的特征图应用 8 位量化。此外，对于不含离群值的图像块，我们对其后续数据流分支上的特征图利用价值驱动的量化搜索（VDQS）来减少搜索时间。具体来说，VDQS 引入了一种同时考虑计算量和精度的新型量化搜索度量，并采用熵作为精度表示以避免额外训练。VDQS 还采用迭代方法确定每个特征图的位宽，以进一步加速搜索过程。在真实 MCU 设备上的实验结果表明，与最先进的基于图像块的推理方法相比，QuantMCU 平均可减少 2.2 倍的计算量，同时保持相当的模型精度。