FAMES：面向混合精度量化 DNN 的快速近似乘法替代方案——低至 2 位
机器学习
2025-09-11 v4 新兴技术
摘要
设计能效深层神经网络（DNN）加速器的常用技术是量化。近期进展将 DNN 的位宽降低至 2 位。许多先前工作在 DNN 加速器中应用近似乘法（AppMuls）以降低能耗。然而，这些工作仍假设位宽远大于 2 位，这与量化的最新进展相距甚远，甚至挑战了在 DNN 加速器中应用 AppMuls 的意义所在，因为高位宽 AppMul 的能耗远高于低位宽精确乘法器！因此，一个重要问题是：近似乘法能否有效应用于极低位宽的量化 DNN 模型？本文给出了肯定的答案，并提出了一种系统性解决方案：FAMES，即混合精度 DNN 的快速近似乘法替代方法。我们的实验表明，在位宽低至 2 位的先进混合精度量化模型上，FAMES 实现平均 28.67% 的能耗降低，同时将准确率损失控制在 1% 以下。此外，我们的方法比以往基于遗传算法的方法快高达 300 倍。
引用
@article{arxiv.2411.18055,
title = {FAMES: Fast Approximate Multiplier Substitution for Mixed-Precision Quantized DNNs--Down to 2 Bits!},
author = {Yi Ren and Ruge Xu and Xinfei Guo and Weikang Qian},
journal= {arXiv preprint arXiv:2411.18055},
year = {2025}
}
备注
This work will be incorporated into another study as part of a larger project, so we request to temporarily withdraw it. The new study involves substantial changes and will be submitted as a new paper