面向深度学习模型高精度重训练的近似乘法器梯度估计方法
机器学习
2025-09-16 v1
摘要
近似乘法器（AppMult）被广泛应用于深度学习加速器中，以减少其面积、延迟和功耗。然而，近似乘法器会给深度学习模型引入算术误差，因此需要一个重训练过程来恢复精度。重训练中的一个关键步骤是计算近似乘法器的梯度，即近似乘积相对于每个输入操作数的偏导数。现有方法通常使用精确乘法器（AccMult）的梯度来估计该梯度，这可能导致次优的重训练结果。为了解决这个问题，我们提出了两种方法来获得更精确的近似乘法器梯度。第一种方法称为 LUT-2D，它使用二维查找表（LUT）来表征近似乘法器梯度，提供细粒度的估计并实现最高的重训练精度。第二种方法称为 LUT-1D，是一种紧凑且更高效的变体，它将梯度值存储在一维查找表中，以更短的运行时间实现了可比的重训练精度。实验结果表明，在 CIFAR-10 数据集上使用卷积神经网络时，我们的 LUT-2D 和 LUT-1D 方法平均分别将重训练精度提高了 3.83% 和 3.72%。在 ImageNet 数据集上使用视觉 Transformer 模型时，与最先进的重训练框架相比，我们的 LUT-1D 方法平均将重训练精度提高了 23.69%。
引用
@article{arxiv.2509.10519,
title = {Gradient Estimation Methods of Approximate Multipliers for High-Accuracy Retraining of Deep Learning Models},
author = {Chang Meng and Wayne Burleson and Giovanni De Micheli},
journal= {arXiv preprint arXiv:2509.10519},
year = {2025}
}