结合梯度与概率的神经网络异构近似
机器学习
2022-08-16 v1
摘要
本工作探索为神经网络寻找产生高精度和低能耗的异构近似乘法器配置。我们讨论了将加性高斯噪声加入精确神经网络计算作为近似乘法器行为仿真的代理模型的有效性。由加性高斯噪声模型所张开的求解空间的连续且可微特性被用作一种启发式方法，可在无需组合优化技术的情况下生成层鲁棒性的有意义估计。相反，注入精确计算的噪声量在网络训练期间通过反向传播学习。提出了乘法器误差的概率模型以弥合域间差距；该模型估计近似乘法器误差的标准差，将加性高斯噪声空间中的解连接到实际硬件实例。我们的实验表明，对于 CIFAR-10 数据集上不同 ResNet 变体，异构近似与神经网络再训练相结合将乘法能耗降低 70% 至 79%，且 Top-1 准确率损失低于一个百分点。对于更复杂的 Tiny ImageNet 任务，我们的 VGG16 模型实现了 53% 的能耗降低，Top-5 准确率下降 0.5 个百分点。我们进一步证明，我们的误差模型能在常用加性高斯噪声（AGN）模型背景下高精度预测近似乘法器的参数。我们的软件实现可在 https://github.com/etrommer/agn-approx 获取。
引用
@article{arxiv.2208.07265,
title = {Combining Gradients and Probabilities for Heterogeneous Approximation of Neural Networks},
author = {Elias Trommer and Bernd Waschneck and Akash Kumar},
journal= {arXiv preprint arXiv:2208.07265},
year = {2022}
}
备注
Accepted at International Conference on Computer-Aided Design (ICCAD) 2022