面向 DNN 加速器的控制变量近似
机器学习
2022-03-16 v1 硬件体系结构
摘要
在本工作中，我们引入了一种用于低误差近似深度神经网络（DNN）加速器的控制变量近似技术。控制变量技术用于蒙特卡洛方法以实现方差缩减。我们的方法显著降低了 DNN 推理中由近似乘法引起的误差，且相较于最先进方法无需耗费大量时间的重训练。利用我们的控制变量方法，我们使用高度近似的乘法器来生成功耗优化的 DNN 加速器。我们在六个 DNN 上针对 Cifar-10 与 Cifar-100 数据集的实验评估表明，与精确设计相比，我们的控制变量近似在仅 0.16% 精度损失下实现了相同性能与 24% 的功耗降低。
引用
@article{arxiv.2102.09642,
title = {Control Variate Approximation for DNN Accelerators},
author = {Georgios Zervakis and Ourania Spantidi and Iraklis Anagnostopoulos and Hussam Amrouch and Jörg Henkel},
journal= {arXiv preprint arXiv:2102.09642},
year = {2022}
}
备注
Accepted for publication at the 58th Design Automation Conference (DAC'21), December 5-9, 2021, San Francisco, USA