利用神经网络统计特性实现低功耗 DNN 推理
机器学习
2023-11-10 v1 硬件体系结构
摘要
专为高效 DNN 执行而设计的专用计算模块已被开发出来。然而，由于海量数据与参数搬移，互连与片上存储器构成了另一瓶颈，损害了功耗与性能。本工作通过提出一种面向边缘 AI 推理引擎的低功耗技术来解决该瓶颈，该技术将零开销编码与对神经网络数据和参数的统计分析相结合。我们的方法在最新基准测试中将互连与存储器功耗降低多达 80%，同时通过为计算模块提供多达 39% 的额外功耗节省。这些功耗改进在精度无损失且硬件成本可忽略的情况下实现。
引用
@article{arxiv.2311.05557,
title = {Exploiting Neural-Network Statistics for Low-Power DNN Inference},
author = {Lennart Bamberg and Ardalan Najafi and Alberto Garcia-Ortiz},
journal= {arXiv preprint arXiv:2311.05557},
year = {2023}
}