AX-DBN：一种用于设计低功耗判别深度信念网络的近似计算框架
图像与视频处理
2019-03-27 v2 神经与进化计算
摘要
深度学习算法嵌入式硬件实现的功耗预算可能极为紧张。为应对此类领域中的实现挑战，近似计算等新的设计范式已引起显著关注。近似计算利用了深度学习算法固有的误差弹性，这一特性使它们适合部署于低功耗计算平台。本文描述了一种用于随机深度学习算法类（称为深度信念网络（DBNs））架构的近似计算设计方法学 AX-DBN。具体而言，我们考虑高效实现判别深度信念网络（DDBN）的步骤，这是一种用于分类任务的随机神经网络，将近似计算从确定性神经网络的分析扩展到随机神经网络。为优化 DDBN 的硬件实现，我们探索了以下用途：（a）神经元的有限精度和激活函数的功能近似；（b）关键性分析以识别网络中可以以降低精度运行的节点，同时使网络维持目标精度水平；以及（c）一种带增量再训练的贪心搜索方法学，以确定所有神经元精度的最优降低以最大化功耗节省。使用本文提出的 AX-DBN 方法学，我们给出了跨多种网络架构的实验结果，显示在用户指定精度损失约束下相对于理想全精度实现有显著的功耗节省。
引用
@article{arxiv.1903.04659,
title = {AX-DBN: An Approximate Computing Framework for the Design of Low-Power Discriminative Deep Belief Networks},
author = {Ian Colbert and Ken Kreutz-Delgado and Srinjoy Das},
journal= {arXiv preprint arXiv:1903.04659},
year = {2019}
}