CUTIE：超越 PetaOp/s/W 的三元 DNN 推理加速与优于二值网络的能效
硬件体系结构
2021-02-05 v2
摘要
我们提出了一种面向三元神经网络的 3.1 POp/s/W 全数字硬件加速器。CUTIE，即完全展开三元推理引擎（Completely Unrolled Ternary Inference Engine），致力于最小化非计算能耗与开关活动，从而将存储（局部或全局）中间结果所消耗的动态功耗降至最低。这通过以下方式实现：1）在特征图与滤波器维度上完全展开的数据通路架构，通过以静默取代迭代计算并最大化数据复用从而降低开关活动；2）面向三元神经网络，其与二值神经网络不同，允许稀疏权重以减少开关活动；3）引入一种优化训练方法以提高滤波器权重的稀疏性，从而进一步降低开关活动。与最先进加速器相比，CUTIE 在达到更高或同等精度的同时，将核心推理总能耗降低了 4.8 倍至 21 倍。
引用
@article{arxiv.2011.01713,
title = {CUTIE: Beyond PetaOp/s/W Ternary DNN Inference Acceleration with Better-than-Binary Energy Efficiency},
author = {Moritz Scherer and Georg Rutishauser and Lukas Cavigelli and Luca Benini},
journal= {arXiv preprint arXiv:2011.01713},
year = {2021}
}