Bit-Tactical：利用卷积神经网络中的无效计算——哪些、为何与如何
神经与进化计算
2018-03-13 v1
摘要
我们表明，在使用卷积神经网络（CNNs）进行推理时，若不以那些为零的权重和激活为目标，而是以值流属性的不同组合为目标，可暴露出超过 2 倍至 的无效工作。我们展示了一种实际应用 Bit-Tactical（TCL），这是一种硬件加速器，它利用权重稀疏性、逐层精度可变性以及激活的动态细粒度精度缩减，并可选利用激活中自然出现的稀疏有效比特内容，以提升性能与能效。TCL 同时有益于稀疏与稠密 CNN，原生支持卷积层与全连接层，并利用所有激活的属性来降低存储、通信与计算需求。尽管 TCL 无需修改 CNN 即可带来收益，但它确实会奖励任何能放大上述权重与激活值属性的技术。相较于用于稠密 CNN 的等效数据并行加速器，TCL 的变体 TCLp 将性能提升 5.05 倍且能效提高 2.98 倍，同时面积增加 22%。
引用
@article{arxiv.1803.03688,
title = {Bit-Tactical: Exploiting Ineffectual Computations in Convolutional Neural Networks: Which, Why, and How},
author = {Alberto Delmas and Patrick Judd and Dylan Malone Stuart and Zissis Poulos and Mostafa Mahmoud and Sayeh Sharify and Milos Nikolic and Andreas Moshovos},
journal= {arXiv preprint arXiv:1803.03688},
year = {2018}
}
备注
An earlier version of this work titled "JaZ: Enabling Innovation Towards Chaff-Free Deep Learning Computing" was submitted for blind review