UCNN：利用深度神经网络中权重重复的计算复用
神经与进化计算
2018-04-19 v1 机器学习
摘要
卷积神经网络（CNNs）因其高准确率及每次运算的机器效率，已开始渗透电子社会的各个角落（从语音识别到场景生成）。CNN 计算的核心在于权重向量与输入向量之间的多维点积。本文研究了如何利用权重重复——即同一权重在权重向量内部或跨权重向量多次出现——在 CNN 推理过程中节省能耗并提升性能。这将一类旨在利用 CNN 权重稀疏性提升效率的流行工作进行了推广，因为由重复零权重减少计算只是由重复权重减少计算的一个特例。为利用权重重复，本文提出了一种称为唯一权重 CNN 加速器（UCNN）的新型 CNN 加速器。UCNN 利用权重重复来复用 CNN 子计算（如点积），并减小存储在片外 DRAM 中的 CNN 模型大小——二者均节省能耗。UCNN 进一步通过利用权重中的稀疏性来提升性能。我们使用加速器级周期与能耗模型以及 UCNN 处理单元的 RTL 实现来评估 UCNN。在三个当代 CNN 上，相对于采用 Eyeriss 式稀疏性优化的同等配置基线加速器，UCNN 将吞吐率归一化能耗降低了 1.2 倍至 4 倍。同时，UCNN 处理单元相对于同一基线仅增加了 17–24% 的面积开销。
引用
@article{arxiv.1804.06508,
title = {UCNN: Exploiting Computational Reuse in Deep Neural Networks via Weight Repetition},
author = {Kartik Hegde and Jiyong Yu and Rohit Agrawal and Mengjia Yan and Michael Pellauer and Christopher W. Fletcher},
journal= {arXiv preprint arXiv:1804.06508},
year = {2018}
}
备注
Appears in the proceedings of the 45th International Symposium on Computer Architecture~(ISCA), 2018