利用操作数汉明距离优化提升神经网络加速器效率
计算机视觉与模式识别
2020-02-14 v1 机器学习
摘要
神经网络加速器是端侧 AI 推理的关键赋能技术，其能效是一项重要指标。数据通路能耗，包括计算能耗与算术单元间数据搬移能耗，占加速器总能耗的显著部分。通过重新审视算术逻辑电路的基本物理特性，我们表明数据通路能耗与将输入操作数流入算术单元时的比特翻转高度相关，定义为输入操作数矩阵的汉明距离。基于该洞见，我们提出一种训练后优化算法与一种汉明距离感知训练算法，以协同设计与协同优化加速器和网络。基于 MobileNetV2 的布局后仿真实验结果表明，平均实现 2.85 倍数据通路能耗降低，某些层最高达 8.51 倍数据通路能耗降低。
引用
@article{arxiv.2002.05293,
title = {Improving Efficiency in Neural Network Accelerator Using Operands Hamming Distance optimization},
author = {Meng Li and Yilei Li and Pierce Chuang and Liangzhen Lai and Vikas Chandra},
journal= {arXiv preprint arXiv:2002.05293},
year = {2020}
}
备注
12 pages, 10 figures, 6 tables