CirCNN：利用块循环权重矩阵加速与压缩深度神经网络
计算机视觉与模式识别
2017-09-11 v1 人工智能
机器学习
机器学习
摘要
大规模深度神经网络（DNNs）在计算和存储上均密集。随着 DNNs 规模持续增长，在保持精度的同时提升能效与性能至关重要。对于 DNNs，模型大小是影响性能、可扩展性和能效的重要因素。权重剪枝取得了良好的压缩比，但存在三个缺陷：1）剪枝后网络结构不规则；2）训练复杂度增加；3）缺乏压缩比和推理精度的严格保证。为克服这些局限，本文提出 CirCNN，一种利用块循环矩阵表示权重和处理神经网络的原则性方法。CirCNN 利用基于快速傅里叶变换（FFT）的快速乘法，同时将计算复杂度（推理与训练）从 O(n2) 降至 O(nlogn)，存储复杂度从 O(n2) 降至 O(n)，且精度损失可忽略。与其他方法相比，CirCNN 因其数学严谨性而独特：它可收敛到与未压缩 DNNs 同等的效能。CirCNN 架构是一种通用的 DNN 推理引擎，可在具有可配置网络架构的各种硬件/软件平台上实现。为展示性能与能效，我们在 FPGA、ASIC 和嵌入式处理器上测试了 CirCNN。我们的结果表明 CirCNN 架构以较小的硬件占用实现了极高的能效与性能。基于 FPGA 实现和 ASIC 综合结果，CirCNN 相比最佳前沿结果实现了 6-102X 的能效提升。
引用
@article{arxiv.1708.08917,
title = {CirCNN: Accelerating and Compressing Deep Neural Networks Using Block-CirculantWeight Matrices},
author = {Caiwen Ding and Siyu Liao and Yanzhi Wang and Zhe Li and Ning Liu and Youwei Zhuo and Chao Wang and Xuehai Qian and Yu Bai and Geng Yuan and Xiaolong Ma and Yipeng Zhang and Jian Tang and Qinru Qiu and Xue Lin and Bo Yuan},
journal= {arXiv preprint arXiv:1708.08917},
year = {2017}
}
备注
14 pages, 15 Figures, conference