PERMDNN：基于置换对角矩阵的高效压缩DNN架构
计算机视觉与模式识别
2020-04-24 v1 硬件体系结构
摘要
深度神经网络（DNN）已成为最重要和最流行的人工智能（AI）技术。模型尺寸的增长对底层计算平台构成了关键的能效挑战。因此，模型压缩成为一个关键问题。然而，当前的方法受限于各种缺点。具体而言，网络稀疏化方法存在不规则性、启发式特性和大量索引开销的问题。另一方面，最近基于结构化矩阵的方法（即CirCNN）受限于相对复杂的算术计算（即FFT）、不够灵活的压缩率，以及无法充分利用输入稀疏性。为了解决这些缺点，本文提出PermDNN，一种使用置换对角矩阵生成和执行硬件友好的结构化稀疏DNN模型的新方法。与非结构化稀疏化方法相比，PermDNN消除了索引开销、非启发式压缩效果和耗时的重训练等缺点。与施加循环结构的方法相比，PermDNN具有计算复杂度降低更多、压缩率灵活、算术计算简单以及充分利用输入稀疏性等优势。我们提出了PermDNN架构，一种面向多处理单元（PE）全连接（FC）层的计算引擎。整个架构高度可扩展且灵活，因此能够支持不同模型配置下不同应用的需求。我们使用CMOS 28nm工艺实现了一个32-PE的设计。与EIE相比，PermDNN在不同工作负载上实现了3.3倍至4.8倍的更高吞吐量、5.9倍至8.5倍的更好面积效率以及2.8倍至4.0倍的更好能效。与CirCNN相比，PermDNN实现了11.51倍的更高吞吐量和3.89倍的更好能效。
引用
@article{arxiv.2004.10936,
title = {PERMDNN: Efficient Compressed DNN Architecture with Permuted Diagonal Matrices},
author = {Chunhua Deng and Siyu Liao and Yi Xie and Keshab K. Parhi and Xuehai Qian and Bo Yuan},
journal= {arXiv preprint arXiv:2004.10936},
year = {2020}
}