Eyeriss v2：面向移动设备上新兴深度神经网络的灵活加速器
摘要
DNN开发的一个近期趋势是将深度学习应用的范围扩展到资源和能量更受限的平台，例如移动设备。这些努力旨在减小DNN模型尺寸并提高硬件处理效率，并产生了结构更紧凑和/或具有高数据稀疏性的DNN。这些紧凑或稀疏模型与传统大型模型的不同之处在于，它们的层形状和大小变化大得多，并且通常需要专用硬件来利用稀疏性以提升性能。因此，许多为大型DNN设计的DNN加速器在这些模型上表现不佳。在这项工作中，我们提出Eyeriss v2，一种为运行紧凑和稀疏DNN而设计的DNN加速器架构。为了应对广泛变化的层形状和大小，它引入了称为分层网格(hierarchical mesh)的高度灵活的片上网络，可以适应不同数据类型不同的数据复用量和带宽需求，从而提高了计算资源的利用率。此外，Eyeriss v2可以在压缩域中直接处理权重和激活的稀疏数据，因此能够利用稀疏模型提高处理速度和能量效率。总体而言，使用稀疏MobileNet，采用65nm CMOS工艺的Eyeriss v2在批大小为1时达到1470.6 inferences/sec的吞吐量和2560.3 inferences/J，比运行MobileNet的原始Eyeriss快12.6倍且能量效率高2.5倍。我们还提出了一种称为Eyexam的分析方法，它提供了一种系统性的方式来理解DNN处理器性能极限作为DNN模型和加速器设计具体特征的函数；它将这些特征作为顺序步骤应用，逐步收紧性能极限的界。
引用
@article{arxiv.1807.07928,
title = {Eyeriss v2: A Flexible Accelerator for Emerging Deep Neural Networks on Mobile Devices},
author = {Yu-Hsin Chen and Tien-Ju Yang and Joel Emer and Vivienne Sze},
journal= {arXiv preprint arXiv:1807.07928},
year = {2019}
}
备注
accepted for publication in IEEE Journal on Emerging and Selected Topics in Circuits and Systems. This extended version on arXiv also includes Eyexam in the appendix