Morph：面向基于 3D CNN 的视频理解灵活加速器
机器学习
2018-10-17 v1 硬件体系结构
神经与进化计算
机器学习
摘要
过去几年中，卷积神经网络（CNNs）的使用以及为使 CNN 推理实用化而设计的加速器均呈爆发式增长。在体系结构领域，大部分工作针对图像识别的 CNN 推理。作为密切相关问题的视频识别作为加速器目标受到的关注则少得多。这令人惊讶，因为视频识别比图像识别计算更为密集，且视频流量预计将在未来几年占互联网流量的大部分。本文通过提供设计空间探索与用于加速 3D 卷积神经网络（3D CNNs）——现代视频理解的核心核——的灵活架构，填补了视频识别算法与硬件进展之间的空白。与用于图像识别的（2D）CNN 相比，高效加速 3D CNN 因其巨大（且随时间变化）的内存占用与更高维度而带来显著工程挑战。为应对这些挑战，我们设计了一种称为 Morph 的新型加速器，它可根据每个目标 3D CNN 各层的需要自适应地支持不同的空间与时间分块策略。我们与 Morph 硬件协同设计了一个软件基础设施，以寻找控制硬件的合适参数。在最先进的 3D CNN 上评估，与基线 3D CNN 加速器相比，Morph 实现了高达 3.4 倍（平均 2.5 倍）的能耗降低，并将性能/瓦特提升高达 5.1 倍（平均 4 倍），面积开销为 5%。与 Eyeriss 相比，Morph 在 3D CNN 上进一步实现了平均 15.9 倍的能耗降低。
引用
@article{arxiv.1810.06807,
title = {Morph: Flexible Acceleration for 3D CNN-based Video Understanding},
author = {Kartik Hegde and Rohit Agrawal and Yulun Yao and Christopher W. Fletcher},
journal= {arXiv preprint arXiv:1810.06807},
year = {2018}
}
备注
Appears in the proceedings of the 51st Annual IEEE/ACM International Symposium on Microarchitecture (MICRO), 2018