用于卷积神经网络的多模式推理引擎
硬件体系结构
2017-12-13 v1
摘要
过去几年中，由于卷积神经网络（CNNs）在广泛识别和分类任务上的优异性能，对其兴趣持续上升。然而，它们受制于卷积层中高维卷积所带来的高复杂度。在硬件资源有限且功耗和延迟约束严格的情况下，CNNs 的高计算复杂度使其难以被利用。硬件方案努力使用低功耗技术降低功耗，并通过增加处理元素（PEs）数量来限制处理时间。尽管大多数 ASIC 设计宣称峰值性能为每秒数百吉操作，但当应用于 AlexNet、VGGNet 和 ResNet 等当前最优 CNN 时，其平均性能大幅降低，导致资源利用率低下。其性能效率平均限于不到 55%，这导致了不必要的处理延迟和硅面积开销。本文中，我们提出一种数据流，可使用相同 PEs 执行任意滤波器/层大小的全连接和卷积计算。然后我们基于所提数据流引入了多模式推理引擎（MMIE）。最后，我们展示了所提 MMIE 在执行三种著名 CNN（即 AlexNet、VGGNet 和 ResNet）计算时实现了超过 84% 的性能效率，在能耗、处理延迟和硅面积方面优于当前最优架构。
引用
@article{arxiv.1712.03994,
title = {Multi-Mode Inference Engine for Convolutional Neural Networks},
author = {Arash Ardakani and Carlo Condo and Warren J. Gross},
journal= {arXiv preprint arXiv:1712.03994},
year = {2017}
}