基于 FPGA 数据流平台的大规模量化神经网络流式架构
计算机视觉与模式识别
2019-05-20 v3 硬件体系结构
机器学习
摘要
深度神经网络(DNNs)被运行于从物联网设备到超级计算机的各类计算机架构上的不同应用所使用。这些网络的占用空间及其计算和通信需求均十分庞大。为了缓解资源压力，研究表明在许多情况下，权重和其他参数的低精度表示（每个参数 1-2 比特）可以在需要更少资源的同时达到相似的准确率。使用量化值使得利用 FPGA 运行神经网络成为可能，因为 FPGA 非常适合这些原语；例如，FPGA 对按位运算提供高效支持，并且可以处理任意精度的数字表示。本文提出了一种在 FPGA 上运行量化神经网络(QNNs)的新型流式架构。所提出的架构比替代方案具有更好的横向扩展能力，使我们能够利用多 FPGA 系统。我们还加入了对最先进神经网络中使用的跳跃连接的支持，并表明我们的架构几乎可以无代价地添加这些连接。所有这些使我们能够实现一个用于 224x224 图像分类的 18 层 ResNet，达到 57.5% 的 top-1 准确率。此外，我们实现了一个全尺寸的量化 AlexNet。与以往工作不同，我们使用 2 比特激活而非 1 比特激活，这使得 AlexNet 在 ImageNet 分类上的 top-1 准确率从 41.8% 提升至 51.03%。AlexNet 和 ResNet 均可在 FPGA 上处理 1000 类实时分类。与在最新 Nvidia GPU 上的相同神经网络相比，我们实现的 ResNet-18 在 ImageNet 上功耗降低了 5 倍，速度慢了 4 倍。对于适合单个 FPGA 的较小神经网络，在小型 (32x32) 输入上运行速度快于 GPU，同时能耗和功耗最多降低 20 倍。
引用
@article{arxiv.1708.00052,
title = {Streaming Architecture for Large-Scale Quantized Neural Networks on an FPGA-Based Dataflow Platform},
author = {Chaim Baskin and Natan Liss and Evgenii Zheltonozhskii and Alex M. Bronshtein and Avi Mendelson},
journal= {arXiv preprint arXiv:1708.00052},
year = {2019}
}
备注
Will appear in RAW 2018