FINN-L：面向 FPGA 上可变精度 LSTM 网络的库扩展与设计权衡分析
计算机视觉与模式识别
2018-07-13 v1 硬件体系结构
机器学习
摘要
众所周知，许多类型的人工神经网络，包括循环网络，即使使用低精度权重和激活也能实现高分类准确率。精度的降低通常能在硬件成本、存储需求、能耗和可达吞吐量方面产生更高效的硬件实现。在本文中，我们首次对双向长短期记忆（BiLSTM）神经网络的精度相关设计空间进行了系统性探索。具体而言，我们采用全硬件感知训练流程深入研究了精度与准确率的关系，该流程在训练期间考虑了网络所有方面的量化，包括权重、输入、输出和内存中单元激活。此外，作为 BiLSTM 基于 FPGA 实现的精度的函数，探讨了硬件资源成本、功耗和吞吐量可扩展性，以及多种硬件并行化方法。我们提供了首个 FINN 的开源 HLS 库扩展，用于 FPGA 上 LSTM 层的可参数化硬件架构，其提供完全的精度灵活性并允许在架构内提供不同并行度级别的可参数化性能扩展。基于该库，我们提出了一种用于光学字符识别的 BiLSTM 神经网络基于 FPGA 的加速器，以及针对 Zynq UltraScale+ XCZU7EV MPSoC 在给定设计空间内的众多其他实验验证点。
引用
@article{arxiv.1807.04093,
title = {FINN-L: Library Extensions and Design Trade-off Analysis for Variable Precision LSTM Networks on FPGAs},
author = {Vladimir Rybalkin and Alessandro Pappalardo and Muhammad Mohsin Ghaffar and Giulio Gambardella and Norbert Wehn and Michaela Blott},
journal= {arXiv preprint arXiv:1807.04093},
year = {2018}
}
备注
Accepted for publication, 28th International Conference on Field Programmable Logic and Applications (FPL), August, 2018, Dublin, Ireland