在基于 FPGA 的加速器上优化贝叶斯循环神经网络
机器学习
2021-11-09 v3
摘要
神经网络已在广泛任务中展现出卓越性能。具体而言，基于长短期记忆（LSTM）单元的记忆（recurrent）架构在建模真实世界数据中的时间依赖关系上表现出优异能力。然而，标准循环架构无法估计其不确定性，而这对于医学等安全关键应用至关重要。相比之下，贝叶斯循环神经网络（RNN）能够提供不确定性估计且精度更高。尽管如此，贝叶斯 RNN 计算与存储开销大，这限制了其实用性。为解决该问题，我们提出一种基于 FPGA 的硬件设计以加速基于贝叶斯 LSTM 的 RNN。为进一步提升整体算法-硬件性能，提出一种协同设计框架来探索贝叶斯 RNN 最适配的算法-硬件配置。我们在医疗应用上进行大量实验以证明我们设计的改进与框架的有效性。与 GPU 实现相比，我们基于 FPGA 的设计可实现高达 10 倍加速且能效高出近 106 倍。据我们所知，这是首个面向 FPGA 上贝叶斯 RNN 加速的工作。
引用
@article{arxiv.2106.06048,
title = {Optimizing Bayesian Recurrent Neural Networks on an FPGA-based Accelerator},
author = {Martin Ferianc and Zhiqiang Que and Hongxiang Fan and Wayne Luk and Miguel Rodrigues},
journal= {arXiv preprint arXiv:2106.06048},
year = {2021}
}
备注
Accepted to FPT'21. Martin Ferianc and Zhiqiang Que share an equal contribution. Updated copyright footer