通过多退出点增强基于 Dropout 的贝叶斯神经网络：面向 FPGA 的实现
机器学习
2024-06-25 v2
摘要
可靠的不确定性估计在医疗诊断和自动驾驶等安全关键应用中发挥着关键作用。近年来，由于其能够在准确预测的同时提供可靠不确定性估计，贝叶斯神经网络（BayesNNs）受到广泛关注。然而，贝叶斯神经网络的算法复杂度及其在硬件上的性能瓶颈，阻碍了其在实际应用中的部署。为弥合这一差距，本文提出一种算法与硬件协同设计框架，用于高效实现基于 FPGA 的贝叶斯神经网络加速器。在算法层面，本文提出一种采用多退出点 Dropout 机制的贝叶斯神经网络，既降低了计算和存储开销，又保持了高精度和优异的不确定性估计质量。在硬件层面，本文引入一种转换框架，可为所提出的高效多退出点贝叶斯神经网络生成 FPGA 加速器。通过引入时空映射的混合等多项优化技术，显著降低资源消耗并提升整体硬件性能。综合实验表明，与 CPU、GPU 及其他前沿硬件实现相比，我们的方法在能源效率方面具有显著优势。为支持后续研究发展，我们已在 https://github.com/os-hxfan/MCME_FPGA_Acc.git 开源代码。
引用
@article{arxiv.2406.14593,
title = {Enhancing Dropout-based Bayesian Neural Networks with Multi-Exit on FPGA},
author = {Hao Mark Chen and Liam Castelli and Martin Ferianc and Hongyu Zhou and Shuanglong Liu and Wayne Luk and Hongxiang Fan},
journal= {arXiv preprint arXiv:2406.14593},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2308.06849