面向 FPGA 的硬件感知神经 dropout 搜索与可靠不确定性预测
机器学习
2024-06-25 v1 硬件体系结构
摘要
人工智能 (AI) 的日益广泛部署放大了可信 AI 的必要性，其中不确定性估计在确保可信度方面起着关键作用。基于 dropout 的贝叶斯神经网络 (BayesNNs) 在这一领域中占据重要地位，能够提供可靠的不确定性估计。尽管其有效性显而易见，但现有的基于 dropout 的 BayesNNs 通常在不同层上采用均匀的 dropout 设计，导致性能次优。此外，随着不同应用需要针对最佳性能定制 dropout 策略，手动为各种应用优化 dropout 配置既容易出错又十分费力。为此，本文提出一种新型的神经网络 dropout 搜索框架，用于自动优化基于 dropout 的 BayesNNs 及其在 FPGA 上的硬件实现。我们利用一种-shot 超网络训练结合遗传算法进行高效的 dropout 优化。引入基于层的 dropout 搜索空间，以实现异构 dropout 配置的基于 dropout 的 BayesNNs 的自动化设计。大量实验表明，我们提出的框架能够有效地在帕累托前沿上找到设计配置。相对于在 GPU 上手动设计的基于 dropout 的 BayesNNs，我们的方法在 FPGA 上实现的设计可实现最高 33 倍的能源效率提升。相对于当前最先进的 FPGA BayesNN 设计，来自我们方法的解决方案在算法性能和能源效率方面都能实现更高水平。
引用
@article{arxiv.2406.16198,
title = {Hardware-Aware Neural Dropout Search for Reliable Uncertainty Prediction on FPGA},
author = {Zehuan Zhang and Hongxiang Fan and Hao Mark Chen and Lukasz Dudziak and Wayne Luk},
journal= {arXiv preprint arXiv:2406.16198},
year = {2024}
}
备注
Design Automation Conference (DAC) 2024