Spatial-SpinDrop:基于空间丢弃的二值贝叶斯神经网络及其自旋电子学实现
机器学习
2023-06-21 v1 人工智能
硬件体系结构
新兴技术
摘要
近年来,机器学习系统在自动驾驶和工业自动化等实时关键决策领域日益重要。其实现应通过不确定性估计来避免过于自信的预测。贝叶斯神经网络(BayNN)是估计预测不确定性的原则性方法。然而,其计算成本和功耗阻碍了它们在边缘 AI 中的广泛部署。利用 Dropout 作为后验分布的近似、将 BayNN 的参数二值化,并进一步在基于自旋电子学的存内计算(CiM)硬件阵列中实现,可作为一种可行方案。然而,为卷积神经网络(CNN)拓扑设计硬件 Dropout 模块具有挑战性且成本高昂,因为它们可能需要大量 Dropout 模块并需利用空间信息丢弃特定元素。本文提出 MC-SpatialDropout,一种基于空间丢弃的近似 BayNN,采用自旋电子学新兴器件。与现有实现相比,我们的方法利用自旋电子器件固有的随机性来高效实现空间丢弃模块。此外,每层 Dropout 模块数量减少了 ,能耗降低了 ,同时与相关工作的预测性能和不确定性估计相当。
引用
@article{arxiv.2306.10185,
title = {Spatial-SpinDrop: Spatial Dropout-based Binary Bayesian Neural Network with Spintronics Implementation},
author = {Soyed Tuhin Ahmed and Kamal Danouchi and Michael Hefenbrock and Guillaume Prenat and Lorena Anghel and Mehdi B. Tahoori},
journal= {arXiv preprint arXiv:2306.10185},
year = {2023}
}