基于永久丢弃的神经网络近似贝叶斯推断的神经形态加速
机器学习
2019-05-01 v1 机器学习
神经与进化计算
摘要
随着神经网络开始承担日益关键的社会任务，从驾驶汽车到识别药物开发候选者，其在预测中进行不确定性量化（UQ）的能力价值也随之上升。永久丢弃（permanent dropout）作为一种流行的神经网络UQ方法，在模型的推理阶段注入随机性，并为每个测试数据生成许多预测。这将深度神经网络的计算与能量负担从训练阶段转移到推理阶段。近期工作已展示经典深度神经网络到其脉冲对应物的近乎无损转换。我们利用这些结果证明了在脉冲神经网络上以永久丢弃进行推理阶段的可行性，从而缓解该技术的计算与能量负担，这对于其在规模应用或边缘平台上的使用至关重要。我们通过Nengo脉冲神经模拟器在用于癌症治疗的联合药物治疗数据集上演示了所提方法，其中UQ至关重要。我们的结果表明，脉冲近似给出的预测分布与经典网络给出的几乎无法区分。
引用
@article{arxiv.1904.12904,
title = {Neuromorphic Acceleration for Approximate Bayesian Inference on Neural Networks via Permanent Dropout},
author = {Nathan Wycoff and Prasanna Balaprakash and Fangfang Xia},
journal= {arXiv preprint arXiv:1904.12904},
year = {2019}
}
备注
4 pages, 4 figures. Submitted to International Conference on Neuromorphic Systems (ICONS) 2019