提升混合信号神经网络的噪声容限
新兴技术
2019-04-04 v1 神经与进化计算
摘要
用于深度学习的混合信号硬件加速器比数字加速器在功耗效率上高出一个数量级。在超低功耗 regime 下，模拟计算固有的有限信号精度成为挑战。我们对运行在混合信号加速器上的 6 层卷积神经网络进行案例研究，并评估其对硬件特定噪声的敏感性。我们应用多种方法提升网络的噪声鲁棒性，并展示了一种通过自适应信号截断优化有用信号范围的有效方式。所得模型具有足够鲁棒性，在仅 1.4 mW 功耗预算下于 CIFAR-10 数据集上达到 80.2% 分类准确率，而 6 mW 预算下可达到 87.1% 准确率，距软件基线在 1% 以内。作为对比，同一模型未优化版本在 1.4 mW 下仅达 67.7% 准确率，在 6 mW 下为 78.6%。
引用
@article{arxiv.1904.01705,
title = {Improving Noise Tolerance of Mixed-Signal Neural Networks},
author = {Michael Klachko and Mohammad Reza Mahmoodi and Dmitri B. Strukov},
journal= {arXiv preprint arXiv:1904.01705},
year = {2019}
}
备注
Accepted for publication in IJCNN 2019