面向高能效 DNN 加速器的比特错误鲁棒性
机器学习
2021-04-12 v3 硬件体系结构
密码学与安全
计算机视觉与模式识别
机器学习
摘要
深度神经网络（DNN）加速器由于相比主流硬件节省能量，在过去几年中受到相当多的关注。DNN 加速器的低电压运行可进一步显著降低能耗，但会导致存储量化 DNN 权重的存储器中出现比特级故障。在本文中，我们表明，鲁棒定点量化、权重截断与随机比特错误训练（RandBET）相结合，可显著提升（量化）DNN 权重对随机比特错误的鲁棒性。这带来了来自低电压运行与低精度量化两方面的显著能量节省。我们的方法可泛化至不同工作电压与加速器，这一点在来自实测 SRAM 阵列的比特错误上得到了验证。我们还讨论了为何仅权重截断已是达成比特错误鲁棒性的一种相当有效的方式。此外，我们具体讨论了关于精度、鲁棒性与量化精度之间的权衡：与正常训练的 8 位 DNN 相比，在不损失超过 1% 精度的情况下，我们能在 CIFAR-10 上降低 20% 的能耗。更高的节能，例如 30%，是可能的，代价是 2.5% 的精度损失，即便对于 4 位 DNN 也是如此。
引用
@article{arxiv.2006.13977,
title = {Bit Error Robustness for Energy-Efficient DNN Accelerators},
author = {David Stutz and Nandhini Chandramoorthy and Matthias Hein and Bernt Schiele},
journal= {arXiv preprint arXiv:2006.13977},
year = {2021}
}