精确容错模拟神经网络的蓝图

模拟计算因其克服传统数字架构带来的能效与可扩展性挑战的潜力，已重新成为加速深度神经网络（DNNs）的一种有前景途径。然而，使用此类技术实现高精度和 DNN 准确率具有挑战性，因为高精度数据转换器成本高昂且不切实际。在本文中，我们通过使用残数系统（RNS）来解决这一挑战。RNS 允许由多个低精度操作组合出高精度操作，从而消除由数据转换器有限精度导致的信息损失。我们的研究表明，采用基于 RNS 方法的模拟加速器在使用仅 $6$ 位精度的数据转换器时，可实现最先进 DNN 推理的 FP32 准确率的 ${\geq}99\%$，而传统模拟核需要超过 $8$ 位精度才能在同一 DNN 中达到相同准确率。降低的精度要求意味着使用 RNS 可在保持相同吞吐量与精度的同时，将模拟加速器的能耗降低数个数量级。我们的研究将该方法扩展至 DNN 训练，其中我们可以使用 $7$ 位整数算术高效训练 DNN，同时实现与 FP32 精度相当的准确率。最后，我们提出一种使用冗余 RNS 纠错码的容错数据流，以保护计算免受模拟加速器固有的噪声与错误影响。