训练循环神经网络以抵抗推理过程中的噪声计算

我们探究了当网络内部计算存在噪声时循环神经网络的鲁棒性。研究该问题的动机之一是通过使用模拟神经形态电路来降低神经网络运算常规计算的高功耗。传统的以 GPU/CPU 为中心的深度学习架构在功耗受限应用（如嵌入式系统中的语音识别）中存在瓶颈。使用专门的神经形态电路，其中通过记忆单元阵列传递的模拟信号被感测以完成矩阵-向量乘法，有望大幅节省功耗并提升速度，但也带来了计算精度有限与不可避免模拟噪声的问题。本文提出一种称为深度噪声注入训练（Deep Noise Injection training）的方法，用于训练 RNN 以获得一组在推理过程中对噪声计算更具鲁棒性的权重/偏置。我们探索了若干 RNN 架构，如 vanilla RNN 与长短期记忆（LSTM），并表明在深度噪声注入训练收敛后，所训练的权重/偏置集在推理时进入网络的广泛噪声功率范围内具有更一致的性能。令人惊讶的是，我们发现深度噪声注入训练即使在数值精确推理下也能改善某些网络的整体性能。