物理前馈神经网络中的噪声抑制策略

物理神经网络是下一代人工智能硬件的有希望的候选者。在此类架构中，神经元与连接是物理实现的，并不利用具有近乎无限信噪比的数字概念来编码、转导和变换信息。因此它们易于受到具有多种统计与架构特性的噪声影响，而在追求下一代神经网络硬件的过程中，利用网络固有资源以硬件高效的方式抑制噪声的有效策略十分重要。基于解析推导，我们在此引入并分析了多种不同的噪声抑制方法。我们解析地证明，当连接矩阵的平方均值大于其平方的均值时，层内连接可完全抑制不相关噪声。我们进一步针对在神经元群体间不相关与相关的噪声发展了两种协同策略。首先，我们引入幽灵神经元的概念，其中每一组受相关噪声扰动的神经元与一个单一神经元具有负连接，但该单一神经元不接收任何输入信息。其次，我们证明神经元群体的池化是抑制不相关噪声的一种高效方法。据此，我们发展了一种利用模拟硬件中最相关的不同噪声项统计特性的通用噪声抑制策略。最后，我们在训练好的、分类 MNIST 手写数字的神经网络上证明了该组合方法的有效性，其输出信噪比提升了 4 倍，并将分类准确率提高到几乎达到无噪声网络的水平。