面向噪声计算的深度神经网络加固

深度学习的成功催生了大量设计专为神经网络推理高计算需求优化的计算机硬件的 interest。随着数字CMOS处理器的进一步 miniaturization 变得日益具有挑战性，类比计算等替代计算范式正受到关注。特别是对于诸如矩阵乘法等计算密集型任务，类比计算因其在能源效率上远超传统数字技术的潜力而呈现出广阔的前景。然而，类比计算本质上是噪声的，这使得维持深度神经网络高精度的挑战重重。本工作研究了通过量化来增强神经网络对噪声鲁棒性的有效性。跨各种网络结构的实验结果表明，采用恒定缩放因子的量化感知训练可提升鲁棒性。我们将这些方法与纯噪声训练进行比较，后者在训练期间注入模拟推理期间遇到的噪声。虽然两种方法都能提高对噪声的容忍度，但噪声训练在实现鲁棒神经网络性能方面尤其擅长于复杂的神经网络架构。