噪声机器：理解噪声神经网络并利用蒸馏增强其对模拟硬件错误的鲁棒性
机器学习
2020-01-15 v1 人工智能
硬件体系结构
机器学习
摘要
深度学习的成功引发了对计算机硬件设计的浓厚兴趣，以更好地满足神经网络推理的高需求。特别是，基于电子、光学或光子器件的模拟计算硬件被大力推动用于加速神经网络，其功耗很可能低于传统数字电子器件。然而，这些拟议的模拟加速器受其物理组件产生的固有噪声影响，使得在深度神经网络上难以实现高精度。因此，要在模拟加速器上成功部署，必须能够训练对网络权重中随机连续噪声具有鲁棒性的深度神经网络，这在机器学习中是一个较新的挑战。本文中，我们增进了对噪声神经网络的理解。我们阐明了噪声神经网络因其输入与输出间互信息的损失而导致学习能力下降。为此，我们提出在训练期间结合噪声注入使用知识蒸馏来获得对噪声更鲁棒的网络，并在包括 ImageNet 在内的不同网络和数据集上通过实验进行了验证。与先前最佳尝试相比，我们的方法实现的模型噪声容忍度高达两倍，这是使模拟硬件用于深度学习的重要一步。
引用
@article{arxiv.2001.04974,
title = {Noisy Machines: Understanding Noisy Neural Networks and Enhancing Robustness to Analog Hardware Errors Using Distillation},
author = {Chuteng Zhou and Prad Kadambi and Matthew Mattina and Paul N. Whatmough},
journal= {arXiv preprint arXiv:2001.04974},
year = {2020}
}