游走噪声：神经架构针对噪声计算及其相关学习动态的层级鲁棒性研究

深度神经网络在各类应用中取得了极大成功，但其计算需求与能耗极高。技术缩放放缓使这一问题更加严峻，促使我们需要新的方法来处理日益复杂的神经架构。与此同时，诸如模拟计算等有望在能效上取得突破性进展的替代计算技术，也不可避免地伴随着噪声与不精确的计算。此类带噪计算具有更高的能效，且在固定功率预算下也更具时间效率。然而，如同任何不安全的优化一样，它们需要采取对策以确保功能正确的结果。本研究以抽象形式考虑带噪计算，旨在理解此类噪声对作为示例工作负载的神经网络分类器准确性的影响。我们提出了一种名为游走噪声（Walking Noise）的方法，通过注入层级特定的噪声来测量鲁棒性，并为学习动态提供见解。具体而言，我们研究了加性噪声、乘性噪声和混合噪声对不同分类任务和模型架构的影响。尽管带噪训练显著提升了所有噪声类型下的鲁棒性，我们特别观察到，这会导致权重幅值增加，从而在本质上改善加性噪声注入下的信噪比。相反，使用乘性噪声训练会导致模型参数的一种自二值化（self-binarization）形式，从而带来极高的鲁棒性。最后，我们讨论了该方法在实际中的应用，包括其在噪声环境中定制化多次执行的使用。