方差感知噪声训练:增强 DNN 抵御不稳定模拟计算的能力
机器学习
2025-09-12 v2
摘要
深度学习的计算需求与计算硬件能力之间的差距正在急剧扩大。尽管深度学习在无数任务中取得了卓越的性能,但其对算力和能耗的不断攀升的需求已超越了包括 Apple Neural Engine 和 NVIDIA TensorCores 在内的专用神经网络处理单元的可持续极限。CMOS 微缩步伐的放缓加剧了这一挑战。模拟计算提供了一种极具前景的替代方案,通过直接操控电流、电压、电荷或光子等物理量,显著提升能效。然而,其天生易受制造工艺偏差、非线性和噪声的影响,导致预测精度下降。噪声训练是增强鲁棒性最有效的技术之一,它在训练阶段引入噪声,以强化模型抵御推理阶段遇到的扰动。尽管该方法高度有效,但在温度变化和时间漂移等外部因素导致噪声特性波动的真实环境中,其性能会下降。本研究强调了噪声训练的必要性,同时揭示了其在动态噪声环境下的根本局限性。为了应对这些挑战,我们提出了方差感知噪声训练,这是一种通过引入噪声调度来模拟推理过程中不断演变的噪声条件,从而缓解性能下降的新方法。我们的方法在没有额外训练开销的情况下大幅提升了模型鲁棒性。我们展示了鲁棒性的显著提升:在 CIFAR-10 上从传统噪声训练的 79.3% 提升至方差感知噪声训练的 97.6%,在 Tiny ImageNet 上从 32.4% 提升至 99.7%。
引用
@article{arxiv.2503.16183,
title = {Variance-Aware Noisy Training: Hardening DNNs against Unstable Analog Computations},
author = {Xiao Wang and Hendrik Borras and Bernhard Klein and Holger Fröning},
journal= {arXiv preprint arXiv:2503.16183},
year = {2025}
}