去噪含噪神经网络：一种带补偿的贝叶斯方法
机器学习
2023-07-26 v3 计算机视觉与模式识别
分布式、并行与集群计算
信息论
信号处理
math.IT
摘要
具有含噪权重的深度神经网络（DNNs），我们称之为含噪神经网络（NoisyNNs），源于在噪声存在下DNNs的训练与推理。NoisyNNs出现在许多新兴应用中，包括DNNs的无线传输、在模拟器件中高效部署或存储DNNs，以及DNN权重的截断或量化。本文研究NoisyNNs的一个基本问题：如何从其含噪表现中重建DNN权重。虽然所有先前工作都依赖最大似然（ML）估计，本文提出了一种去噪方法以重建DNN，旨在最大化重建模型的推理精度。我们的去噪器在两个小规模问题中被严格证明具有优越性，其中我们分别考虑了二次神经网络函数和浅层前馈神经网络。当应用于具有现代DNN架构的先进学习任务时，我们的去噪器表现出显著优于ML估计器的性能。考虑去噪DNN模型的平均测试精度相对于权重方差与噪声功率比（WNR）性能。当对由含噪推理产生的含噪ResNet34模型去噪时，我们的去噪器以高达4.1 dB的优势优于ML估计，达到60%的测试精度。当对由含噪训练产生的含噪ResNet18模型去噪时，我们的去噪器分别以13.4 dB和8.3 dB的优势优于ML估计，达到60%和80%的测试精度。
引用
@article{arxiv.2105.10699,
title = {Denoising Noisy Neural Networks: A Bayesian Approach with Compensation},
author = {Yulin Shao and Soung Chang Liew and Deniz Gunduz},
journal= {arXiv preprint arXiv:2105.10699},
year = {2023}
}
备注
Keywords: Noisy neural network, denoiser, wireless transmission of neural networks, federated edge learning, analog device. 18 pages, 9 figures