基于 Alpha-稳定训练噪声的神经网络鲁棒性增强
机器学习
2023-11-21 v1 信号处理
摘要
随着深度学习在不完美传感器采集数据及非理想环境中的应用日益增多，深度学习系统的鲁棒性已成为重要问题。获取噪声鲁棒性的常见方法是以高斯噪声增强数据来训练深度学习系统。本工作中，我们质疑高斯噪声的通用选择，并探索针对非高斯脉冲噪声（具体为 alpha-稳定噪声）获得更强鲁棒性的可能。由广义中心极限定理佐证且经多应用领域观测印证，alpha-稳定噪声广泛存在于自然中。通过比较以高斯噪声与 alpha-稳定噪声训练的模型在受不同噪声污染数据上的测试准确率，我们发现以 alpha-稳定噪声训练优于高斯噪声，尤其在数据集受脉冲噪声污染时，从而提升模型鲁棒性。该结论的普适性经多种深度学习模型在图像与时间序列数据集及其他基准污染数据集上的实验得以验证。据此，我们提出一种新颖的数据增强方法，以 alpha-稳定噪声替代通常加于训练数据的高斯噪声。
引用
@article{arxiv.2311.10803,
title = {Robustness Enhancement in Neural Networks with Alpha-Stable Training Noise},
author = {Xueqiong Yuan and Jipeng Li and Ercan Engin Kuruoğlu},
journal= {arXiv preprint arXiv:2311.10803},
year = {2023}
}