NoisyNN:探究信息熵变化在学习系统中的影响
人工智能
2025-09-09 v5 计算机视觉与模式识别
摘要
我们通过在不同层级(包括嵌入空间和图像)注入噪声,研究深度学习系统中熵变化的影响。采用我们方法的系列模型统称为噪声神经网络(Noisy Neural Networks, NoisyNN),例如 NoisyViT 和 NoisyCNN。在多种深度学习架构(如卷积神经网络(CNNs)和视觉Transformer(ViTs))以及不同学习任务(如图像分类和迁移学习)中,噪声通常被视为有害扰动。然而,本工作表明噪声可成为改变学习系统熵的有效手段。我们证明在特定条件下,特定噪声能提升多种深度模型的性能。我们从理论上证明了通过降低由信息熵定义的任务复杂度所获得的来自正噪声的增益,并通过实验展示了在大型图像数据集(如 ImageNet)上的显著性能提升。在此,我们使用信息熵定义任务的复杂度。根据噪声是否有助于降低任务复杂度,我们将噪声分为两类:正噪声(PN)和有害噪声(HN)。CNNs 和 ViTs 的大量实验表明,主动注入正噪声可提升性能,我们在 ImageNet 上取得了前所未有的 95 的 top 1 准确率。理论分析与经验证据均证实,正噪声的存在有益于学习过程,而传统认为的有害噪声确实损害深度学习模型。噪声的不同作用为深度模型在特定任务上提供了新的解释,并提供了提升模型性能的新范式。此外,它提醒我们可以通过信息熵变化来影响学习系统的性能。
引用
@article{arxiv.2309.10625,
title = {NoisyNN: Exploring the Impact of Information Entropy Change in Learning Systems},
author = {Xiaowei Yu and Zhe Huang and Minheng Chen and Lu Zhang and Tianming Liu and Dajiang Zhu},
journal= {arXiv preprint arXiv:2309.10625},
year = {2025}
}
备注
Task Entropy, ViT, CNN