噪声深度集合：通过噪声注入加速深度集合学习
计算机视觉与模式识别
2025-04-09 v1
摘要
神经网络集合是一种简单而有效的方法，用于增强泛化能力。最常见的方法是初始化为具有不同权重的多个神经网络，然后在推断时对其预测进行平均。然而，这种方法会随着集合成员数的增加而线性增加训练时间。为了解决此问题，我们提出了一种新颖的“\textbf{噪声深度集合}”方法，显著减少神经网络集合所需的训练时间。在此方法中，对一个\textit{父模型}进行收敛训练，然后以 various 方式扰动\textit{父模型}的权重以构建多个\textit{子模型}。对\textit{父模型}权重的扰动促进了对不同局部极小值的探索，同时显著减少每个集合成员的训练时间。我们使用 diverse CNN 架构在CIFAR-10和CIFAR-100数据集上评估了我们的方法，超越了传统高效集合方法，实现的测试准确率与标准集合相当。代码可在\href{https://github.com/TSTB-dev/NoisyDeepEnsemble}{https://github.com/TSTB-dev/NoisyDeepEnsemble}获取。
引用
@article{arxiv.2504.05677,
title = {Noisy Deep Ensemble: Accelerating Deep Ensemble Learning via Noise Injection},
author = {Shunsuke Sakai and Shunsuke Tsuge and Tatsuhito Hasegawa},
journal= {arXiv preprint arXiv:2504.05677},
year = {2025}
}