用于正则化深度神经网络的幻影噪声
机器学习
2023-12-20 v2
摘要
批归一化(Batch Normalization, BN)被广泛用于稳定深度神经网络的优化过程并提升测试性能。BN 的正则化效果依赖于批大小,而显式地使用较小批大小配合批归一化(称为幻影批归一化(Ghost Batch Normalization, GBN))已在多种设定下被发现可改善泛化。我们通过将所诱导的“幻影噪声(Ghost Noise)”与归一化解耦,定量分析了该噪声的分布及其对模型性能的影响,从而考察 GBN 的有效性。受分析启发,我们提出一种称为幻影噪声注入(Ghost Noise Injection, GNI)的新正则化技术,其模仿 GBN 中的噪声,同时避免小批训练带来的训练-测试不一致弊端。实验表明 GNI 可比 GBN 提供更大的泛化收益。幻影噪声注入在层归一化网络等原本无噪声的设定中亦有益处,进一步佐证了批归一化中幻影噪声作为正则化器的效用。
引用
@article{arxiv.2305.17205,
title = {Ghost Noise for Regularizing Deep Neural Networks},
author = {Atli Kosson and Dongyang Fan and Martin Jaggi},
journal= {arXiv preprint arXiv:2305.17205},
year = {2023}
}