神经网络中的正则化：方法综述与实证分析
机器学习
2026-02-02 v1 人工智能
摘要
尽管在广泛的任务上取得了巨大成功，但已知神经网络有时难以泛化到未见数据。多年来，人们提出了许多方法来提升神经网络的泛化能力，统称为正则化技术。这些方法被用作常见实践，假设添加到流程中的任何正则化都会带来性能提升。在本研究中，我们调查了这一假设在实践中是否成立。首先，我们提供了正则化技术的广泛回顾，包括双下降等现代理论。我们提出了一个在四个大类下的方法分类法，即：（1）基于数据的策略，（2）架构策略，（3）训练策略，以及（4）损失函数策略。值得注意的是，我们强调了这些大类中方法之间的矛盾和对应关系。此外，我们对应用于多层感知器和卷积神经网络架构的十个数值和图像数据集的分类任务中的各种正则化技术进行了实证比较。结果表明，正则化的有效性依赖于数据集。例如，使用正则化项仅提高了数值数据集的性能，而批归一化仅提高了图像数据集的性能。泛化对机器学习至关重要；因此，理解应用正则化技术的影响，并考虑它们之间的联系，对于在实践中适当使用这些方法至关重要。
引用
@article{arxiv.2601.23131,
title = {Regularisation in neural networks: a survey and empirical analysis of approaches},
author = {Christiaan P. Opperman and Anna S. Bosman and Katherine M. Malan},
journal= {arXiv preprint arXiv:2601.23131},
year = {2026}
}
备注
15 pages, 4 figures, 4 tables and for associated to the code, see https://github.com/Christo08/Benchmarks-of-regularisation-techniques.git