深度神经网络训练中的归一化技术：方法、分析与运用

归一化技术对于加速深度神经网络（DNNs）训练并改善其泛化能力至关重要，已成功应用于各类任务。本文回顾并评述 DNN 训练背景下归一化方法的过去、现状与未来。我们从优化视角出发，对不同方法背后的主要动机给出统一图景，并提出一种分类体系以理解它们之间的异同。具体而言，我们将最具代表性的归一化激活方法流程拆解为三个部分：归一化区域划分、归一化操作与归一化表示恢复。借此，我们为设计新型归一化技术提供见解。最后，我们讨论当前对归一化方法的理解进展，并全面综述归一化在特定任务中的应用，其中它能有效解决关键问题。