深度神经网络中梯度范数相等的综合性模块化统计框架
机器学习
2020-08-13 v1 机器学习
摘要
近年来，已有大量指标被提出以识别不存在梯度爆炸与消失的网络。然而，由于现代深度神经网络中网络组件的多样性以及复杂的串并行混合连接，现有指标的评价通常需要强假设、复杂的统计分析或具有有限的应用领域，这制约了它们在学界中的传播。本文受梯度范数相等（Gradient Norm Equality）与动态等距（dynamical isometry）的启发，首先提出一种称为块动态等距（Block Dynamical Isometry）的新指标，用于度量单个块中梯度范数的变化。由于我们的块动态等距基于范数，其评价相较于原始动态等距需要更弱的假设。为缓解推导的困难，我们提出一种基于自由概率的高度模块化统计框架。我们的框架包含若干用于处理复杂串并行混合连接的关键定理以及一个覆盖网络组件多样性的库。此外，还给出了若干充分前提条件。借助我们的指标与框架，我们分析了广泛的初始化、归一化与网络结构。我们发现梯度范数相等是它们背后一种通用的理念。随后，基于我们的分析改进了一些现有方法，包括用于初始化技术的激活函数选择策略、权重归一化的新配置，以及推导 SeLU 中系数的深度感知方法。此外，我们提出一种称为二阶矩归一化（second moment normalization）的新归一化技术，理论上比批归一化（batch normalization）快 30% 且无精度损失。最后但同样重要的是，我们的结论与方法在 CIFAR10 和 ImageNet 上的多个模型的广泛实验中得到验证。
引用
@article{arxiv.2001.00254,
title = {A Comprehensive and Modularized Statistical Framework for Gradient Norm Equality in Deep Neural Networks},
author = {Zhaodong Chen and Lei Deng and Bangyan Wang and Guoqi Li and Yuan Xie},
journal= {arXiv preprint arXiv:2001.00254},
year = {2020}
}
备注
Under review as a regular paper in TPAMI