针对深度 ReLU 神经网络在 Stiefel 流形上的优化权重初始化
机器学习
2025-09-03 v1
摘要
深度 ReLU 网络的稳定高效训练对权重初始化高度敏感。不当的初始化会导致神经元永久失活（dying ReLU），并随网络深度加剧梯度不稳定。如 He、Xavier 和正交初始化通过保持方差或促进近似等距来保存方差或推动等距，但并不一定调节预激活均值或控制激活稀疏性，其有效性在非常深的架构中常常下降。本工作提出一种针对 ReLU 的正交初始化，通过在 Stiefel 流形上求解优化问题，从而从一开始就保持尺度并校准预激活统计信息。推导了一系列闭式解和高效抽样方案。在初始化时的理论分析表明，可防止 dying ReLU 问题、延缓激活方差衰减、缓解梯度消失，从而稳定信号和梯度流于深层架构中。实验在 MNIST、Fashion-MNIST、多个表格数据集、few-shot 设置以及 ReLU 系列激活函数上，均显示出优于以往初始化方法的优势，能够在深层网络中实现稳定训练。
引用
@article{arxiv.2509.00362,
title = {Optimized Weight Initialization on the Stiefel Manifold for Deep ReLU Neural Networks},
author = {Hyungu Lee and Taehyeong Kim and Hayoung Choi},
journal= {arXiv preprint arXiv:2509.00362},
year = {2025}
}
备注
16 pages, 3 figures, 3 tables