ReLU 网络的神经特征激活分析与几何参数化
机器学习
2024-10-15 v5 机器学习
摘要
我们提出了一种通过分析单个 ReLU 神经元的特征激活边界来研究 ReLU 网络训练动态的新方法。我们提出的分析揭示了在随机优化过程中常见神经网络参数化与归一化存在一种关键不稳定性，这会阻碍快速收敛并损害泛化性能。为此，我们提出几何参数化（Geometric Parameterization, GmP），一种新颖的神经网络参数化技术，可在超球面坐标系中有效分离权重的径向与角向分量。我们从理论上证明 GmP 解决了上述不稳定性问题。我们在多种模型与基准上报告了实证结果，以验证 GmP 在优化稳定性、收敛速度与泛化性能方面的优势。
引用
@article{arxiv.2305.15912,
title = {Neural Characteristic Activation Analysis and Geometric Parameterization for ReLU Networks},
author = {Wenlin Chen and Hong Ge},
journal= {arXiv preprint arXiv:2305.15912},
year = {2024}
}
备注
Accepted for publication at NeurIPS 2024. Code available at: https://github.com/Wenlin-Chen/geometric-parameterization