L2 正则化深度神经网络准确率区间的相位转变
机器学习
2025-08-29 v2 无序系统与神经网络
统计力学
数据分析、统计与概率
摘要
增加深度神经网络 (DNN) 的 L2 正则化会导致进入欠参数相位——即学习的起始点。我们通过误差景观的标量（Ricci）曲率解释了这一转变。我们预测当数据复杂度增加时出现的新的转变点，并依据相位转变理论，指出存在滞后效应。我们通过数值实验确认了这两项预测。我们的结果为对 DNN 内在结构的探测提供了自然解释，尤其是在 L2 正则化之外的情境下。
引用
@article{arxiv.2505.06597,
title = {Phase Transitions between Accuracy Regimes in L2 regularized Deep Neural Networks},
author = {Ibrahim Talha Ersoy and Karoline Wiesner},
journal= {arXiv preprint arXiv:2505.06597},
year = {2025}
}