解构神经网络初始化的“金发姑娘区”
机器学习
2024-08-15 v2 最优化与控制
摘要
训练损失的二阶性质对深度学习模型的优化动力学有着巨大影响。Fort 和 Scherlis (2019) 发现，损失函数 Hessian 矩阵具有大量正曲率和局部凸性的特点，与位于被称为“金发姑娘区”区域内的高度可训练初始点相关。此后仅有少数研究触及这一关系，因此它在很大程度上仍未得到解释。在本文中，我们对齐次神经网络的“金发姑娘区”进行了严谨而全面的分析。特别地，我们推导出了导致损失函数正曲率过剩的基本条件，解释并完善了其与初始化范数之间传统上公认的联系。此外，我们将正曲率过剩与模型置信度、低初始损失以及一种先前未知的交叉熵损失梯度消失现象联系起来。为了理解过度正曲率对深度网络可训练性的重要性，我们在“金发姑娘区”之外优化了全连接和卷积架构，并分析了涌现的行为。我们发现，强大的模型性能与“金发姑娘区”并非完全吻合，这呼吁对此关系进行进一步研究。
引用
@article{arxiv.2402.03579,
title = {Deconstructing the Goldilocks Zone of Neural Network Initialization},
author = {Artem Vysogorets and Anna Dawid and Julia Kempe},
journal= {arXiv preprint arXiv:2402.03579},
year = {2024}
}