从损失曲率视角看深度学习中的训练不稳定性
机器学习
2021-10-12 v1 人工智能
摘要
在这项工作中，我们研究了跨许多分类任务的损失 Hessian 矩阵的演化，以理解损失曲率对训练动态的影响。尽管先前工作聚焦于不同学习率如何影响训练期间观察到的损失 Hessian，我们也分析了模型初始化、架构选择以及梯度裁剪和学习率预热等常见训练启发式方法的影响。我们的结果表明，成功的模型和超参数选择使早期优化轨迹能够避开——或驶出——高曲率区域并进入容忍更高学习率的更平坦区域。我们的结果提出了一种统一视角，说明针对训练不稳定性的不同缓解策略最终如何解决神经网络优化相同的底层失效模式，即不良条件数。受条件数视角的启发，我们表明学习率预热可改善训练稳定性，其程度与批归一化、层归一化、MetaInit、GradInit 和 Fixup 初始化相当。
引用
@article{arxiv.2110.04369,
title = {A Loss Curvature Perspective on Training Instability in Deep Learning},
author = {Justin Gilmer and Behrooz Ghorbani and Ankush Garg and Sneha Kudugunta and Behnam Neyshabur and David Cardoze and George Dahl and Zachary Nado and Orhan Firat},
journal= {arXiv preprint arXiv:2110.04369},
year = {2021}
}
备注
20 pages, 16 figures