可视化、重新思考与挖掘深度神经网络的损失景观
机器学习
2025-06-09 v2
摘要
深度神经网络（DNN）的损失景观通常被认为是复杂且剧烈波动的。然而，一个有趣的观察是，沿高斯噪声方向绘制的损失曲面几乎是 v 型盆地的，且受扰模型位于盆地之上。这促使我们重新思考一维或二维子空间是否能覆盖更复杂的局部几何结构，以及如何挖掘相应的扰动方向。本文系统且渐进地将一维曲线从简单到复杂进行分类，包括 v-盆地、v-侧、w-盆地、w-峰和 vvv-盆地曲线。值得注意的是，后两种类型已经难以通过直观构造特定扰动方向来获得，我们需要提出合适的挖掘算法来绘制相应的一维曲线。结合这些一维方向，我们可视化了各种类型的二维曲面，例如鞍面和酒瓶底部，这些曲面在以往工作中仅由演示函数展示。最后，我们从 Hessian 矩阵的视角提出理论见解，以解释观察到的若干有趣现象。
关键词
引用
@article{arxiv.2405.12493,
title = {Visualizing, Rethinking, and Mining the Loss Landscape of Deep Neural Networks},
author = {Yichu Xu and Xin-Chun Li and Lan Li and De-Chuan Zhan},
journal= {arXiv preprint arXiv:2405.12493},
year = {2025}
}