GradVis：深度神经网络训练过程中优化曲面的可视化与二阶分析
机器学习
2019-09-30 v2 机器学习
摘要
当前深度神经网络的训练方法归根结底是非常高维的非凸优化问题，通常由各类随机梯度下降方法求解。尽管这些方法在实践中往往有效，但在收敛性与泛化保证等由优化曲面（损失地形）性质所引发的关键方面的理论理解上仍存在诸多空白。为获得更深入的见解，近期若干文献提出了可视化与分析优化曲面的方法。然而，这些方法的计算代价极高，难以用于较大的网络。本文中，我们提出 GradVis Toolbox，一个在 Tensorflow 与 PyTorch 中用于高效、可扩展地可视化与分析深度神经网络损失地形的开源库。通过引入更高效的数学表述与一种新颖并行化方案，GradVis 可绘制大型网络的优化曲面与轨迹的 2D 及 3D 投影，以及高分辨率二阶梯度信息。
引用
@article{arxiv.1909.12108,
title = {GradVis: Visualization and Second Order Analysis of Optimization Surfaces during the Training of Deep Neural Networks},
author = {Avraam Chatzimichailidis and Franz-Josef Pfreundt and Nicolas R. Gauger and Janis Keuper},
journal= {arXiv preprint arXiv:1909.12108},
year = {2019}
}
备注
10 pages, 8 figures