神经网络损失曲面的线性插值能告诉我们什么？
机器学习
2022-02-04 v2 人工智能
机器学习
摘要
研究神经网络损失曲面有助于深入理解底层优化问题的本质。遗憾的是，损失曲面以人类可理解的方式进行可视化向来十分困难。解决该问题的一种常见方法是绘制曲面的线性切片，例如从网络初始状态到优化后最终状态的切片。基于此类分析，已有工作对优化问题的难度得出了更广泛的结论。本文将此类推断置于检验之下，系统性地评估当改变数据、初始化选择以及其他优化器与架构设计选择时，线性插值与最终性能如何变化。此外，我们利用线性插值研究网络中各层及子结构所起的作用。我们发现某些层对初始化选择更为敏感，但线性路径的形状并不能指示模型测试准确率的变化。我们的结果令“插值过程中障碍的存在与否必然与优化成功相关”这一广泛直觉受到质疑。
引用
@article{arxiv.2106.16004,
title = {What can linear interpolation of neural network loss landscapes tell us?},
author = {Tiffany Vlaar and Jonathan Frankle},
journal= {arXiv preprint arXiv:2106.16004},
year = {2022}
}