深度神经网络训练损失水平集的数值探索
机器学习
2021-04-27 v3 神经与进化计算
摘要
我们提出了一种计算方法，用于经验性地刻画深度神经网络的训练损失水平集。我们的方法在参数空间中数值构造一条被约束在具有固定近零训练损失的集合中的路径。通过在该路径中的不同点测量正则化函数与测试损失，我们考察了参数空间中具有相同固定训练损失的不同点在泛化能力方面的差异。我们还将这种寻找正则化点的方法与更典型的使用训练损失与正则化项加权和作为目标函数的方法进行了比较。我们对遍历的路径应用降维，以在参数空间中一个良好正则化区域内可视化损失水平集。我们的结果提供了关于深度神经网络损失景观的新信息，以及一种降低测试损失的新策略。
引用
@article{arxiv.2011.04189,
title = {Numerical Exploration of Training Loss Level-Sets in Deep Neural Networks},
author = {Naveed Tahir and Garrett E. Katz},
journal= {arXiv preprint arXiv:2011.04189},
year = {2021}
}
备注
Code maintained at https://github.com/vanishinggrad/levelsets