预测特定数据集-架构-初始化 (DAI) 组合下梯度下降的成功率
机器学习
2021-11-29 v1
摘要
尽管取得了巨大的成功，但训练成功的深度神经网络仍然在很大程度上依赖于实验性地选择架构、超参数、初始化和训练机制。在这项工作中，我们专注于确定标准梯度下降方法在特定数据集、架构和初始化 (DAI) 组合上训练深度神经网络的成功率。通过广泛的系统性实验，我们表明，从深度神经网络隐藏层获得的矩阵的奇异值的演化，即使在监督学习范式中缺少验证标签的情况下，也有助于确定梯度下降技术训练某个 DAI 的成功率。这种现象可以促进早期放弃，即在训练过程的早期停止训练那些预计泛化能力不佳的神经网络。我们在多个数据集、架构和初始化上的实验表明，与仅仅依赖早期轮次的验证准确率来做出判断相比，所提出的分数可以更准确地预测 DAI 的成功率。
引用
@article{arxiv.2111.13075,
title = {Predicting the success of Gradient Descent for a particular Dataset-Architecture-Initialization (DAI)},
author = {Umangi Jain and Harish G. Ramaswamy},
journal= {arXiv preprint arXiv:2111.13075},
year = {2021}
}
备注
10 pages, 9 figures