面向任务与架构无关的泛化差距预测器
机器学习
2019-06-05 v1 机器学习
摘要
我们能否用深度学习来预测深度学习何时有效？我们的结果表明可以。我们通过训练 13,500 个具有不同架构的神经网络、在不同的螺旋数据集变体上并使用不同的优化参数，构建了一个数据集。我们利用该数据集训练了针对这些神经网络的任务无关和架构无关的泛化差距预测器。我们将 Jiang 等人（2018）的方法扩展至同样使用 DNN 和 RNN，并表明它们优于线性模型，取得了 。我们还展示了架构无关、任务无关以及分布外泛化差距预测任务的结果。DNN 和 RNN 始终显著优于线性模型，其中 RNN 取得了 。
引用
@article{arxiv.1906.01550,
title = {Towards Task and Architecture-Independent Generalization Gap Predictors},
author = {Scott Yak and Javier Gonzalvo and Hanna Mazzawi},
journal= {arXiv preprint arXiv:1906.01550},
year = {2019}
}
备注
8 pages, 6 figures, 2 tables. To be presented at ICML 2019 "Understanding and Improving Generalization in Deep Learning" Workshop (poster)