使用上千个优化任务学习超参数搜索策略
机器学习
2020-04-02 v3 机器学习
摘要
我们提出 TaskSet,一个用于在训练和评估优化器中使用的任务数据集。TaskSet 因其规模和多样性而独特,包含超过一千个任务,范围涵盖使用全连接或卷积神经网络的图像分类、变分自编码器、以及多种数据集上的非体积保持流。作为此类数据集的一个示例应用,我们探索元学习一个有序的超参数列表以按顺序尝试。通过从使用 TaskSet 生成的数据中学习该超参数列表,我们在样本效率上相比随机搜索实现了大幅加速。接下来,我们利用 TaskSet 的多样性以及我们学习超参数列表的方法,实证探索了这些列表在各种设置下向新优化任务的泛化能力,包括使用 Resnet50 的 ImageNet 分类和使用 transformers 的 LM1B 语言建模。作为该工作的一部分,我们开源了所有任务的代码,以及约 2900 万条这些问题的训练曲线和相应的超参数。
引用
@article{arxiv.2002.11887,
title = {Using a thousand optimization tasks to learn hyperparameter search strategies},
author = {Luke Metz and Niru Maheswaranathan and Ruoxi Sun and C. Daniel Freeman and Ben Poole and Jascha Sohl-Dickstein},
journal= {arXiv preprint arXiv:2002.11887},
year = {2020}
}