基于预训练模型的零样本自动机器学习
机器学习
2022-06-28 v2 人工智能
计算机视觉与模式识别
摘要
给定新数据集D与较低计算预算，我们应如何选择预训练模型以微调至D，并设置微调超参数而不冒过拟合风险，尤其在D较小时？本文中，我们扩展自动机器学习（AutoML）以最优地做出这些选择。我们的领域无关元学习方法学习一个零样本代理模型，该模型在测试时允许为新的数据集D（仅给定描述D的平凡元特征，如图像分辨率或类别数）选择合适的深度学习（DL）流水线（包括预训练模型与微调超参数）。为训练此零样本模型，我们收集了大量数据集上众多DL流水线的性能数据，并对此数据以最小化成对排序目标进行元训练。我们在ChaLearn AutoDL挑战赛基准视觉赛道的严格时间限制下评估我们的方法，明显优于所有挑战参赛者。
引用
@article{arxiv.2206.08476,
title = {Zero-Shot AutoML with Pretrained Models},
author = {Ekrem Öztürk and Fabio Ferreira and Hadi S. Jomaa and Lars Schmidt-Thieme and Josif Grabocka and Frank Hutter},
journal= {arXiv preprint arXiv:2206.08476},
year = {2022}
}