Quick-Tune：快速学习应选用哪个预训练模型及其微调方式
机器学习
2024-02-26 v4
摘要
随着预训练模型数量的不断增长，机器学习从业者在面对新数据集时，持续面临应使用哪个预训练模型以及如何对其进行微调的问题。本文提出一种方法，联合搜索最优预训练模型及其微调超参数。我们的方法迁移了关于许多预训练模型在一系列数据集上以多种超参数配置运行时的性能知识。为此，我们评估了在 87 个数据集上微调 24 个预训练图像分类模型的超过 20k 个超参数配置，以生成一个大规模元数据集。我们在该元数据集的学习曲线上元学习了一个多保真度性能预测器，并将其用于新数据集上的快速超参数优化。我们通过实证表明，所得方法能够为新数据集快速选定准确的预训练模型及其最优超参数。
引用
@article{arxiv.2306.03828,
title = {Quick-Tune: Quickly Learning Which Pretrained Model to Finetune and How},
author = {Sebastian Pineda Arango and Fabio Ferreira and Arlind Kadra and Frank Hutter and Josif Grabocka},
journal= {arXiv preprint arXiv:2306.03828},
year = {2024}
}