LogME：面向迁移学习的预训练模型实用评估
机器学习
2021-06-24 v3 人工智能
摘要
本文研究任务自适应预训练模型选择这一未被充分探索的问题，即在无需微调的情况下，针对目标任务评估预训练模型并从模型库中挑选最佳模型。少数先导工作在将监督预训练模型迁移到分类任务时解决了该问题，但它们无法处理新兴的无监督预训练模型或回归任务。为寻求一种实用的评估方法，我们提出估计由预训练模型提取的特征所给标签证据的最大值。与最大似然不同，最大证据对过拟合免疫，而其昂贵的计算可通过我们精心设计的算法大幅降低。最大证据的对数（LogME）可用于评估预训练模型在迁移学习中的表现：LogME 值高的预训练模型更可能具备良好的迁移性能。LogME 快速、准确且通用，是首个实用的预训练模型评估方法。与暴力微调相比，LogME 在挂钟时间上带来至多 3000× 的加速，且仅需 1% 的内存占用。它在原有设定下大幅优于先前方法，并适用于新设定。它足够通用，可支持多样的预训练模型（监督预训练与无监督预训练）、下游任务（分类与回归）以及模态（视觉与语言）。代码见仓库：https://github.com/thuml/LogME。
引用
@article{arxiv.2102.11005,
title = {LogME: Practical Assessment of Pre-trained Models for Transfer Learning},
author = {Kaichao You and Yong Liu and Jianmin Wang and Mingsheng Long},
journal= {arXiv preprint arXiv:2102.11005},
year = {2021}
}
备注
13 pages (ICML 2021 camera ready version)