从何处起步？分析中间模型的潜在价值
计算与语言
2022-11-11 v3 人工智能
机器学习
摘要
先前的研究观察到，微调后的模型可能比原始的预训练模型更好的基础模型。这样一个在某个源数据集上微调过的模型，可能为在期望的目标数据集上进行新的微调过程提供更好的起点。在此，我们对这一中间训练方案在广泛的英语分类任务上进行了系统分析。令人惊讶的是，我们的分析表明，潜在的中间训练收益可以针对所考虑的目标数据集和被视为起点的基础模型分别独立分析。这与当前认为生成基础模型所用的目标数据集与源数据集之间的对齐程度是决定中间训练成功与否的主要因素的观念相反。我们分析了促成这两方面贡献的不同因素。此外，我们利用分析提出了一种实用且高效的方法，以在真实世界环境中确定是否及如何选择基础模型。最后，我们发布了 HuggingFace hub 中按架构划分的最佳模型更新排名 https://ibm.github.io/model-recycling/。
引用
@article{arxiv.2211.00107,
title = {Where to start? Analyzing the potential value of intermediate models},
author = {Leshem Choshen and Elad Venezian and Shachar Don-Yehia and Noam Slonim and Yoav Katz},
journal= {arXiv preprint arXiv:2211.00107},
year = {2022}
}
备注
https://ibm.github.io/model-recycling/