Model Spider：高效排序预训练模型的学习方法
机器学习
2023-06-07 v1
摘要
从模型库中找出哪个预训练模型（PTM）适合目标任务，对于利用丰富的模型资源至关重要。随着来自不同领域的众多异构 PTM 的可用，由于对所有 PTM 执行前向或反向传播的时间消耗成本，高效选择最合适的 PTM 具有挑战性。在本文中，我们提出 Model Spider，通过将 PTM 和任务的特征总结为向量来对其分词，以实现高效的 PTM 选择。通过利用 PTM 在一组独立训练任务上的近似性能，Model Spider 学习构建词元并通过其词元度量模型-任务对之间的适配分数。将相关 PTM 排在其他 PTM 之上的能力可泛化到新任务。利用排名靠前的 PTM 候选，我们进一步学习用其 PTM 特定语义丰富任务词元以重新排序 PTM 以获得更好的选择。Model Spider 平衡了效率与选择能力，使 PTM 选择如同蜘蛛在网中捕食。Model Spider 在模型库的各种配置中展现了有前景的性能。
引用
@article{arxiv.2306.03900,
title = {Model Spider: Learning to Rank Pre-Trained Models Efficiently},
author = {Yi-Kai Zhang and Ting-Ji Huang and Yao-Xiang Ding and De-Chuan Zhan and Han-Jia Ye},
journal= {arXiv preprint arXiv:2306.03900},
year = {2023}
}