基于图学习的模型选择方法

预训练深度学习模型日益增多地出现在公共模型库中。给定新预测任务后，寻找最佳模型进行微调往往计算密集且成本高昂，尤其当模型数量庞大时。选取合适的预训练模型至关重要，但受制于来自不同模型族（如 ResNet、ViT、Swin）的模型多样性以及模型与数据集之间隐藏关系的复杂性。现有方法仅利用模型和数据集的基本信息计算指示模型在目标数据集上性能的分数，忽略了内在关系，限制了其在模型选择中的有效性。本文引入 TransferGraph—a 一种将模型选择问题形式化为图学习问题的新型框架。TransferGraph 从模型和数据集中提取大量元数据构建图谱，同时捕捉其内在关系。通过在16个真实数据集上的实验（包括图像和文本），我们展示了 TransferGraph 在捕捉关键模型-数据集关系方面的有效性，相较于当前最先进的方法，预测性能与实际微调结果之间的相关性提升了最高32%。