面向快速模型选择的两阶段召回-筛选框架

随着深度学习在各类机器学习应用中的普及，已训练并共享于公共模型库的神经网络模型数量日益增长。在特定的机器学习任务中，使用合适的源模型作为起点通常优于从零训练的策略，尤其在训练数据有限的情况下。尽管已有大量模型选择策略被研究和开发，但过程仍然耗时，尤其鉴于模型库规模不断扩大。本文提出一种两阶段（粗召回与精筛选）模型选择框架，旨在通过利用模型在基准数据集上的训练性能来提高选择高质量模型的效率。具体而言，粗召回阶段以离线方式聚类表现出类似训练性能的模型。随后计算该模型簇与目标数据集之间的轻量级代理评分，以快速召回显著缩小的潜在候选模型子集。随后在精筛选阶段，通过在目标数据集上对召回的模型进行连续二分法筛选来确定最终模型。为加速过程，对每个潜在模型的最终微调性能通过从基准数据集中挖掘模型收敛趋势进行预测，这有助于在微调过程中更早地过滤低性能模型。通过在涵盖自然语言处理和计算机视觉的广泛实验中进行验证，证明所提出的方法比传统基线方法快约3倍。我们的代码已公开于 https://github.com/plasware/two-phase-selection。