ModelLens：从海量模型中为您的任务寻找最佳模型
机器学习
2026-05-11 v1
摘要
开源模型生态系统如今包含数十万个预训练模型，但从新数据集中挑选最佳模型变得日益不可行：新的模型和未评估的数据集持续涌现，实践者既无关于模型的先前记录，也无关于目标数据集的记录。现有方法仅处理这一野生环境的片段：AutoML 和可移植性估计仅从小型预定义池中选择模型，或需要对目标数据集上的每个模型进行高成本的前向传递，而模型路由则预设了给定的候选池。我们提出了 ModelLens，一个用于野生环境下模型推荐的统一框架。我们的关键洞察是，尽管公共排行榜的相互作用分散且噪声较大，但它们整体上描绘了一个模型能力在异构评估环境下隐式的坐标系，这一信号足够丰富，可以直接从中学习。通过在模型-数据集-指标元组上学习一个具备性能意识的潜在空间，ModelLens 在不在目标数据集上运行候选模型的情况下，对未见的模型在未见的数据集上进行排序。在一个新的基准测试中，包含 162 万条评估记录，覆盖 4.7 万个模型和 9600 个数据集，ModelLens 在仅依赖元数据或要求在目标数据集上运行每个候选模型的基线之上取得了优势。其推荐的 Top-K 池进一步通过多种代表性路由方法提升了 81%。案例研究进一步确认了对文本和视觉-语言任务的泛化能力。
引用
@article{arxiv.2605.07075,
title = {ModelLens: Finding the Best for Your Task from Myriads of Models},
author = {Rui Cai and Weijie Jacky Mo and Xiaofei Wen and Qiyao Ma and Wenhui Zhu and Xiwen Chen and Muhao Chen and Zhe Zhao},
journal= {arXiv preprint arXiv:2605.07075},
year = {2026}
}