发现模型仓库中的隐藏宝藏
机器学习
2026-01-30 v1 计算与语言
摘要
公共模型仓库托管数百万精调模型，但社区使用仍在少数几个基础检查点上高度集中。我们调查这一集中程度反映的是高效市场选择，还是卓越模型是否被系统性地忽视。通过对 2,000 多模型的广泛评估，我们展示了“隐藏宝石”（不常见的精调模型）的存在，这些模型显著优于其流行的对手。值得注意的是，在 Llama-3.1-8B 系列中，我们发现极少下载的检查点可将数学性能从 83.2% 提升至 96.0%，而无需增加推理成本。然而，通过对每上传的模型进行穷尽评估来发现这些模型在计算上是不可行的。因此，我们将模型发现建模为多臂老虎机问题，通过使用共享查询集和激进的消除计划加速顺序 halving 搜索算法。我们的方法在每个候选模型中仅需 50 次查询即可检索到顶级模型，加速发现速度超过 50 倍。
引用
@article{arxiv.2601.22157,
title = {Discovering Hidden Gems in Model Repositories},
author = {Jonathan Kahana and Eliahu Horwitz and Yedid Hoshen},
journal= {arXiv preprint arXiv:2601.22157},
year = {2026}
}