利用公开模型中心学习模型表示
机器学习
2025-10-03 v1
摘要
神经网络的权重已成为一种新颖的数据模态，催生了权重空间学习领域。该领域的一个核心挑战是，学习有意义的权重表示通常需要大量精心构建的已训练模型集合，通常被称为模型动物园。这些模型动物园通常是临时训练的，需要大量计算资源，限制了所学权重空间表示的规模与灵活性。在本工作中，我们通过在从 Hugging Face 等大型非结构化模型仓库下载的任意模型上训练权重空间学习骨干网络，去除了这一要求。与精选的模型动物园不同，这些仓库包含高度异构的模型：它们在架构和数据集上各不相同，且很大程度上缺乏文档记录。为了应对这种异构性带来的方法论挑战，我们提出了一种新的权重空间骨干网络，旨在处理非结构化模型群体。我们证明，在 Hugging Face 模型上训练的权重空间表示取得了强劲的性能，往往优于在实验室生成的模型动物园上训练的骨干网络。最后，我们表明，训练集中模型权重的多样性使得我们的权重空间模型能够泛化到未见的数据模态。通过证明可以在自然条件下学习到高质量的权重空间表示，我们表明精选的模型动物园并非不可或缺，从而克服了当前权重空间学习界面临的强烈限制。
引用
@article{arxiv.2510.02096,
title = {Learning Model Representations Using Publicly Available Model Hubs},
author = {Damian Falk and Konstantin Schürholt and Konstantinos Tzevelekakis and Léo Meynent and Damian Borth},
journal= {arXiv preprint arXiv:2510.02096},
year = {2025}
}