模型囷规规模与组成对权重空间学习的影响
机器学习
2025-04-15 v1
摘要
重用训练好的神经网络模型是降低训练成本和传递知识的常见策略。权重空间学习——将训练模型的权重作为数据模态——是一种新兴的领域，旨在重用预训练模型群体以服务于未来任务。该领域的方法在模型分析和权重生成任务方面已显示出高性能。然而，迄今为止，这些方法的学习设置要求模型囷规规均匀，即所有模型共享完全相同的体系结构，从而限制了其在训练期间看到的模型群体之外的泛化能力。在本工作中，我们消除了这一约束，提出一种对常见权重空间学习方法的修改，以适应在异构模型群体上的训练。我们进一步探讨了模型多样性对生成未见神经网络模型权重以实现零样本知识传递的影响。我们的广泛实验评估表明，包括具有不同底层图像数据集的模型对性能和泛化能力具有显著影响，适用于内外分布设置。代码已在 github.com/HSG-AIML/MultiZoo-SANE 上提供。
引用
@article{arxiv.2504.10141,
title = {The Impact of Model Zoo Size and Composition on Weight Space Learning},
author = {Damian Falk and Konstantin Schürholt and Damian Borth},
journal= {arXiv preprint arXiv:2504.10141},
year = {2025}
}
备注
Accepted at the ICLR Workshop on Neural Network Weights as a New Data Modality 2025