神经网络相变模型库
机器学习
2025-09-30 v2
摘要
将训练得到的神经网络（NN）模型的权重用作数据模态 recently gained traction 作为一个研究领域——称为Weight Space Learning（WSL）。多个最近的工作提出了WSL方法来分析模型、评估方法或合成权重。Weight space learning方法需要作为开发和评估的训练模型 population。然而，现有的模型集合——称为“model zoos”——是非结构化的，或遵循粗略的多样性定义。与此同时，基于统计物理的工作识别了NN模型中的相变。模型在相同的相内部是均匀的，但在相与相之间具有质的差异。我们将“model zoos”与相信息相结合，以创建受控的多样性概念。我们引入12个大规模模型库，系统性地覆盖已知的相，并在模型架构、规模和数据集上进行变异。这些数据集涵盖不同的模态，如计算机视觉、自然语言处理和科学机器学习。对于每个模型，我们计算损失景观指标并验证相的完整覆盖。通过这个数据集，我们为社区提供了一个潜力巨大的资源，可用于WSL及其它应用。证据表明，损失景观相在模型训练、分析或稀疏化等应用中发挥作用。我们通过对下游方法如迁移学习或模型权重平均的探索性研究来说明这一点。
引用
@article{arxiv.2504.18072,
title = {A Model Zoo on Phase Transitions in Neural Networks},
author = {Konstantin Schürholt and Léo Meynent and Yefan Zhou and Haiquan Lu and Yaoqing Yang and Damian Borth},
journal= {arXiv preprint arXiv:2504.18072},
year = {2025}
}
备注
Accepted at the ICLR Workshop on Neural Network Weights as a New Data Modality 2025; Accepted in the Journal of Data-centric Machine Learning Research (DMLR) 2025; Dataset and code accessible at https://phasetransitions.modelzoos.cc/