DeepWeightFlow：用于生成神经网络权重的重置流匹配
机器学习
2026-05-01 v2 机器学习
摘要
为神经网络权重构建高效且有效的生成模型一直是一个备受关注的研究焦点，该问题面临着现代神经网络高维权重空间及其对称性带来的挑战。以往的若干生成模型仅限于生成部分神经网络权重，特别是对于 ResNet 和 ViT 等较大模型。那些确实能生成完整权重的模型则在生成速度上存在困难，或者需要对生成的模型进行微调。在本工作中，我们提出了 DeepWeightFlow，这是一种直接在权重空间中运行的 Flow Matching 模型，能够为多种架构、神经网络规模和数据模态生成多样且高精度的神经网络权重。由 DeepWeightFlow 生成的神经网络无需微调即可表现良好，并且可以扩展至大型网络。我们在生成式权重模型的背景下应用 Git Re-Basin 和 TransFusion 进行神经网络规范化，以应对神经网络置换对称性的影响并提高较大模型规模的生成效率。生成的网络在迁移学习中表现出色，并且可以在几分钟内生成数百个神经网络的集成，远超基于扩散方法的效率。DeepWeightFlow 模型为更高效、更可扩展地生成多样化神经网络集合铺平了道路。
引用
@article{arxiv.2601.05052,
title = {DeepWeightFlow: Re-Basined Flow Matching for Generating Neural Network Weights},
author = {Saumya Gupta and Scott Biggs and Moritz Laber and Zohair Shafi and Robin Walters and Ayan Paul},
journal= {arXiv preprint arXiv:2601.05052},
year = {2026}
}
备注
25 pages, 20 tables, 2 figures