权空间学习综述：理解、表征与生成
机器学习
2026-03-12 v1
摘要
神经网络权重通常被视为训练的最终产出，而深度学习研究大多聚焦于数据、特征和架构。然而，近期进展表明，所有可能的权重值集合（权空间）本身蕴含丰富的结构：预训练模型形成有序分布，呈现对称性，并可被嵌入、比较，甚至生成。理解此类结构对神经网络的分析与比较，以及跨模型间的知识传递具有巨大影响。本文介绍一种新兴的研究方向，即权空间学习（Weight Space Learning, WSL），将神经权重视为具有意义的分析与建模领域。本综述提供了WSL的首个统一分类框架。我们将现有方法分为三个核心维度：权空间理解（Weight Space Understanding, WSU），研究权重的几何结构与对称性；权空间表征（Weight Space Representation, WSR），学习模型权重的嵌入表示；权空间生成（Weight Space Generation, WSG），通过超网络或生成模型合成新权重。我们进一步展示了这些发展如何支持实际应用，包括模型检索、持续学习与联邦学习、神经网络架构搜索以及数据自由重建。通过在一致框架下整合碎片化进展，本综述凸显权空间作为一个可学习且结构化的领域，其影响力正在跨越模型分析、迁移与权重生成。我们将提供的资源发布于 https://github.com/Zehong-Wang/Awesome-Weight-Space-Learning。
引用
@article{arxiv.2603.10090,
title = {A Survey of Weight Space Learning: Understanding, Representation, and Generation},
author = {Xiaolong Han and Zehong Wang and Bo Zhao and Binchi Zhang and Jundong Li and Damian Borth and Rose Yu and Haggai Maron and Yanfang Ye and Lu Yin and Ferrante Neri},
journal= {arXiv preprint arXiv:2603.10090},
year = {2026}
}