NNiT：宽度无关的神经网络生成与结构对齐权重空间
机器学习
2026-03-03 v1 人工智能
摘要
神经网络参数的生成模型通常依赖于网络架构，因为标准参数表示依赖于已知权重矩阵的维度。生成进一步受到置换对称性的限制——置换对称性允许网络通过不同且未对齐的参数化来建模相似的输入-输出函数。本文引入神经网络扩散转换器 (NNiTs)，通过将权重矩阵分块化令牌化并建模为局部结构场来实现宽度无关的权重生成。我们证明，具备卷积神经网络 (CNN) 解码器的图神经网络 (GHN) 在结构上对齐权重空间，创建分块处理所必需的局部相关性。我们聚焦于多层感知机 (MLP)，其中置换对称性尤为明显，NNiT 在各种架构上生成完全功能性网络。我们的方法在单一序列模型中联合建模离散架构令牌与连续权重块。在 ManiSkill3 机器人任务上，NNiT 在训练期间未见过的架构拓扑结构上实现超过 85% 的成功率，而基线方法无法泛化。
引用
@article{arxiv.2603.00180,
title = {NNiT: Width-Agnostic Neural Network Generation with Structurally Aligned Weight Spaces},
author = {Jiwoo Kim and Swarajh Mehta and Hao-Lun Hsu and Hyunwoo Ryu and Yudong Liu and Miroslav Pajic},
journal= {arXiv preprint arXiv:2603.00180},
year = {2026}
}