立场:权重空间应成为第一类生成式 AI 模态
机器学习
2026-05-19 v1 人工智能
摘要
神经网络检查点已悄然成为大规模数据资源:数以百万计的训练权重向量现已存在,每个都编码了特定于任务、领域和架构的知识。本立场论文主张,模型检查点应被视为第一类数据模态,且权重空间中的生成式建模应被标准化为核心机器学习原语。近期进展表明,神经权重可按需合成,通常能匹配微调性能,同时将适应成本降低数个数量级。我们认为这些结果反映了一个潜在的结构性事实:高性能模型占据了由对称性、平坦性、模块化和共享子空间塑造的权重空间中低维、高度结构化的区域。基于这一观点,我们将现有方法组织为一个五阶段流程,调研了该方法已具实用性的应用,并澄清了当前的局限:适配器规模和条件生成正在快速发展,而不受限制的前沿规模检查点合成仍是开放问题。我们的目标是将会群的默认思维从针对每个任务优化模型转变为从学习到的权重分布中采样模型,加速迈向 AI 系统常规地改进或创造其他 AI 系统的时代。
引用
@article{arxiv.2605.18632,
title = {Position: Weight Space Should Be a First-Class Generative AI Modality},
author = {Zhangyang Wang and Peihao Wang and Kai Wang},
journal= {arXiv preprint arXiv:2605.18632},
year = {2026}
}
备注
AI systems routinely improve or create other AI systems