通过权重空间扩散实现动态适应的生成式方法
计算工程、金融与科学
2026-05-05 v2
摘要
数据驱动的动态预测在环境变化时常常失败，而传统微调方法在硬件受限或数据稀缺的场景中计算代价高昂。我们提出 DynaDiff，一种生成式元学习框架，构建从梯度调优或调制向直接权重空间生成的范式。具体而言，我们首先将专家权重抽象为新型权重图，并利用多头注意力机制显式捕获权重内部的拓扑耦合。随后，我们设计功能损失以确保生成模型在物理行为上与专家模型保持一致。最后，我们开发一种基于动态的提示器，从观测序列中提取跨域的物理与光谱特征，以条件化扩散模型。实验表明，DynaDiff 在竞争基线上实现平均预测准确率提升 10.78%。此外，通过预构建专家预测器模型库，我们将微调开销 amortize 为一次性离线成本，显著提升新环境下的部署效率。
引用
@article{arxiv.2505.13919,
title = {Generative Adaptation of Dynamics to Environmental Shifts via Weight-space Diffusion},
author = {Ruikun Li and Huandong Wang and Jingtao Ding and Yuan Yuan and Qingmin Liao and Yong Li},
journal= {arXiv preprint arXiv:2505.13919},
year = {2026}
}
备注
ICML 2026