Delta Sampling: 扩散模型间的数据无关知识迁移
机器学习
2025-12-04 v1 人工智能
摘要
扩散模型如Stable Diffusion（SD）推动了活跃的开源生态系统，包括完全微调的检查点和参数高效适配器如LoRA、LyCORIS和ControlNet。然而，这些适配组件与特定基础模型紧密耦合，当基础模型升级时（例如从SD 1.x到2.x）由于模型参数和架构的重大变化而难以复用。在本工作中，我们提出Delta Sampling（DS），一种能够在不同架构的基础模型之间进行知识迁移的方法，无需访问原始训练数据。DS完全在推理时运行，通过利用delta：即基础模型适配前后模型预测的差异。该delta随后用于引导新基础模型的去噪过程。我们在各种SD版本上评估DS，证明DS在不同采样策略下创建期望效果（如视觉风格、语义概念和结构）方面持续改进。这些结果凸显了DS作为扩散图像合成中知识迁移的有效即插即用机制。代码：~ https://github.com/Zhidong-Gao/DeltaSampling
引用
@article{arxiv.2512.03056,
title = {Delta Sampling: Data-Free Knowledge Transfer Across Diffusion Models},
author = {Zhidong Gao and Zimeng Pan and Yuhang Yao and Chenyue Xie and Wei Wei},
journal= {arXiv preprint arXiv:2512.03056},
year = {2025}
}