UniCon：面向大规模扩散模型的单向信息流
计算机视觉与模式识别
2025-03-31 v2
摘要
我们提出了 UniCon，这是一种新颖的架构，旨在增强大规模扩散模型训练适配器的控制和效率。不同于现有方法依赖扩散模型与控制适配器之间的双向交互，UniCon 实现了从扩散网络到适配器的单向信息流，使适配器 alone 能生成最终输出。UniCon 通过消除扩散模型在适配器训练期间计算和存储梯度的需求，降低了计算负担。我们的结果表明，UniCon 将 GPU 内存使用降低约三分之一，并提高训练速度2.3倍，同时保持相同的适配器参数规模。此外，无需额外计算资源，UniCon 使适配器参数规模可达现有 ControlNets 的两倍。在一系列图像条件生成任务中，UniCon 证明了对控制输入的精准响应能力和卓越的生成性能。
关键词
引用
@article{arxiv.2503.17221,
title = {UniCon: Unidirectional Information Flow for Effective Control of Large-Scale Diffusion Models},
author = {Fanghua Yu and Jinjin Gu and Jinfan Hu and Zheyuan Li and Chao Dong},
journal= {arXiv preprint arXiv:2503.17221},
year = {2025}
}
备注
This work has been accepted for publication at the International Conference on Learning Representations (ICLR) 2025