EasyControl：为扩散Transformer添加高效灵活的控制
计算机视觉与模式识别
2025-03-11 v1
摘要
基于Unet的扩散模型（如ControlNet和IP-Adapter）的最新进展引入了有效的空间与主体控制机制。然而，DiT（Diffusion Transformer）架构在实现高效且灵活的控制方面仍面临挑战。为解决这一问题，我们提出了EasyControl，一种旨在以高效率和灵活性统一条件引导扩散Transformer的新颖框架。我们的框架基于三项关键创新。首先，我们引入了轻量级的条件注入LoRA模块。该模块独立处理条件信号，作为即插即用的解决方案。它避免修改基础模型权重，确保与定制模型的兼容性，并实现多样条件的灵活注入。值得注意的是，即使仅在单条件数据上训练，该模块也支持和谐且鲁棒的零样本多条件泛化。其次，我们提出了一种位置感知训练范式。该方法将输入条件标准化为固定分辨率，允许生成任意长宽比和灵活分辨率的图像。同时，它优化了计算效率，使该框架更适用于实际应用。第三，我们开发了结合KV Cache技术的因果注意力机制，并适配于条件生成任务。这一创新显著降低了图像合成的延迟，提升了框架的整体效率。通过大量实验，我们证明EasyControl在各种应用场景中均取得了卓越的性能。这些创新共同使我们的框架具有高效性、灵活性，并适用于广泛的任务。
引用
@article{arxiv.2503.07027,
title = {EasyControl: Adding Efficient and Flexible Control for Diffusion Transformer},
author = {Yuxuan Zhang and Yirui Yuan and Yiren Song and Haofan Wang and Jiaming Liu},
journal= {arXiv preprint arXiv:2503.07027},
year = {2025}
}