SCEdit：通过跳跃连接编辑实现高效可控的图像扩散生成
计算机视觉与模式识别
2023-12-19 v1
摘要
图像扩散模型已被应用于各种任务中，例如文本到图像生成和可控图像合成。最近的研究引入了对原始模型进行微调的方法，在基础生成扩散模型的特定适配中产生了有前景的结果。我们并未修改扩散模型的主干网络，而是深入探讨了 U-Net 中跳跃连接的作用，并揭示了聚合编码器和解码器间长距离信息的分层特征对图像生成的内容和质量具有重大影响。基于这一观察，我们提出了一种高效生成微调框架，称为 SCEdit，它使用名为 SC-Tuner 的轻量级微调模块来集成并编辑跳跃连接。此外，通过使用 Controllable SC-Tuner 注入不同条件，所提出的框架允许直接扩展到可控图像合成，简化并统一了多条件输入的网络设计。由于其轻量级微调器，且反向传播仅传递至解码器块，我们的 SCEdit 大幅减少了训练参数、内存使用和计算开销。在文本到图像生成和可控图像合成任务上开展的大量实验证明了我们的方法在效率和性能方面的优越性。项目页面：\url{https://scedit.github.io/}
引用
@article{arxiv.2312.11392,
title = {SCEdit: Efficient and Controllable Image Diffusion Generation via Skip Connection Editing},
author = {Zeyinzi Jiang and Chaojie Mao and Yulin Pan and Zhen Han and Jingfeng Zhang},
journal= {arXiv preprint arXiv:2312.11392},
year = {2023}
}