利用U-Net跳跃连接实现无训练风格与内容迁移
计算机视觉与模式识别
2025-04-07 v2
摘要
近期扩散模型在图像生成方面的进展导致对U-Net架构多个组件的详细考察。虽然先前的研究聚焦于瓶颈层（h空间）、跨注意力、自注意力和解码层，但U-Net本身的跳跃连接在整体作用上尚未得到特定关注。我们对跳跃连接的作用进行彻底分析，发现第三编码器块传递的残差连接携带了重构图像大部分空间信息，将内容与风格分离，由剩余路径在相反的解码层中传递。我们表明，从该块注入表示可用于基于文本的编辑、精确修改和风格迁移。我们将方法与最先进的风格迁移和图像编辑方法进行比较，证明该方法在内容对齐和结构保持之间取得最佳权衡。
引用
@article{arxiv.2501.14524,
title = {Training-Free Style and Content Transfer by Leveraging U-Net Skip Connections in Stable Diffusion},
author = {Ludovica Schaerf and Andrea Alfarano and Fabrizio Silvestri and Leonardo Impett},
journal= {arXiv preprint arXiv:2501.14524},
year = {2025}
}
备注
Accepted to CVPR Workshop on AI for Creative Visual Content Generation Editing and Understanding 2025