StyleDiffusion：基于扩散模型的可控解耦风格迁移
计算机视觉与模式识别
2023-08-16 v1
摘要
内容与风格（C-S）解耦是风格迁移中的一个基本问题也是关键挑战。现有基于显式定义（如 Gram 矩阵）或隐式学习（如 GAN）的方法既不可解释也不易控制，导致表示纠缠且结果不尽如人意。本文中，我们提出了一种不使用先前假设的新 C-S 解耦风格迁移框架。核心思路是显式提取内容信息并隐式学习互补的风格信息，从而实现可解释且可控的 C-S 解耦与风格迁移。我们引入了简单而有效的基于 CLIP 的风格解耦损失，并与风格重建先验相协调，以在 CLIP 图像空间中解耦 C-S。通过进一步利用扩散模型强大的风格去除与生成能力，我们的框架取得了优于最先进方法的成果，以及灵活的 C-S 解耦与权衡控制。我们的工作为风格迁移中的 C-S 解耦提供了新见解，并展示了扩散模型学习良解耦 C-S 特征的潜力。
引用
@article{arxiv.2308.07863,
title = {StyleDiffusion: Controllable Disentangled Style Transfer via Diffusion Models},
author = {Zhizhong Wang and Lei Zhao and Wei Xing},
journal= {arXiv preprint arXiv:2308.07863},
year = {2023}
}
备注
Accepted by ICCV 2023