MagicStyle：基于参考图像的肖像风格化
计算机视觉与模式识别
2024-09-13 v1
摘要
扩散模型的发展显著推进了图像风格化的研究，特别是在基于给定风格图像对内容图像进行风格化的领域，这吸引了众多学者。这种参考图像风格化任务的主要挑战在于，如何在融入风格图像的颜色和纹理特征的同时保持内容图像的细节。当内容图像是具有复杂纹理细节的肖像时，这一挑战变得更加突出。为了应对这一挑战，我们提出了一种专门针对肖像的基于扩散模型的参考图像风格化方法，称为 MagicStyle。MagicStyle 包含两个阶段：内容与风格 DDIM 反转（CSDI）和特征融合前向传播（FFF）。CSDI 阶段涉及反向去噪过程，其中分别对内容图像和风格图像执行 DDIM Inversion，并在反转过程中存储两幅图像的自注意力查询、键和值特征。FFF 阶段执行前向去噪，基于我们精心设计的特征融合注意力（FFA），将预存储的特征查询、键和值中的纹理与颜色信息和谐地融入扩散生成过程。我们进行了全面的对比和消融实验，以验证所提出的 MagicStyle 和 FFA 的有效性。
引用
@article{arxiv.2409.08156,
title = {MagicStyle: Portrait Stylization Based on Reference Image},
author = {Zhaoli Deng and Kaibin Zhou and Fanyi Wang and Zhenpeng Mi},
journal= {arXiv preprint arXiv:2409.08156},
year = {2024}
}