Portrait Diffusion：基于绘画链的无训练人脸风格化
计算机视觉与模式识别
2023-12-06 v1
摘要
人脸风格化是指将人脸转换为特定的肖像风格。然而，当前方法需要使用基于示例的适应方法来微调预训练生成模型，这需要大量时间和存储空间，且无法实现细致的风格转换。本文提出了一种无训练的人脸风格化框架，名为 Portrait Diffusion。该框架利用现成的文本到图像扩散模型，无需微调特定示例。具体而言，首先将内容和风格图像反演为潜空间编码。然后，在使用相应潜空间编码进行图像重建期间，通过一种称为风格注意力控制的修改后的自注意力操作，将注意力空间中的内容和风格特征进行精细融合。此外，提出了一种绘画链方法，用于从粗略调整到微调逐步重绘不满意的区域。大量实验验证了我们的 Portrait Diffusion 方法的有效性，并证明了绘画链在实现精确人脸风格化方面的优越性。代码将发布于 \url{https://github.com/liujin112/PortraitDiffusion}。
引用
@article{arxiv.2312.02212,
title = {Portrait Diffusion: Training-free Face Stylization with Chain-of-Painting},
author = {Jin Liu and Huaibo Huang and Chao Jin and Ran He},
journal= {arXiv preprint arXiv:2312.02212},
year = {2023}
}