StyO：仅用单张图像风格化你的人脸
计算机视觉与模式识别
2024-12-16 v3
摘要
本文关注以单张艺术目标图像进行人脸风格化的任务。该任务的现有方法常在实现几何变化的同时无法保留源内容。为此，我们提出一种新颖的 StyO 模型，即仅用单张图像风格化人脸（Stylize the face in only One-shot），以解决上述问题。具体而言，StyO 采用解耦与重组策略。它首先将源图像与目标图像的内容和风格解耦为标识符，再以交叉方式重组这些标识符以生成风格化人脸图像。由此，StyO 将复杂图像分解为独立且特定的属性，并将单样本人脸风格化简化为来自输入图像的不同属性之组合，从而生成更匹配目标图像人脸几何与源图像内容的结果。StyO 基于潜扩散模型（LDM）实现，并由两个关键模块组成：1）用于解耦阶段的标识符解耦学习器（IDL）。它将标识符表示为对比文本提示，即正向与负向描述，并引入一种新颖的三重重建损失来微调预训练 LDM，以将风格与内容编码至相应标识符；2）用于重组阶段的细粒度内容控制器（FCC）。它重组来自 IDL 的解耦标识符，形成增强文本提示以生成风格化人脸。此外，FCC 还约束潜特征与文本特征的交叉注意力图，以在结果中保留源人脸细节。大量评估表明，StyO 在多种风格的众多画作上生成高质量图像，并优于当前最优（SOTA）方法。
引用
@article{arxiv.2303.03231,
title = {StyO: Stylize Your Face in Only One-shot},
author = {Bonan Li and Zicheng Zhang and Xuecheng Nie and Congying Han and Yinhan Hu and Xinmin Qiu and Tiande Guo},
journal= {arXiv preprint arXiv:2303.03231},
year = {2024}
}
备注
Accepted by AAAI2025