MODIFY：无需风格图像、由模型驱动的面部风格化方法
计算机视觉与模式识别
2023-03-20 v1
摘要
现有的面部风格化方法在转换过程中总是需要目标（风格）域的图像存在，这违反了隐私规定并限制了其在现实系统中的适用性。为解决此问题，我们提出了一种称为 MODel-drIven Face stYlization（MODIFY）的新方法，该方法依赖生成模型来规避对目标图像的依赖。简而言之，MODIFY 首先在目标域中训练一个生成模型，然后通过所提供的风格模型将源输入转换到目标域。为保留多模态风格信息，MODIFY 进一步引入了一个额外的重映射网络，将已知的连续分布映射到编码器的嵌入空间。在源域中进行转换时，MODIFY 在目标风格保持模型内微调编码器模块，以尽可能精确地捕获源输入的内容。我们的方法极为简单，并满足面部风格化的多种训练模式。在多个不同数据集上的实验结果验证了 MODIFY 在无监督面部风格化方面的有效性。
引用
@article{arxiv.2303.09831,
title = {MODIFY: Model-driven Face Stylization without Style Images},
author = {Yuhe Ding and Jian Liang and Jie Cao and Aihua Zheng and Ran He},
journal= {arXiv preprint arXiv:2303.09831},
year = {2023}
}