Styleverse:面向跨异构域的身份风格化
计算机视觉与模式识别
2022-03-03 v1
摘要
我们提出了一项新的具有挑战性的任务,即跨异构域的身份风格化(IDS)。IDS 侧重于对内容身份进行风格化,而不是使用参考身份完全替换它。我们使用一个有效的基于异构网络的框架 ,该框架基于所提出的有限数据数据集 FS13,使用单个域感知生成器来利用多样化异构面部的元宇宙。FS13 表示考虑了不同光照条件、艺术表现和生活维度的 13 种面部风格。先前的类似任务,例如图像风格迁移,可以基于参考图像处理纹理风格迁移。该任务通常忽略高结构感知的面部区域和内容的高保真保留。然而,Styleverse 旨在并行风格宇宙中可控地创建拓扑感知的面部,其中源面部身份通过 AdaIN 自适应地进行风格化,并由来自异构预训练模型的域感知和参考感知风格嵌入引导。我们首先建立了 IDS 定量基准以及定性 Styleverse 矩阵。大量实验表明,与其他最先进的方法相比,Styleverse 实现了更高保真度的身份风格化。
引用
@article{arxiv.2203.00861,
title = {Styleverse: Towards Identity Stylization across Heterogeneous Domains},
author = {Jia Li and Jie Cao and JunXian Duan and Ran He},
journal= {arXiv preprint arXiv:2203.00861},
year = {2022}
}