利用身份一致性迁移学习增强渲染人像的真实感
计算机视觉与模式识别
2023-10-09 v1
摘要
尽管计算机图形学发展迅速，创建高质量的照片级真实感虚拟人像仍然成本高昂。此外，渲染人像中众所周知的“恐怖谷”效应对用户体验有显著影响，尤其是当描绘与人脸高度相似时，任何细微的伪影都会引发诡异与反感之感。本文提出一种新颖的照片级真实感人像生成框架，能有效缓解“恐怖谷”效应并提升渲染人像的整体真实感。我们的核心思路是利用迁移学习，从渲染人像的潜空间到真实人像的潜空间学习一个身份一致的映射。在推理阶段，虚拟形象的人像输入可通过改变外观风格而保持面部身份，直接迁移为真实感人像。为此，我们收集了一个专为渲染风格人像设计的新数据集 Daz-Rendered-Faces-HQ (DRFHQ)。我们利用该数据集，通过精心设计的框架微调 StyleGAN2 生成器，有助于保留与面部身份相关的几何与颜色特征。我们使用具有不同性别、年龄和种族差异的人像评估了我们的框架。定性与定量评估及消融实验表明，与最先进的方法相比，我们的方法具有优势。
引用
@article{arxiv.2310.04194,
title = {Enhancing the Authenticity of Rendered Portraits with Identity-Consistent Transfer Learning},
author = {Luyuan Wang and Yiqian Wu and Yongliang Yang and Chen Liu and Xiaogang Jin},
journal= {arXiv preprint arXiv:2310.04194},
year = {2023}
}
备注
10 pages, 8 figures, 2 tables