AgileGAN3D：基于增强迁移学习的少样本三维人像风格化
计算机视觉与模式识别
2023-03-28 v1
摘要
尽管自动化二维人像风格化已取得实质性进展，但从单张用户照片生成令人满意的三维人像风格化仍是一项未解决的挑战。这里的主要障碍之一是缺乏高质量的风格化三维训练数据。本文提出一种新颖的框架 AgileGAN3D，能够生成具有精细几何细节的三维艺术化且个性化的人像。仅需少量（约20张）非配对二维样本即可获得新的风格化结果。我们首先利用现有的二维风格化能力（风格先验创建）来生成大量增强的二维风格样本。这些增强样本带有准确的相机位姿标签以及配对的真实人脸图像，被证明对下游三维风格化任务至关重要。借助近期三维感知 GAN 模型的进展，我们在预训练的三维 GAN 生成器上执行引导式迁移学习，以生成多视角一致的风格化渲染结果。为实现能较好保持主体身份的三维 GAN 反演，我们在编码器训练中引入了多视角一致性损失。我们的流程展现出将用户照片转化为多样化三维艺术人像的强大能力。定性结果与定量评估均表明了我们方法的优越性能。代码与预训练模型将公开发布以便复现。
引用
@article{arxiv.2303.14297,
title = {AgileGAN3D: Few-Shot 3D Portrait Stylization by Augmented Transfer Learning},
author = {Guoxian Song and Hongyi Xu and Jing Liu and Tiancheng Zhi and Yichun Shi and Jianfeng Zhang and Zihang Jiang and Jiashi Feng and Shen Sang and Linjie Luo},
journal= {arXiv preprint arXiv:2303.14297},
year = {2023}
}