3DAvatarGAN：连接域以实现个性化可编辑化身
计算机视觉与模式识别
2023-03-28 v2 图形学
摘要
现代 3D-GAN 通过在具有一致结构的大规模数据集上训练来合成几何与纹理。在风格化、艺术化数据上训练此类模型——其几何通常未知且高度可变，相机信息亦常未知——尚未被证明可行。我们能否在此类艺术数据上训练 3D GAN，同时保持多视图一致性与纹理质量？为此，我们提出一种适配框架，其中源域为预训练的 3D-GAN，目标域为在艺术数据集上训练的 2D-GAN。随后我们将知识从 2D 生成器蒸馏至源 3D 生成器。为此，我们首先提出一种基于优化的方法来对齐跨域相机参数分布。其次，我们提出必要的正则化以学习高质量纹理，同时避免退化的几何解（如扁平形状）。第三，我们展示一种基于形变的技艺来建模艺术域的夸张几何，作为副产品实现了个性化几何编辑。最后，我们提出一种用于 3D-GAN 的新颖反演方法，链接源域与目标域的潜空间。我们的贡献首次使得在艺术数据集上生成、编辑并动画化个性化艺术 3D 化身成为可能。
引用
@article{arxiv.2301.02700,
title = {3DAvatarGAN: Bridging Domains for Personalized Editable Avatars},
author = {Rameen Abdal and Hsin-Ying Lee and Peihao Zhu and Menglei Chai and Aliaksandr Siarohin and Peter Wonka and Sergey Tulyakov},
journal= {arXiv preprint arXiv:2301.02700},
year = {2023}
}
备注
Project Page: https://rameenabdal.github.io/3DAvatarGAN/