AvatarMMC：基于多模态条件的 3D 头部化身生成与编辑
计算机视觉与模式识别
2024-02-09 v1 图形学
摘要
我们提出了一种基于 3D 生成对抗网络（GAN）和潜在扩散模型（LDM）的、具有多模态条件的 3D 头部化身生成与编辑方法。3D GAN 可以在给定单一条件或无条件的情况下生成高质量的头部化身。然而，生成符合不同模态多个条件的样本具有挑战性。另一方面，LDM 擅长学习复杂的条件分布。为此，我们提议利用 LDM 的条件能力，以实现对预训练 3D GAN 潜在空间的多模态控制。我们的方法可以根据混合控制信号（如 RGB 输入、分割掩码和全局属性）生成和编辑 3D 头部化身。这提供了对合成化身全局和局部生成与编辑的更好控制。实验表明，我们提出的方法在生成和编辑任务上，无论是在定性还是定量方面，均优于仅基于 GAN 的方法。据我们所知，我们的方法是首个将多模态条件引入 3D 化身生成与编辑的方法。\href{avatarmmc-sig24.github.io}{项目页面}
引用
@article{arxiv.2402.05803,
title = {AvatarMMC: 3D Head Avatar Generation and Editing with Multi-Modal Conditioning},
author = {Wamiq Reyaz Para and Abdelrahman Eldesokey and Zhenyu Li and Pradyumna Reddy and Jiankang Deng and Peter Wonka},
journal= {arXiv preprint arXiv:2402.05803},
year = {2024}
}