OmniAvatar：几何引导的可控 3D 头部合成
计算机视觉与模式识别
2023-03-29 v1
摘要
我们提出 OmniAvatar，一种从非结构化野外图像训练得到的几何引导 3D 头部合成模型，能够在相机位姿、面部表情、头部形状、关节化颈部与下颌位姿的完全解耦控制下，合成具有逼真动态细节且保留身份的多样化 3D 头部。为实现如此高度的解耦控制，我们首先基于控制参数在头部几何（FLAME）周围显式定义一种新的语义符号距离函数（SDF）。该语义 SDF 使我们能够建立从观测空间到由所有控制参数解耦的规范空间的可微体积对应图。随后我们利用 3D 感知 GAN 框架（EG3D）在规范空间中合成 3D 完整头部的精细形状与外观，接着由体积对应图引导的体积渲染步骤输出到观测空间。为确保合成头部形状与表情的控制精度，我们引入了贴合头部 SDF 的几何先验损失和贴合表情 code 的控制损失。此外，我们基于变化的表情和联合位姿增强具有动态细节的时间真实感。与最先进方法相比，我们的模型在定性和定量上均能合成更优的保留身份且具逼真动态细节的 3D 头部。我们还提供了消融实验以论证许多系统设计选择。
引用
@article{arxiv.2303.15539,
title = {OmniAvatar: Geometry-Guided Controllable 3D Head Synthesis},
author = {Hongyi Xu and Guoxian Song and Zihang Jiang and Jianfeng Zhang and Yichun Shi and Jing Liu and Wanchun Ma and Jiashi Feng and Linjie Luo},
journal= {arXiv preprint arXiv:2303.15539},
year = {2023}
}