用于动态人脸合成的可控辐射场
计算机视觉与模式识别
2022-10-13 v1 人工智能
摘要
近期关于3D感知图像合成的工作借助神经渲染的进展取得了引人注目的结果。然而，人脸动态的三维感知合成尚未受到太多关注。在此，我们研究如何显式控制生成模型合成表现出非刚性运动（例如面部表情变化）的人脸动态，同时确保三维感知。为此我们提出一种可控辐射场（CoRF）：1）通过将运动特征嵌入基于风格的生成器的分层潜运动空间中来实现运动控制；2）为确保背景、运动特征以及光照、纹理、形状、反照率和身份等主体特定属性的一致性，引入了人脸解析网络、头部回归器和身份编码器。在头部图像/视频数据上，我们展示了CoRF具有三维感知能力，同时支持对身份、视角方向和运动进行编辑。
引用
@article{arxiv.2210.05825,
title = {Controllable Radiance Fields for Dynamic Face Synthesis},
author = {Peiye Zhuang and Liqian Ma and Oluwasanmi Koyejo and Alexander G. Schwing},
journal= {arXiv preprint arXiv:2210.05825},
year = {2022}
}
备注
Accepted to 3DV 2022. 13 pages, 15 figures