动态神经肖像

我们提出 Dynamic Neural Portraits，一种解决全头部重演问题的新方法。我们的方法通过显式控制头部姿态、面部表情和视线来生成照片级真实感的视频肖像。我们提出的架构不同于现有依赖基于 GAN 的图像到图像翻译网络将 3D 人脸渲染转换为照片级真实感图像的方法。相反，我们基于具有可控动力学的 2D 坐标式 MLP 构建系统。我们采用基于 2D 的表示而非近期类 3D NeRF 系统的直觉源于以下事实：视频肖像由单目固定摄像机捕获，因此仅能获得场景的单一视角。 primarily，我们将生成模型以表情 blendshape 为条件，不过我们也展示了我们的系统可成功地由音频特征驱动。我们的实验表明，所提方法比近期基于 NeRF 的重演方法快 270 倍，我们的网络在高达 1024 x 1024 的分辨率下达到 24 fps 的速度，同时在视觉质量上优于先前工作。