基于单目 RGB 视频的神经头部虚拟形象
计算机视觉与模式识别
2022-03-29 v2 图形学
摘要
我们提出 Neural Head Avatars，一种新颖的神经表示，显式建模可动画化人类虚拟形象的曲面几何与外观，可用于 AR/VR 中的远程会议，或电影、游戏等依赖数字人的行业应用。我们的表示可从包含多种表情与视角的单目 RGB 肖像视频中学习。具体而言，我们提出一种混合表示，由用于面部粗形状与表情的可变形模型，以及两个前馈网络组成，前者预测底层网格的顶点偏移，后者预测视角与表情相关的纹理。我们证明该表示能准确外推至未见姿态与视点，并生成自然表情且提供清晰纹理细节。相较于先前头部虚拟形象工作，我们的方法提供了兼容标准图形管线的完整人头（含头发）解耦形状与外观模型。此外，在重建质量与新视角合成方面，它在定量与定性上均优于当前最先进水平。
引用
@article{arxiv.2112.01554,
title = {Neural Head Avatars from Monocular RGB Videos},
author = {Philip-William Grassal and Malte Prinzler and Titus Leistner and Carsten Rother and Matthias Nießner and Justus Thies},
journal= {arXiv preprint arXiv:2112.01554},
year = {2022}
}
备注
Camera-ready revision - Video: https://youtu.be/I17GbCCoytk Project page: https://philgras.github.io/neural_head_avatars/neural_head_avatars.html