从单目 RGB 视频学习个性化高质量体积头部化身
计算机视觉与模式识别
2023-04-05 v1 图形学
摘要
我们提出一种从野外采集的单目 RGB 视频学习高质量隐式 3D 头部化身的方法。所学化身由参数化人脸模型驱动，以实现用户控制的面部表情与头部姿态。我们的混合流水线结合 3DMM 的几何先验与动态跟踪及神经辐射场，以实现细粒度控制与照片真实感。为减轻过度平滑并改进模型外表情合成，我们提出预测锚定于 3DMM 几何上的局部特征。这些所学特征由 3DMM 形变驱动并在 3D 空间插值，以在指定查询点产生体积辐射。我们进一步表明，在 UV 空间使用卷积神经网络对于融入空间上下文与产生具代表性的局部特征至关重要。大量实验表明，我们得以重建高质量化身，具有更精确的表情相关细节、对训练外表情的良好泛化，以及相较于其他最先进方法的量化更优绘制。
引用
@article{arxiv.2304.01436,
title = {Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos},
author = {Ziqian Bai and Feitong Tan and Zeng Huang and Kripasindhu Sarkar and Danhang Tang and Di Qiu and Abhimitra Meka and Ruofei Du and Mingsong Dou and Sergio Orts-Escolano and Rohit Pandey and Ping Tan and Thabo Beeler and Sean Fanello and Yinda Zhang},
journal= {arXiv preprint arXiv:2304.01436},
year = {2023}
}
备注
In CVPR2023. Project page: https://augmentedperception.github.io/monoavatar/