即时体积头部化身
计算机视觉与模式识别
2023-03-24 v2
摘要
我们提出即时体积头部化身（INSTA），一种用于即时重建照片级真实数字化身的新方法。INSTA 基于嵌入在参数化人脸模型周围的神经图形基元建模动态神经辐射场。我们的流程在单目 RGB 肖像视频上训练，该视频在不同表情与视角下观测受试者。最先进的方法训练一个化身至多需要数天，而我们的方法在现代 GPU 硬件上能在不到 10 分钟内重建数字化身，比先前方案快数个数量级。此外，它支持对新姿态与表情的交互式渲染。通过利用底层参数化人脸模型的几何先验，我们展示 INSTA 可外推至未见过的姿态。在多个受试者的定量与定性研究中，INSTA 在渲染质量与训练时间上均优于最先进的方法。
引用
@article{arxiv.2211.12499,
title = {Instant Volumetric Head Avatars},
author = {Wojciech Zielonka and Timo Bolkart and Justus Thies},
journal= {arXiv preprint arXiv:2211.12499},
year = {2023}
}
备注
Website: https://zielon.github.io/insta/ Video: https://youtu.be/HOgaeWTih7Q Accepted to CVPR2023