Rig3DGS：从随意单目视频创建可控肖像
计算机视觉与模式识别
2024-02-07 v1
摘要
从日常智能手机视频创建可控的3D人像，因其在AR/VR应用中的巨大价值而备受期待。近期发展的3D高斯泼溅（3DGS）在渲染质量和训练效率方面均有所提升。然而，从单视角捕获中精确建模并解耦头部运动和面部表情以实现高质量渲染，仍然是一个挑战。在本文中，我们引入 Rig3DGS 来应对这一挑战。我们使用规范空间中的一组3D高斯来表示整个场景，包括动态主体。利用一组控制信号，如头部姿态和表情，我们通过习得的形变将它们转换到3D空间，以生成所需的渲染。我们的关键创新在于一种精心设计的形变方法，该方法由一个从3D可形变模型导出的可学习先验所引导。这种方法在训练上非常高效，并且在控制面部表情、头部位置以及跨多种捕获的视图合成方面非常有效。我们通过大量的定量和定性实验证明了所学形变的有效性。项目页面见 http://shahrukhathar.github.io/2024/02/05/Rig3DGS.html。
引用
@article{arxiv.2402.03723,
title = {Rig3DGS: Creating Controllable Portraits from Casual Monocular Videos},
author = {Alfredo Rivero and ShahRukh Athar and Zhixin Shu and Dimitris Samaras},
journal= {arXiv preprint arXiv:2402.03723},
year = {2024}
}