使用双重反投影纹理从稀疏视角 RGB 视频中实时自由视角人体渲染
计算机视觉与模式识别
2025-06-23 v3
摘要
由于传感器稀疏和严格的时间限制，从稀疏视角 RGB 输入中进行实时自由视角人体渲染是一项具有挑战性的任务。为了确保效率，最近的方法利用在纹理空间中操作的 2D CNN 来学习渲染基元。然而，它们要么联合学习几何和外观，要么在几何估计中完全忽略稀疏图像信息，这极大地损害了视觉质量和对未见姿态的鲁棒性。为了解决这些问题，我们提出了双重反投影纹理，其核心是将粗略的几何变形估计与外观合成解耦，从而实现实时且鲁棒的 4K 光照渲染。具体而言，我们首先引入了一个新颖的图像条件模板变形网络，该网络从第一个反投影纹理估计人体模板的粗略变形。然后，使用更新后的几何形状应用第二次更准确的纹理反投影。生成的纹理图具有更少的伪影，并且与输入视角的对齐更好，这有利于我们学习由高斯泼溅表示的更精细的几何和外观。我们在定量和定性实验中验证了所提方法的有效性和效率，该方法显著超越了其他 SOTA 方法。项目页面：https://vcai.mpi-inf.mpg.de/projects/DUT/
引用
@article{arxiv.2412.13183,
title = {Real-time Free-view Human Rendering from Sparse-view RGB Videos using Double Unprojected Textures},
author = {Guoxing Sun and Rishabh Dabral and Heming Zhu and Pascal Fua and Christian Theobalt and Marc Habermann},
journal= {arXiv preprint arXiv:2412.13183},
year = {2025}
}
备注
Accepted at CVPR 2025, Project page: https://vcai.mpi-inf.mpg.de/projects/DUT/