R2Human：从单张图像实时渲染 3D 人体外观
计算机视觉与模式识别
2024-08-15 v4
摘要
从单张图像实时渲染 3D 人体外观对于实现全息通信和沉浸式 VR/AR 至关重要。现有方法要么依赖多相机设置，要么局限于离线操作。在本文中，我们提出了 R2Human，这是首个从单张图像进行逼真 3D 人体外观实时推理与渲染的方法。我们方法的核心是将隐式纹理场和显式神经渲染的优势与我们的新颖表示（即 Z-map）相结合。基于此，我们提出了一个端到端网络，对可见区域进行高保真颜色重建，并对遮挡区域提供可靠的颜色推断。为了进一步增强网络的 3D 感知能力，我们利用 Fourier 占据场作为先验来生成纹理场，并在渲染阶段提供采样表面。我们还提出了一个一致性损失和空间融合策略以确保多视角的一致性。实验结果表明，我们的方法在合成数据和具有挑战性的真实世界图像上均实时优于现有 SOTA 方法。项目页面可在 http://cic.tju.edu.cn/faculty/likun/projects/R2Human 找到。
引用
@article{arxiv.2312.05826,
title = {R2Human: Real-Time 3D Human Appearance Rendering from a Single Image},
author = {Yuanwang Yang and Qiao Feng and Yu-Kun Lai and Kun Li},
journal= {arXiv preprint arXiv:2312.05826},
year = {2024}
}