HVTR：用于人体虚拟形象的混合体素-纹理渲染
计算机视觉与模式识别
2022-09-02 v2
摘要
我们提出了一种新颖的神经渲染流水线，即混合体素-纹理渲染（HVTR），它能够高效且高质量地从任意姿态合成虚拟人体形象。首先，我们学习在人体表面稠密UV流形上编码关节化人体运动。为了处理复杂运动（例如自遮挡），我们利用UV流形上的编码信息，基于动态姿态条件神经辐射场构建三维体素表示。虽然这使我们能够表示具有变化拓扑的3D几何，但体素渲染计算开销大。因此，我们仅使用基于姿态条件的下采样神经辐射场（PD-NeRF）的粗略体素表示，从而能以低分辨率高效渲染。此外，我们学习2D纹理特征，并在图像空间与渲染的体素特征融合。我们方法的关键优势在于，随后可通过基于GAN的快速纹理渲染器将融合特征转换为高分辨率、高质量的人体形象。我们证明混合渲染使HVTR能够处理复杂运动，在用户控制的姿态/体形甚至宽松衣物下渲染高质量形象，且最重要的是在推理时高效。我们的实验结果也展示了最先进的定量结果。
引用
@article{arxiv.2112.10203,
title = {HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars},
author = {Tao Hu and Tao Yu and Zerong Zheng and He Zhang and Yebin Liu and Matthias Zwicker},
journal= {arXiv preprint arXiv:2112.10203},
year = {2022}
}
备注
Accepted to 3DV 2022. See more results at https://www.cs.umd.edu/~taohu/hvtr/ Demo: https://www.youtube.com/watch?v=LE0-YpbLlkY