通用神经人类渲染器
计算机视觉与模式识别
2024-04-23 v1
摘要
虽然最近在可动画人类渲染方面取得了显著进展，但它们需要针对每个主体进行测试时优化，这对于现实世界的应用来说是一个重要限制。为此，我们致力于学习通用神经人类渲染器（GNH），一种无需任何测试时优化即可从单目视频渲染可动画人类的新方法。我们的核心方法 focuses on 通过利用显式身体先验和多视图几何，将输入视频的外观信息传递到输出图像平面。为了渲染给定姿态下的主体，我们采用简单的基于CNN的图像渲染器，而不采用常见的光线采样或光栅化基于渲染模块。我们的GNH通过三个阶段实现了惊人的通用性和逼真的渲染效果。我们在定性和定量分析中表明，GNH显著优于当前最先进的方法，尤其实现了31.3%的LPIPS改进。
引用
@article{arxiv.2404.14199,
title = {Generalizable Neural Human Renderer},
author = {Mana Masuda and Jinhyung Park and Shun Iwase and Rawal Khirodkar and Kris Kitani},
journal= {arXiv preprint arXiv:2404.14199},
year = {2024}
}