MonoNHR：单目神经人体渲染器
计算机视觉与模式识别
2022-10-04 v1
摘要
现有的神经人体渲染方法在单图像输入下表现不佳，原因在于不可见区域信息缺失以及可见区域像素的深度歧义。为此，我们提出单目神经人体渲染器（MonoNHR），一种仅给定单幅图像即可对任意人体进行鲁棒自由视点图像渲染的新方法。MonoNHR 是首个（i）在单目设置下渲染训练期间未见过的人的方法，且（ii）以无几何监督的弱监督方式训练的方法。首先，我们提出解耦 3D 几何与纹理特征，并使纹理推断以 3D 几何特征为条件。其次，我们引入网格修复（Mesh Inpainter）模块，利用如对称性等人体结构先验来修复被遮挡部分。在 ZJU-MoCap、AIST 和 HUMBI 数据集上的实验表明，我们的方法显著优于近期适配于单目情况的各类方法。
引用
@article{arxiv.2210.00627,
title = {MonoNHR: Monocular Neural Human Renderer},
author = {Hongsuk Choi and Gyeongsik Moon and Matthieu Armando and Vincent Leroy and Kyoung Mu Lee and Gregory Rogez},
journal= {arXiv preprint arXiv:2210.00627},
year = {2022}
}
备注
Hongsuk Choi and Gyeongsik Moon contributed equally, 15 pages including the reference and supplementary material