HDhuman：基于稀疏视角的高质量人体新视角渲染
计算机视觉与模式识别
2023-10-24 v3
摘要
在本文中，我们旨在解决使用稀疏相机视角集渲染具有复杂纹理图案衣着的人体表演者的新视角这一挑战。尽管近期一些工作在使用稀疏视角渲染纹理相对均匀的人体方面取得了显著质量，但在处理复杂纹理图案时渲染质量仍然有限，因为它们无法恢复输入视角中观察到的高频几何细节。为此，我们提出 HDhuman，它使用带有像素对齐空间变换器的人体重建网络以及带有几何引导逐像素特征整合的渲染网络，以实现高质量人体重建与渲染。所设计的像素对齐空间变换器计算输入视角之间的相关性，并生成具有高频细节的人体重建结果。基于表面重建结果，几何引导逐像素可见性推理为多视角特征整合提供指导，使渲染网络能够在新视角上以 2k 分辨率渲染高质量图像。与以往总是需要为不同场景训练或微调独立网络的神经渲染工作不同，我们的方法是一个能够泛化到新主体的通用框架。实验表明，我们的方法在合成数据和真实世界数据上都优于所有先前的通用或特定方法。
引用
@article{arxiv.2201.08158,
title = {HDhuman: High-quality Human Novel-view Rendering from Sparse Views},
author = {Tiansong Zhou and Jing Huang and Tao Yu and Ruizhi Shao and Kun Li},
journal= {arXiv preprint arXiv:2201.08158},
year = {2023}
}