Semantic-Human：基于单目视频与人解析的神经渲染人体方法
计算机视觉与模式识别
2023-08-22 v1
摘要
人体神经渲染是一个具有重要研究意义的课题。然而，以往工作大多聚焦于实现照片级真实细节，忽视了对人解析的探索。此外，经典的语义工作均受限于在复杂运动中高效表征精细结果的能力。人解析与辐射重建 inherently 相关，因为相似的外观与几何通常对应于相似的语义部位。进一步地，以往工作常设计一个从观测空间映射到规范空间的运动场，但其往往表现出欠拟合或过拟合，导致泛化能力有限。本文提出 Semantic-Human，一种新颖的方法，在人体神经渲染中同时实现照片级真实细节与视角一致的人解析。具体而言，我们扩展神经辐射场（NeRF）以联合编码语义、外观与几何，利用带噪声的伪标签监督获得准确的 2D 语义标签。借助 NeRF 固有的一致性与平滑性，Semantic-Human 在连续视角与新视角下均实现一致的人解析。我们还引入了源自 SMPL 表面的约束用于运动场，以及对恢复的体积几何的正则化。我们使用 ZJU-MoCap 数据集对模型进行了评估，所得极具竞争力的结果证明了我们提出的 Semantic-Human 的有效性。我们还展示了多种引人注目的应用，包括标签去噪、标签合成与图像编辑，并从经验上验证了其优势特性。
引用
@article{arxiv.2308.09894,
title = {Semantic-Human: Neural Rendering of Humans from Monocular Video with Human Parsing},
author = {Jie Zhang and Pengcheng Shi and Zaiwang Gu and Yiyang Zhou and Zhi Wang},
journal= {arXiv preprint arXiv:2308.09894},
year = {2023}
}