面向人体重建的几何感知双尺度PIFu表示
计算机视觉与模式识别
2022-09-28 v2
摘要
尽管基于 PIFu 的三维人体重建方法广受欢迎，但所恢复细节的质量仍不尽如人意。在稀疏（如 3 个 RGBD 传感器）采集设置下，深度噪声通常在 PIFu 表示中被放大，导致面部表面平坦且身体几何易错。本文中，我们提出一种新颖的几何感知双尺度 PIFu，用于从稀疏含噪输入进行三维人体重建。我们的核心思想是利用深度去噪与三维重建的互补特性，学习一种双尺度 PIFu 表示，分别重建高频面部细节与一致的身体。为此，我们首先将深度去噪与三维重建表述为多任务学习问题。深度去噪过程丰富了重建特征的局部几何信息，而重建过程以全局拓扑信息增强深度去噪。我们随后提出基于去噪深度与几何感知特征，使用两个 MLP 学习双尺度 PIFu 表示。大量实验证明了我们的方法在重建不同姿态下面部细节与身体方面的有效性，以及相对于最先进方法的优越性。
引用
@article{arxiv.2112.02082,
title = {Geometry-aware Two-scale PIFu Representation for Human Reconstruction},
author = {Zheng Dong and Ke Xu and Ziheng Duan and Hujun Bao and Weiwei Xu and Rynson W. H. Lau},
journal= {arXiv preprint arXiv:2112.02082},
year = {2022}
}
备注
Accepted by NeurIPS 2022. 20 pages, 20 figures