PIFuHD：用于高分辨率 3D 人体数字化的多级像素对齐隐函数
计算机视觉与模式识别
2020-04-02 v1 图形学
摘要
基于图像的三维人体形状估计的最新进展，得益于深度神经网络所带来的表示能力的显著提升。尽管现有方法已展示出在真实场景中的潜力，它们仍无法生成具有输入图像中常见细节水平的重建结果。我们认为该局限主要源于两个相互冲突的需求：准确预测需要大上下文，而精确预测需要高分辨率。由于当前硬件的内存限制，以往方法倾向于以低分辨率图像作为输入以覆盖大空间上下文，从而导致生成精确度较低（或低分辨率）的 3D 估计。我们通过构建一个端到端可训练的多级架构来解决该局限。粗层级以较低分辨率观测整幅图像并专注于整体推理，这为细层级提供了上下文，后者通过观测更高分辨率的图像来估计高度精细的几何。我们证明，通过充分利用 1k 分辨率输入图像，我们的方法在单图像人体形状重建上显著优于现有 SOTA 技术。
引用
@article{arxiv.2004.00452,
title = {PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization},
author = {Shunsuke Saito and Tomas Simon and Jason Saragih and Hanbyul Joo},
journal= {arXiv preprint arXiv:2004.00452},
year = {2020}
}
备注
project page: https://shunsukesaito.github.io/PIFuHD