PIFu：用于高分辨率着装人体数字化的像素对齐隐式函数
计算机视觉与模式识别
2019-12-05 v3 图形学
摘要
我们提出像素对齐隐式函数（PIFu），一种高效的隐式表示，它将 2D 图像的像素与其对应 3D 对象的全局上下文局部对齐。利用 PIFu，我们提出一种端到端深度学习方法，用于数字化高度精细的着装人体，可从单张图像（以及可选的多张输入图像）推断 3D 表面与纹理。发型、服装及其变化和形变等高度复杂的形状可以以统一方式被数字化。与现有用于 3D 深度学习的表示相比，PIFu 能够生成高分辨率表面，包括人物背面等大部分不可见区域。特别地，它与体素表示不同，内存高效，可处理任意拓扑，且生成的表面与输入图像在空间上对齐。此外，先前技术被设计为处理单张图像或多视图，而 PIFu 自然扩展到任意数量的视图。我们在包含多种具有挑战性服装类型的 DeepFashion 数据集上的真实世界图像上展示了高分辨率且鲁棒的重建。我们的方法在公开基准上达到了 SOTA 性能，并在单图像着装人体数字化上优于先前工作。
引用
@article{arxiv.1905.05172,
title = {PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization},
author = {Shunsuke Saito and Zeng Huang and Ryota Natsume and Shigeo Morishima and Angjoo Kanazawa and Hao Li},
journal= {arXiv preprint arXiv:1905.05172},
year = {2019}
}
备注
project page: https://shunsukesaito.github.io/PIFu