精细结构感知采样：面向单视图人体重建的像素对齐隐式模型新采样训练方案
计算机视觉与模式识别
2024-11-12 v2 人工智能
机器学习
摘要
像素对齐隐式模型，如PIFu、PIFuHD和ICON，用于单视图穿衣人体重建。这些模型需要使用采样训练方案进行训练。现有的采样训练方案要么无法捕捉薄表面（例如耳朵、手指），要么在重建网格中产生噪声伪影。为了解决这些问题，我们引入了精细结构感知采样（FSS），一种新的采样训练方案，用于训练像素对齐隐式模型进行单视图人体重建。FSS通过主动适应表面的厚度和复杂性来解决上述问题。此外，与现有的采样训练方案不同，FSS展示了如何在训练过程中利用采样点的法线来改善结果。最后，为了进一步改进训练过程，FSS为像素对齐隐式模型提出了一种网格厚度损失信号。一旦对像素对齐隐式函数框架进行轻微改造，引入这种损失在计算上就变得可行。我们的结果表明，我们的方法在定性和定量上显著优于最先进的方法。我们的代码公开在https://github.com/kcyt/FSS。
引用
@article{arxiv.2402.19197,
title = {Fine Structure-Aware Sampling: A New Sampling Training Scheme for Pixel-Aligned Implicit Models in Single-View Human Reconstruction},
author = {Kennard Yanting Chan and Fayao Liu and Guosheng Lin and Chuan Sheng Foo and Weisi Lin},
journal= {arXiv preprint arXiv:2402.19197},
year = {2024}
}
备注
Accepted in Proceedings of the AAAI Conference on Artificial Intelligence, 2024 (AAAI 2024)