CrossHuman：从多帧图像学习交叉引导以实现人体重建
计算机视觉与模式识别
2022-07-21 v1
摘要
我们提出CrossHuman，一种从参数化人体模型和多帧RGB图像中学习交叉引导以实现高质量3D人体重建的新方法。为恢复不可见区域的几何细节与纹理，我们设计了一种结合基于跟踪方法与无跟踪方法的重建流程。给定单目RGB序列，我们在整个序列中跟踪参数化人体模型，与目标帧对应的点（体素）通过参数化身体运动扭曲至参考帧。在参数化身体的几何先验与来自RGB序列的空间对齐特征引导下，融合得到鲁棒的隐式表面。此外，多帧Transformer（MFT）与自监督扭曲细化模块被集成至框架中，以放宽对参数化身体的要求并帮助处理非常宽松的衣物。相较以往工作，我们的CrossHuman即使在估计的参数化人体模型不准确时，也能在可见与不可见区域实现高保真几何细节与纹理，并提升人体重建精度。实验表明我们的方法达到了最先进（SOTA）性能。
引用
@article{arxiv.2207.09735,
title = {CrossHuman: Learning Cross-Guidance from Multi-Frame Images for Human Reconstruction},
author = {Liliang Chen and Jiaqi Li and Han Huang and Yandong Guo},
journal= {arXiv preprint arXiv:2207.09735},
year = {2022}
}