从部分可见人体图像中恢复身体部位网格：分割与融合策略
计算机视觉与模式识别
2024-07-16 v1
摘要
我们提出一种新颖的自下而非方法，用于人体网格重建，专为解决输入图像中部分可见性和遮挡所设计。传统的自上而下方法依赖整个人体参数模型如 SMPL，在只有小部分人体可见时会失效，因为它们需要大部分人体可见才能实现 accurate 的网格重建。为克服这一限制，我们的方法采用“分割与融合 (D&F)”策略，独立重建人体各部位后再融合，从而确保对遮挡具有鲁棒性。我们设计了人体部位参数模型 (HPPM)，独立从少量形状和全局位置参数重建网格，不依赖于部件间的相互依赖。随后设计的融合模块能够 seamless 集成重建的各部件，即便只有少数部件可见。我们利用大量真实 SMPL 数据训练参数化网格模型。为便于该方法的训练和评估，我们建立了包含部分可见人体图像且标注 HPPM 的基准数据集。我们的实验在这些基准数据集上进行，显示出 D&F 方法的有效性，尤其是在人体可见性严重不足的场景中，传统方法难以维持重建质量。
引用
@article{arxiv.2407.09694,
title = {Divide and Fuse: Body Part Mesh Recovery from Partially Visible Human Images},
author = {Tianyu Luan and Zhongpai Gao and Luyuan Xie and Abhishek Sharma and Hao Ding and Benjamin Planche and Meng Zheng and Ange Lou and Terrence Chen and Junsong Yuan and Ziyan Wu},
journal= {arXiv preprint arXiv:2407.09694},
year = {2024}
}
备注
Accepted by ECCV2024