ProGraph: 用于3D人体重建的时间对齐概率引导图拓扑建模
计算机视觉与模式识别
2024-11-08 v1
摘要
当前基于单目视频的3D人体运动重建方法依赖于当前重建窗口内的特征，导致在视频帧局部遮挡或模糊时人体结构出现失真和变形。为了基于不完整特征估计逼真的3D人体网格序列，我们提出了用于3D人体重建的时间对齐概率引导图拓扑建模 (ProGraph)。对于缺失部分恢复，我们利用整个运动序列上的显式拓扑感知概率分布。为了恢复完整的人体，图拓扑建模 (GTM) 学习底层拓扑结构，重点关注各个部分之间的内在关系。接下来，为了生成模糊的运动部分，时间对齐概率分布 (TPDist) 利用 GTM 基于分布预测特征。这种交互机制促进了运动一致性，允许恢复人体部分。此外，分层人体损失 (HHLoss) 约束拓扑结构变化期间帧间特征的概率分布误差。我们的方法在 3DPW 上处理遮挡和模糊方面取得了优于其他 SOTA 方法的结果。
引用
@article{arxiv.2411.04399,
title = {ProGraph: Temporally-alignable Probability Guided Graph Topological Modeling for 3D Human Reconstruction},
author = {Hongsheng Wang and Zehui Feng and Tong Xiao and Genfan Yang and Shengyu Zhang and Fei Wu and Feng Lin},
journal= {arXiv preprint arXiv:2411.04399},
year = {2024}
}