VoteHMR：用于从部分点云鲁棒恢复 3D 人体网格的遮挡感知投票网络
计算机视觉与模式识别
2021-10-19 v1 人工智能
摘要
从点云恢复 3D 人体网格对于包括 AR/VR 和人体行为理解在内的多种任务至关重要。该领域的先前工作要么需要高质量的 3D 人体扫描，要么需要顺序点云，难以应用于消费级深度传感器捕获的低质量 3D 扫描。本文中，我们首次尝试从单帧部分点云重建可靠的 3D 人体形状。为此，我们提出了一种端到端可学习方法，名为 VoteHMR。VoteHMR 的核心是一个新颖的遮挡感知投票网络，可首先从输入的部分点云可靠地生成可见关节级特征，然后通过人体骨架的运动学树补全关节级特征。与先前工作使用的整体特征相比，关节级特征不仅能有效编码人体几何信息，还能对带有自遮挡和缺失区域的噪声输入保持鲁棒。通过利用来自关节级特征的丰富互补线索以及来自输入点云的全局特征，所提方法促使对统计 3D 人体模型（如 SMPL）产生可靠且解耦的参数预测。所提方法在两个大规模数据集（即 SURREAL 和 DFAUST）上取得了最先进的性能。此外，VoteHMR 在 Berkeley MHAD 等真实世界数据集上也展现出优越的泛化能力。
引用
@article{arxiv.2110.08729,
title = {VoteHMR: Occlusion-Aware Voting Network for Robust 3D Human Mesh Recovery from Partial Point Clouds},
author = {Guanze Liu and Yu Rong and Lu Sheng},
journal= {arXiv preprint arXiv:2110.08729},
year = {2021}
}
备注
Our paper are accepted to MM 2021 as oral