中文

UPose3D:结合跨视图与时序线索的不确定性感知 3D 人体姿态估计

计算机视觉与模式识别 2024-07-11 v3

摘要

我们引入了 UPose3D,一种用于多视图 3D 人体姿态估计的新方法,旨在解决准确性和可扩展性方面的挑战。我们的方法通过提高鲁棒性和灵活性推进了现有的姿态估计框架,且无需直接的 3D 标注。我们方法的核心是一个姿态编译模块,它通过利用时序和跨视图信息,改进了在单张图像上运行的 2D 关键点估计器的预测。我们新颖的跨视图融合策略可扩展至任意数量的相机,而我们的合成数据生成策略则确保了在不同动作主体、场景和视角下的泛化能力。最后,UPose3D 利用了 2D 关键点估计器和姿态编译模块的预测不确定性。这提供了对异常值和噪声数据的鲁棒性,从而在分布外设置中实现了最先进的性能。此外,在分布内设置中,UPose3D 的性能可媲美依赖 3D 标注数据的方法,同时在仅依赖 2D 监督的方法中处于最先进水平。

关键词

引用

@article{arxiv.2404.14634,
  title  = {UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues},
  author = {Vandad Davoodnia and Saeed Ghorbani and Marc-André Carbonneau and Alexandre Messier and Ali Etemad},
  journal= {arXiv preprint arXiv:2404.14634},
  year   = {2024}
}

备注

Accepted to ECCV 2024, 32 pages, 12 figures