基于视图一致性感知的整体三角化三维人体姿态估计
计算机视觉与模式识别
2023-02-24 v2
摘要
多视图三维人体姿态估计(HPE)的快速发展归因于单目二维 HPE 的成熟与三维重建几何学的进步。然而,被遮挡视图中因忽视视图一致性而产生的二维检测离群值,以及因缺乏姿态连贯性而导致的三维不合理姿态,仍是挑战。为此,我们引入多视图融合模块,通过建立视图关联来精炼二维结果。接着,提出整体三角化将整个姿态作为一个整体进行推断,并注入解剖学先验以维持姿态连贯性并提升合理性。解剖学先验通过 PCA 提取,其输入为骨骼结构特征,可从抽象到具体分解出全局上下文与逐关节关系。得益于闭式解,整个框架以端到端方式训练。我们的方法在精度和新指标评估的合理性上均优于当前最优方法。
引用
@article{arxiv.2302.11301,
title = {View Consistency Aware Holistic Triangulation for 3D Human Pose Estimation},
author = {Xiaoyue Wan and Zhuo Chen and Xu Zhao},
journal= {arXiv preprint arXiv:2302.11301},
year = {2023}
}
备注
8 pages, 6 figures, currently under review at Computer Vision and Image Understanding (CVIU) journal