AdaFuse：用于野外精确人体姿态估计的自适应多视角融合
计算机视觉与模式识别
2020-11-23 v1
摘要
遮挡可能是野外人体姿态估计的最大挑战。典型的解决方案通常依赖 IMUs 等侵入式传感器来检测被遮挡的关节。为使该任务真正无约束，我们提出 AdaFuse，一种自适应多视角融合方法，可通过利用可见视角中的特征来增强被遮挡视角中的特征。AdaFuse 的核心是确定两视角间的点-点对应，我们通过探索热图表示的稀疏性来有效求解。我们还为每个相机视角学习一个自适应融合权重以反映其特征质量，从而降低良好特征被“坏”视角不期望地破坏的可能性。该融合模型与姿态估计网络端到端联合训练，并可无需额外适配直接应用于新的相机配置。我们在包括 Human3.6M、Total Capture 和 CMU Panoptic 的三个公开数据集上广泛评估了该方法，并在所有数据集上均优于 SOTA。我们还创建了一个大规模合成数据集 Occlusion-Person，它允许我们对被遮挡关节进行数值评估，因其为图像中每个关节提供了遮挡标签。数据集与代码发布于 https://github.com/zhezh/adafuse-3d-human-pose。
引用
@article{arxiv.2010.13302,
title = {AdaFuse: Adaptive Multiview Fusion for Accurate Human Pose Estimation in the Wild},
author = {Zhe Zhang and Chunyu Wang and Weichao Qiu and Wenhu Qin and Wenjun Zeng},
journal= {arXiv preprint arXiv:2010.13302},
year = {2020}
}
备注
Accepted by IJCV