面向多人三维人体姿态估计的显式遮挡推理
计算机视觉与模式识别
2022-08-02 v1
摘要
由于遮挡物在形状、外观和位置上的高度多变性，遮挡对单目多人三维人体姿态估计构成巨大威胁。现有方法试图通过姿态先验/约束、数据增强或隐式推理来处理遮挡，但仍无法泛化至未见过的姿态或遮挡情形，且在多人场景下可能犯严重错误。受人类利用可见线索推断被遮挡关节的卓越能力启发，我们开发了一种显式建模该过程的方法，显著改善了存在或不存在遮挡时的自底向上多人人体姿态估计。首先，我们将任务拆分为两个子任务：可见关键点检测与被遮挡关键点推理，并提出一种深度监督编码器蒸馏（DSED）网络来解决后者。为训练模型，我们提出骨架引导人体形状拟合（SSF）方法，在现有数据集上生成伪遮挡标签，从而实现显式遮挡推理。实验表明，从遮挡中显式学习可改善人体姿态估计。此外，利用可见关节的特征级信息使我们能更准确地推理被遮挡关节。我们的方法在多个基准上优于最先进的自顶向下与自底向上方法。
引用
@article{arxiv.2208.00090,
title = {Explicit Occlusion Reasoning for Multi-person 3D Human Pose Estimation},
author = {Qihao Liu and Yi Zhang and Song Bai and Alan Yuille},
journal= {arXiv preprint arXiv:2208.00090},
year = {2022}
}
备注
ECCV 2022