遮挡人体网格恢复
计算机视觉与模式识别
2022-03-28 v1 人工智能
摘要
单目人体网格恢复的自顶向下方法分为两个阶段:(1) 检测人体边界框;(2) 将每个边界框视为独立的单人体网格恢复任务。遗憾的是,在存在多人遮挡与拥挤的图像中,单人体假设并不成立。因此,自顶向下方法在严重人-人遮挡下难以恢复准确的 3D 人体网格。为此,我们提出遮挡人体网格恢复(OCHMR)——一种新颖的自顶向下网格恢复方法,其引入图像空间上下文以克服单人体假设的局限。该方法概念简单,可应用于任何现有自顶向下架构。除输入图像外,我们以身体中心热图的形式将来自图像的空间上下文作为条件作用于自顶向下模型。为从预测的身体中心图进行推理,我们引入上下文归一化(CoNorm)块以自适应调制自顶向下模型的中间特征。该上下文条件作用帮助我们的模型消歧两个严重重叠的人体边界框,使其对多人遮挡具有鲁棒性。与最先进方法相比,OCHMR 在 3DPW、CrowdPose 和 OCHuman 等具有挑战性的多人基准上取得了更优性能。具体而言,我们所提出的上下文推理架构应用于带 ResNet-50 主干的 SPIN 模型时,在 3DPW-PC 上达到 75.2 PMPJPE,在 CrowdPose 上达到 23.6 AP,在 OCHuman 数据集上达到 37.7 AP,分别比基线显著提升了 6.9 mm、6.4 AP 和 20.8 AP。代码与模型将公开发布。
引用
@article{arxiv.2203.13349,
title = {Occluded Human Mesh Recovery},
author = {Rawal Khirodkar and Shashank Tripathi and Kris Kitani},
journal= {arXiv preprint arXiv:2203.13349},
year = {2022}
}