用于野外图像三维人体形状与姿态估计的层次化运动学概率分布
计算机视觉与模式识别
2022-11-24 v2
摘要
本文解决从 RGB 图像进行三维人体形状与姿态估计的问题。这常是一个不适定问题，因为多个合理的三维身体可能与输入中的视觉证据相匹配——尤其在主体被遮挡时。因此，相较于单一三维重建，估计以输入图像为条件的三维身体形状与姿态的分布更为可取。我们训练深度神经网络来估计相对三维关节旋转矩阵（即身体姿态）上的层次化矩阵-Fisher 分布，其利用了人体运动学树结构，以及 SMPL 身体形状参数上的高斯分布。为进一步确保预测的形状与姿态分布匹配输入图像中的视觉证据，我们实现了可微拒绝采样器，以在真实二维关节坐标与预测分布投影至图像平面后的样本之间施加重投影损失。我们表明，在 SSP-3D 与 3DPW 数据集上，我们的方法在三维形状与姿态指标方面可与最先进水平竞争，同时还 yielding 了结构化的三维身体形状与姿态概率分布，借此我们可有意义地量化预测不确定性并采样多个合理三维重建来解释给定输入图像。代码见 https://github.com/akashsengupta1997/HierarchicalProbabilistic3DHuman 。
引用
@article{arxiv.2110.00990,
title = {Hierarchical Kinematic Probability Distributions for 3D Human Shape and Pose Estimation from Images in the Wild},
author = {Akash Sengupta and Ignas Budvytis and Roberto Cipolla},
journal= {arXiv preprint arXiv:2110.00990},
year = {2022}
}
备注
ICCV 2021 (Edited to reduce file size)