面向遮挡鲁棒 3D 人体姿态估计的 3D 感知神经身体拟合
计算机视觉与模式识别
2023-08-22 v1 人工智能
摘要
基于回归的 3D 人体姿态估计方法利用深度网络直接从 2D 图像预测 3D 姿态参数。尽管在标准基准上取得了最先进性能，其在遮挡下性能会下降。相比之下，基于优化的方法以迭代方式将参数化身体模型拟合到 2D 特征。局部化重建损失可能使其对遮挡鲁棒，但它们受困于 2D-3D 歧义。受生成模型在刚体姿态估计中近期成功的启发，我们提出 3D 感知神经身体拟合（3DNBF）——一种近似分析-综合的 3D 人体姿态估计方法，具有最先进性能与遮挡鲁棒性。具体而言，我们提出一种基于体素化人体表示的深度特征生成模型，其以高斯椭球核发射依赖于 3D 姿态的特征向量。神经特征通过对比学习训练以具备 3D 感知，从而克服 2D-3D 歧义。实验表明，3DNBF 在遮挡与标准基准上均优于其他方法。代码见 https://github.com/edz-o/3DNBF
引用
@article{arxiv.2308.10123,
title = {3D-Aware Neural Body Fitting for Occlusion Robust 3D Human Pose Estimation},
author = {Yi Zhang and Pengliang Ji and Angtian Wang and Jieru Mei and Adam Kortylewski and Alan Yuille},
journal= {arXiv preprint arXiv:2308.10123},
year = {2023}
}
备注
ICCV 2023, project page: https://3dnbf.github.io/