中文

回归优化:基于扩散的零样本三维人体姿态估计

计算机视觉与模式识别 2023-10-26 v3 人工智能

摘要

在绝大多数基准上,基于学习的方法以显著优于传统基于优化的方法的性能主导了三维人体姿态估计(HPE)任务。然而,无论是通过 2D-3D 提升、图像到 3D 还是基于扩散的方法,野外三维 HPE 仍是基于学习模型的最大挑战,因为训练后的网络隐式学习了相机内参与基于领域的三维人体姿态分布,并通过统计平均估计姿态。另一方面,基于优化的方法逐案估计结果,能够预测野外的更多样且复杂的姿态。结合基于优化与基于学习方法的优势,我们提出用于三维 HPE 的\textbf{Ze}ro-shot \textbf{D}iffusion-based \textbf{O}ptimization(\textbf{ZeDO})流水线,以解决跨领域与野外三维 HPE 问题。我们的多假设\textit{\textbf{ZeDO}} 在 Human3.6M 上以 minMPJPE 51.451.4mm 取得了最先进(SOTA)性能,且未使用任何 2D-3D 或图像-3D 对训练。此外,我们的单假设\textit{\textbf{ZeDO}} 在跨数据集评估下于 3DPW 数据集上以 PA-MPJPE 40.340.3mm 取得 SOTA 性能,甚至优于在 3DPW 上训练的基于学习的方法。

关键词

引用

@article{arxiv.2307.03833,
  title  = {Back to Optimization: Diffusion-based Zero-Shot 3D Human Pose Estimation},
  author = {Zhongyu Jiang and Zhuoran Zhou and Lei Li and Wenhao Chai and Cheng-Yen Yang and Jenq-Neng Hwang},
  journal= {arXiv preprint arXiv:2307.03833},
  year   = {2023}
}

备注

WACV 2024