Platypose：校准的零样本多假设三维人体运动估计
计算机视觉与模式识别
2024-09-30 v2
摘要
由于深度、遮挡或关键点噪声带来的固有模糊性，单相机三维姿态估计是一个非适定问题。多假设姿态估计通过提供与二维测量相一致的多个三维姿态来解决这种不确定性。当前的研究主要集中在为单帧静态姿态估计生成多个假设，或进行单假设运动估计。在本研究中，我们关注多假设运动估计这一新任务。多假设运动估计不仅仅是将多假设姿态估计应用于多帧序列，因为那样会忽略帧间的时间相关性。相反，它要求分布能够生成时间一致的样本，这比多假设姿态估计或单假设运动估计更具挑战性。为此，我们引入了 Platypose，这是一个使用在三维人体运动序列上预训练的扩散模型进行零样本三维姿态序列估计的框架。Platypose 在运动估计的多假设方面优于基线方法。此外，在 Human3.6M、MPI-INF-3DHP 和 3DPW 的静态姿态测试中，Platypose 也实现了 SOTA 的校准效果和具有竞争力的关节误差。最后，由于它是零样本的，我们的方法能够灵活地泛化到不同的设置中，例如多相机推理。
引用
@article{arxiv.2403.06164,
title = {Platypose: Calibrated Zero-Shot Multi-Hypothesis 3D Human Motion Estimation},
author = {Paweł A. Pierzchlewicz and Caio O. da Silva and R. James Cotton and Fabian H. Sinz},
journal= {arXiv preprint arXiv:2403.06164},
year = {2024}
}