DiffHPE：基于扩散模型的鲁棒、连贯三维人体姿态提升
计算机视觉与模式识别
2023-09-06 v1 机器学习
摘要
我们提出了一种将前沿扩散模型集成于三维人体姿态估计（3D-HPE）的创新方法，扩散模型已革新诸多领域，但在 3D-HPE 中探索相对较少。我们表明扩散模型提升了人体姿态估计的准确性、鲁棒性与连贯性。我们引入 DiffHPE，一种在 3D-HPE 中利用扩散模型的新策略，并展示其精炼标准监督式 3D-HPE 的能力。我们还展示了扩散模型如何在存在遮挡时带来更鲁棒的估计，并改善预测的时间连贯性与矢状面对称性。利用 Human\,3.6M 数据集，我们阐明了方法的有效性及其相对于现有模型的优越性，即使在训练中的遮挡模式与推断时不匹配的不利情形下亦然。我们的发现表明，虽然独立的扩散模型提供了可观的性能，但其与监督模型结合时准确性更佳，为 3D-HPE 研究开辟了令人振奋的新途径。
引用
@article{arxiv.2309.01575,
title = {DiffHPE: Robust, Coherent 3D Human Pose Lifting with Diffusion},
author = {Cédric Rommel and Eduardo Valle and Mickaël Chen and Souhaiel Khalfaoui and Renaud Marlet and Matthieu Cord and Patrick Pérez},
journal= {arXiv preprint arXiv:2309.01575},
year = {2023}
}
备注
Accepted to 2023 International Conference on Computer Vision Workshop (Analysis and Modeling of Faces and Gestures)