面向野外单目视频的鲁棒平滑三维多人姿态估计
计算机视觉与模式识别
2023-09-19 v1
摘要
三维姿态估计是计算机视觉中一项极具价值的任务，具有多种实际应用。尤其是从单目视频中进行多人三维姿态估计（3DMPPE）尤其具有挑战性，且仍大抵未被探索，远未应用于野外场景。我们指出已有方法存在的三个未解决问题：训练时对未见视角的鲁棒性不足、对遮挡的脆弱性，以及输出中的严重抖动。作为补救，我们提出 POTR-3D，首个用于 3DMPPE 的序列到序列 2D 到 3D 提升模型实现，由一种新颖的几何感知数据增强策略驱动，能够生成具有多样视角且关注地平面与遮挡的无界数据。通过大量实验，我们验证了所提模型与数据增强可鲁棒泛化至多样未见视角，鲁棒恢复重度遮挡下的姿态，并可靠生成更自然平滑的输出。我们方法的有效性不仅通过公开基准上达到最先进（state-of-the-art）性能得到验证，也通过更具挑战性的野外视频上的定性结果得到验证。演示视频见 https://www.youtube.com/@potr3d。
引用
@article{arxiv.2309.08644,
title = {Towards Robust and Smooth 3D Multi-Person Pose Estimation from Monocular Videos in the Wild},
author = {Sungchan Park and Eunyi You and Inhoe Lee and Joonseok Lee},
journal= {arXiv preprint arXiv:2309.08644},
year = {2023}
}
备注
Published at ICCV 2023