基于自监督时空运动先验的遮挡人体捕获
计算机视觉与模式识别
2022-07-13 v1
摘要
尽管近年来单目无标记人体运动捕获取得了显著进展，现有最优方法在遮挡场景下仍难以获得满意结果。主要原因有二：一是遮挡运动捕获本身具有歧义性，因为多种 3D 姿态可映射到同一 2D 观测，常导致不可靠估计；二是缺乏充足的遮挡人体数据用于训练鲁棒模型。为克服这些障碍，我们的核心思路是利用非遮挡人体数据，通过自监督策略为遮挡人体学习关节级时空运动先验。为进一步缩小合成与真实遮挡数据间的差距，我们构建了首个 3D 遮挡运动数据集（OcMotion），可用于训练和测试。我们将运动编码为 2D 图，并在非遮挡数据上合成遮挡以进行自监督训练。随后设计了一个时空层来学习关节级关联。所学先验降低了遮挡歧义性，并对多种遮挡类型具有鲁棒性，进而被用于辅助遮挡人体运动捕获。实验结果表明，我们的方法能从遮挡视频中生成准确且连贯的人体运动，具备良好的泛化能力与运行效率。数据集与代码公开于 \url{https://github.com/boycehbz/CHOMP}。
引用
@article{arxiv.2207.05375,
title = {Occluded Human Body Capture with Self-Supervised Spatial-Temporal Motion Prior},
author = {Buzhen Huang and Yuan Shu and Jingyi Ju and Yangang Wang},
journal= {arXiv preprint arXiv:2207.05375},
year = {2022}
}