面向基于视频的人体姿态估计的运动学建模网络
计算机视觉与模式识别
2024-05-14 v2
摘要
从视频中估计人体姿态在人机交互中至关重要。人体运动过程中关节是协同运动而非独立移动的，关节之间既存在空间相关性也存在时间相关性。尽管以往方法取得了积极成果，但大多数侧重于建模关节间的空间相关性，而仅沿时间维度直接整合特征，忽略了关节间的时间相关性。在本工作中，我们提出一个即插即用的运动学建模模块（KMM），通过计算关节跨不同帧的时间相似性来显式建模关节间的时间相关性。由此，KMM能够捕捉当前关节相对于不同时间中所有关节的运动线索。此外，我们将基于视频的人体姿态估计表述为马尔可夫决策过程，并设计了一种新颖的运动学建模网络（KIMNet）来模拟马尔可夫链，使KIMNet能够递归地定位关节。我们的方法在两个具有挑战性的基准上取得了最先进的（SOTA）结果。特别地，KIMNet对遮挡表现出鲁棒性。代码将发布于 https://github.com/YHDang/KIMNet。
引用
@article{arxiv.2207.10971,
title = {Kinematics Modeling Network for Video-based Human Pose Estimation},
author = {Yonghao Dang and Jianqin Yin and Shaojie Zhang and Jiping Liu and Yanzhu Hu},
journal= {arXiv preprint arXiv:2207.10971},
year = {2024}
}