用于手臂-手部动态估计的时空并行Transformer
计算机视觉与模式识别
2022-03-31 v1
摘要
我们提出一种利用手臂与手部之间关系从单目视频估计手臂和手部动态的方法。尽管单目全身人体运动捕捉技术近年来取得很大进展，但从野外视频中恢复准确且合理的手臂扭转与手势仍具挑战。为解决此问题，我们的方案基于大多数真实情境中手臂姿态与手势高度相关这一事实。为充分挖掘臂-手相关性及帧间信息，我们精心设计了时空并行臂-手运动Transformer（PAHMT）以同时预测手臂与手部动态。我们还引入新损失函数以促使估计结果平滑且准确。此外，我们采集了一个包含20万帧手势的运动捕捉数据集并用其训练模型。通过集成二维手部姿态估计模型与三维人体姿态估计模型，所提方法可从单目视频生成合理的手臂与手部动态。大量评估表明，所提方法优于以往最先进（SOTA）方法，并在多种挑战性场景下表现出鲁棒性。
引用
@article{arxiv.2203.16202,
title = {Spatial-Temporal Parallel Transformer for Arm-Hand Dynamic Estimation},
author = {Shuying Liu and Wenbin Wu and Jiaxian Wu and Yue Lin},
journal= {arXiv preprint arXiv:2203.16202},
year = {2022}
}
备注
Accepted by CVPR 2022