SeqHAND：基于RGB序列的3D手部姿态与形状估计
计算机视觉与模式识别
2020-07-13 v1
摘要
基于RGB图像的3D手部姿态估计已被研究很长时间。然而，大多数研究都是基于独立的静态图像进行逐帧估计。在本文中，我们试图不仅考虑手部的外观，还将运动中的手部时间运动信息纳入学习框架，以获得更好的3D手部姿态估计性能，这导致了需要具有顺序RGB手部图像的大规模数据集。我们提出一种新颖方法，通过将一个现有静态手部姿态数据集的标注重新工程化为姿态流，生成模拟自然人类手部运动的合成数据集。利用所生成的数据集，我们训练一个新提出的循环框架，从运动中的合成手部顺序图像中提取视觉-时间特征，并通过时间一致性约束强调估计的时间平滑性。我们在从合成到真实的领域微调过程中分离框架的循环层的新颖训练策略，使得从顺序合成手部图像学到的视觉-时间特征得以保留。顺序估计的手部姿态由此产生自然平滑的手部运动，从而带来更鲁棒的估计。我们表明，在手部姿态估计基准上的实验中，利用时间信息进行3D手部姿态估计通过超越最先进方法显著增强了通用姿态估计。
引用
@article{arxiv.2007.05168,
title = {SeqHAND:RGB-Sequence-Based 3D Hand Pose and Shape Estimation},
author = {John Yang and Hyung Jin Chang and Seungeui Lee and Nojun Kwak},
journal= {arXiv preprint arXiv:2007.05168},
year = {2020}
}