基于伪深度图的手臂分割及其在增强式环视式3D手姿估计与动作识别中的应用
计算机视觉与模式识别
2024-08-20 v1
摘要
手姿表示了以用户与物体交互为背景的环视式动作识别中的关键信息。我们提出改进仅使用RGB帧的环视式3D手姿估计方法，利用伪深度图像。通过融合最新的单张RGB图像深度估计技术，我们生成帧的伪深度表示，并利用距离信息对场景中的无关部分进行分割。随后，这些深度图被用作RGB帧的分割掩码。在H2O数据集上的实验结果表明，我们的方法在动作识别任务中能够实现高度准确的姿态估计。该3D手姿联合物体检测信息，由基于transformer的动作识别网络处理，最终实现91.73%的准确率，超越了所有最新方法。3D手姿估计在现有方法中表现出竞争力，平均姿态误差为28.66 mm。该方法为在不依赖深度传感器的前提下，将距离信息应用于环视式3D手姿估计开辟了新的可能性。
关键词
引用
@article{arxiv.2408.10037,
title = {SHARP: Segmentation of Hands and Arms by Range using Pseudo-Depth for Enhanced Egocentric 3D Hand Pose Estimation and Action Recognition},
author = {Wiktor Mucha and Michael Wray and Martin Kampel},
journal= {arXiv preprint arXiv:2408.10037},
year = {2024}
}
备注
Accepted at 27th International Conference on Pattern Recognition (ICPR)