从手部姿态估计理解以自我为中心的手-物交互
计算机视觉与模式识别
2021-10-01 v1 人机交互
摘要
本文中，我们解决在手部与物体交互时从以自我为中心的视角估计手部姿态的问题。具体而言，我们提出一种方法标注成对包含以自我为中心图像的数据集 Ego-Siam。我们还使用收集的成对数据训练我们的编码器-解码器风格网络，其已被证明是高效的。这能带来额外的训练效率和测试精度。我们的网络轻量，且可在过时 GPU 上以超过 30 FPS 运行。我们证明我们的方法在 GANerated 数据集上优于 Mueller 等人处理以自我为中心手-物交互问题的前沿工作。为展示我们方法保留语义信息的能力，我们还在 GUN-71 数据集上报告了抓握类型分类的性能，并仅使用预测的 3 维手部姿态便优于基准。
引用
@article{arxiv.2109.14657,
title = {Understanding Egocentric Hand-Object Interactions from Hand Pose Estimation},
author = {Yao Lu and Walterio W. Mayol-Cuevas},
journal= {arXiv preprint arXiv:2109.14657},
year = {2021}
}