以自我为中心的手-物交互检测
计算机视觉与模式识别
2022-11-17 v1 人机交互
摘要
在本文中,我们提出一种联合判定手-物交互状态的方法。这对于以自我为中心的人类活动理解与交互至关重要。从计算机视觉视角,我们认为判定一只手是否与物体交互取决于是否存在交互性手部姿态以及手是否接触物体。因此,我们提取手部姿态、手-物掩码以联合判定交互状态。为解决因手中物体遮挡导致的手部姿态估计问题,我们采用多摄像头系统从多个视角捕获手部姿态数据。我们在EPIC-KITCHENS数据集的选定图像上与Shan等人(2020)的最新工作进行了评估和比较,在HOI(手-物交互)检测上取得了89%的准确率,与Shan的(92%)相当。然而,在实时性能方面,我们的方法可运行于超过30 FPS,远比Shan的(1~2 FPS)高效。演示视频见 https://www.youtube.com/watch?v=XVj3zBuynmQ
引用
@article{arxiv.2211.09067,
title = {Egocentric Hand-object Interaction Detection},
author = {Yao Lu and Yanan Liu},
journal= {arXiv preprint arXiv:2211.09067},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2109.14734