基于手部跟踪与物体的第一人称视角人类动作识别

第一人称视角视觉是计算机视觉中一个新兴的领域，其特点是从第一人称视角获取图像和视频。在本文中，我们通过显式利用场景中检测到的感兴趣区域的存在与位置，而不进一步使用视觉特征，来解决第一人称视角人类动作识别的挑战。最初，我们认识到人的双手在动作执行中至关重要，并专注于获取其运动作为定义动作的主要线索。我们采用物体检测与区域跟踪技术来定位双手并捕捉其运动。关于第一人称视角的先验知识有助于区分左右手。在检测与跟踪方面，我们贡献了一个在未见过的第一人称视频上成功运行的流程，以找到佩戴摄像头者的双手并随时间对其进行关联。此外，我们强调场景信息对于动作识别的价值。我们承认物体的存在对于人类执行动作以及一般而言对于场景描述具有重要意义。为获取此信息，我们对与待识别动作相关的特定类别使用物体检测。我们的实验针对来自 Epic-Kitchens 数据集的厨房活动视频。我们将动作识别建模为帧中检测到的空间位置的序列学习问题。我们的结果表明，无需其他视觉信息的显式手部与物体检测即可用于分类与手相关的人类动作。与完全依赖视觉特征的方法相比，测试表明对于手部运动在概念上重要的动作，基于感兴趣区域的视频描述包含具有可比分类性能的同等表达性信息。