在自然场景中检测手部并识别物理接触
计算机视觉与模式识别
2020-10-20 v1
摘要
我们研究一种新问题：在非受限条件下检测手部并识别其物理接触状态。鉴于需要超越手部局部外观进行推理，这是一项具有挑战性的推断任务。缺乏指示手部接触的是物体还是物体哪一部分的训练标注，进一步使该任务复杂化。我们提出一种基于 Mask-RCNN 的新型卷积网络，可联合学习定位手部并预测其物理接触以解决此问题。该网络利用另一个物体检测器的输出获取场景中存在的物体位置，并使用这些输出与手部位置通过两种注意力机制识别手部接触状态。第一种注意力机制基于手部与包围手部及物体的区域亲和性，并将该区域特征密集池化至手部区域。第二种注意力模块自适应地从此 plausible 接触区域中选择显著特征。为开发与评估我们的方法性能，我们引入一个名为 ContactHands 的大规模数据集，包含带有手部位置与接触状态标注的非受限图像。所提出的网络（含注意力模块参数）是端到端可训练的。该网络相较基于原始 Mask-RCNN 架构构建并训练用于识别手部接触状态的基线网络取得了约 7% 的相对提升。
引用
@article{arxiv.2010.09676,
title = {Detecting Hands and Recognizing Physical Contact in the Wild},
author = {Supreeth Narasimhaswamy and Trung Nguyen and Minh Hoai},
journal= {arXiv preprint arXiv:2010.09676},
year = {2020}
}
备注
NeurIPS 2020