PPDM：用于实时人-物交互检测的并行点检测与匹配
计算机视觉与模式识别
2020-03-26 v3
摘要
我们提出了一种单阶段人-物交互（HOI）检测方法，在单块 Titan XP GPU 上以 37 fps 在 HICO-DET 数据集上优于所有现有方法。这是首个实时 HOI 检测方法。常规 HOI 检测方法由两个阶段组成，即人-物提议生成与提议分类，其有效性和效率受限于顺序且分离的架构。本文中，我们提出一种并行点检测与匹配（PPDM）HOI 检测框架。在 PPDM 中，一个 HOI 被定义为一个点三元组 <人点, 交互点, 物点>。人和物点是检测框的中心，交互点是人与物点的中点。PPDM 包含两个并行分支，即点检测分支和点匹配分支。点检测分支预测三个点。同时，点匹配分支预测从交互点到其对应人和物点的两个位移。源自同一交互点的人点和物点被视为匹配对。在我们新颖的并行架构中，交互点隐式地为人检测和物检测提供上下文与正则化。不太可能形成有意义 HOI 三元组的孤立检测框被抑制，从而提高了 HOI 检测的精度。此外，人与物检测框之间的匹配仅应用于数量有限的过滤后候选交互点周围，这节省了大量计算成本。另外，我们构建了一个名为 HOI-A 的新的面向应用的数据库，作为对现有数据集的良好补充。源代码与数据集将公开以供促进 HOI 检测的发展。
引用
@article{arxiv.1912.12898,
title = {PPDM: Parallel Point Detection and Matching for Real-time Human-Object Interaction Detection},
author = {Yue Liao and Si Liu and Fei Wang and Yanjie Chen and Chen Qian and Jiashi Feng},
journal= {arXiv preprint arXiv:1912.12898},
year = {2020}
}
备注
Accepted to CVPR 2020. Code is available at https://github.com/YueLiao/PPDM