级联式人与物体交互识别
计算机视觉与模式识别
2020-03-26 v2 机器学习
图像与视频处理
摘要
人与物体交互（HOI）识别取得了快速进展，但大多数现有模型局限于单阶段推理流程。考虑到该任务固有的复杂性，我们引入了一种级联架构，用于多阶段、由粗到细的 HOI 理解。在每个阶段，实例定位网络逐步细化 HOI 提议并将其输入交互识别网络。这两个网络各自也连接到前一阶段的前驱，实现跨阶段信息传播。交互识别网络包含两个关键部分：用于高质量 HOI 提议选择的关系排序模块，以及用于关系预测的三流分类器。借助我们精心设计以人为中心的关系特征，这两个模块协同工作以实现有效的交互理解。进一步超越边界框级别的关系检测，我们使框架可灵活执行细粒度像素级关系分割；这为更好的关系建模提供了新视角。我们的方法在 ICCV2019 情境中的人挑战赛的关系检测与分割任务上均获得第 名，在 V-COCO 上也展现出有前景的结果。
引用
@article{arxiv.2003.04262,
title = {Cascaded Human-Object Interaction Recognition},
author = {Tianfei Zhou and Wenguan Wang and Siyuan Qi and Haibin Ling and Jianbing Shen},
journal= {arXiv preprint arXiv:2003.04262},
year = {2020}
}
备注
Accepted to CVPR 2020. Winner of the ICCV-2019 PIC Challenge on both HOIW and PIC tracks. Code: https://github.com/tfzhou/C-HOI