通过图解析神经网络学习人与物体交互
计算机视觉与模式识别
2018-08-27 v1
摘要
本文解决图像与视频中人与物体交互（HOI）的检测与识别任务。我们引入图解析神经网络（GPNN），一种在可端到端微分的同时融入结构知识的框架。对于给定的场景，GPNN推断出一个解析图，包括 i) 由邻接矩阵表示的HOI图结构，以及 ii) 节点标签。在消息传递推断框架内，GPNN迭代计算邻接矩阵与节点标签。我们在三个图像与视频HOI检测基准上广泛评估了我们的模型：HICO-DET、V-COCO与CAD-120数据集。我们的方法显著优于当前最优（state-of-art）方法，验证了GPNN可扩展至大型数据集并适用于时空场景。代码见 https://github.com/SiyuanQi/gpnn。
引用
@article{arxiv.1808.07962,
title = {Learning Human-Object Interactions by Graph Parsing Neural Networks},
author = {Siyuan Qi and Wenguan Wang and Baoxiong Jia and Jianbing Shen and Song-Chun Zhu},
journal= {arXiv preprint arXiv:1808.07962},
year = {2018}
}
备注
This paper is published in ECCV 2018