基于图神经网络的情境识别
计算机视觉与模式识别
2017-08-16 v1
摘要
我们致力于解决图像中的情境识别问题。给定一张图像，任务是预测最显著的动词（动作），并填充其语义角色，例如谁在执行该动作、该动作的来源和目标是什么等。不同的动词具有不同的角色（例如 attacking 具有 weapon），且每个角色可以取多种可能的值（名词）。我们提出了一种基于图神经网络的模型，该模型允许我们使用定义在图上的神经网络有效地捕获角色之间的联合依赖关系。不同图连接性的实验表明，我们在角色之间传播信息的方法显著优于现有工作以及多个基线模型。在预测完整情境方面，我们比以往的工作获得了大约 3-5% 的提升。我们还对我们的模型以及不同角色在动词中的影响进行了透彻的定性分析。
引用
@article{arxiv.1708.04320,
title = {Situation Recognition with Graph Neural Networks},
author = {Ruiyu Li and Makarand Tapaswi and Renjie Liao and Jiaya Jia and Raquel Urtasun and Sanja Fidler},
journal= {arXiv preprint arXiv:1708.04320},
year = {2017}
}
备注
ICCV2017