SCR-Graph：基于空间-因果关系图的图推理网络用于人体动作预测
计算机视觉与模式识别
2019-12-12 v1 图像与视频处理
摘要
预测人体动作的技术对于人机协作和自动驾驶等应用极为重要。然而，现有大多数算法侧重于利用视频的视觉特征，未考虑关系挖掘，包括人与场景元素之间的空间关系以及时间动作序列中的因果关系。事实上，人类善于利用空间和因果关推理机制来预测他人动作。受此启发，我们提出了一种基于空间与因果关系的图推理网络（SCR-Graph），该网络可分别通过建模空间维度中的动作-场景关系和时间维度中动作间的因果关系来预测人体动作。在空间维度中，设计了一个分层图注意力模块，通过在不同层级迭代聚合不同种类场景元素的特征来实现；在时间维度中，我们设计了一个基于知识图的因果推理模块，并通过Diffusion RNN将过去动作映射为时间因果特征。最后，我们将因果特征以影子节点的形式集成到异构图之中，并引入自注意力模块来确定应激活知识图信息的时刻。在VIRAT数据集上的大量实验结果证明了所提框架的优良性能。
引用
@article{arxiv.1912.05003,
title = {SCR-Graph: Spatial-Causal Relationships based Graph Reasoning Network for Human Action Prediction},
author = {Bo Chen and Decai Li and Yuqing He and Chunsheng Hua},
journal= {arXiv preprint arXiv:1912.05003},
year = {2019}
}
备注
10 pages, 6 figures