用于视频动作检测的长短期关系网络
计算机视觉与模式识别
2020-04-01 v1
摘要
人们已充分认识到，建模人-物或物-物关系将有助于检测任务。然而，该问题并非易事，尤其是在探索人类行为者、物体与场景（统称为人-上下文）之间的交互以提升视频动作检测器性能时。其困难之处在于，视频中可靠的关系不仅应取决于当前片段中的短期人-上下文关系，还应取决于在视频长跨度上提取的时序动态。这促使我们同时捕获视频中的短期和长期关系。在本文中，我们提出了一种新的长短期关系网络（Long Short-Term Relation Networks, LSTR），它以新颖的方式聚合并传播关系，以增强用于视频动作检测的特征。在技术上，区域候选网络（Region Proposal Networks, RPN）被改造为首先在每个视频片段中生成 3D 边界框，即管状体。随后，LSTR 通过时空注意力机制在每个片段内建模短期人-上下文交互，并以级联方式通过图卷积网络（Graph Convolutional Networks, GCN）跨视频片段推理长期时序动态。我们在四个基准数据集上进行了大量实验，并在与 state-of-the-art 方法比较时报告了优异的结果。
引用
@article{arxiv.2003.14065,
title = {Long Short-Term Relation Networks for Video Action Detection},
author = {Dong Li and Ting Yao and Zhaofan Qiu and Houqiang Li and Tao Mei},
journal= {arXiv preprint arXiv:2003.14065},
year = {2020}
}
备注
Accepted as a full paper for ACMMM 2019