基于轨迹感知多模态特征的视频关系检测
计算机视觉与模式识别
2021-01-21 v1
摘要
视频关系检测问题指的是检测视频中不同物体之间的关系，例如空间关系与动作关系。本文中，我们提出基于轨迹感知多模态特征的视频关系检测来解决该任务。考虑到视频中视觉关系检测的复杂性，我们将此任务分解为三个子任务：物体检测、轨迹提议与关系预测。我们使用最先进的物体检测方法来确保物体轨迹检测的准确性，并利用多模态特征表示来帮助预测物体间关系。我们的方法在 ACM Multimedia 2020 的视频关系理解大挑战的视频关系检测任务上以 11.74\% mAP 获得第一名，大幅超越其他方法。
引用
@article{arxiv.2101.08165,
title = {Video Relation Detection with Trajectory-aware Multi-modal Features},
author = {Wentao Xie and Guanghui Ren and Si Liu},
journal= {arXiv preprint arXiv:2101.08165},
year = {2021}
}