MRSN:用于视频动作检测的多关系支持网络
计算机视觉与模式识别
2023-04-25 v1
摘要
动作检测是一项具有挑战性的视频理解任务,需要对时空与交互关系进行建模。现有方法通常分别建模演员-演员与演员-上下文关系,忽略了它们的互补性与相互支持。为解决该问题,我们提出了一种称为多关系支持网络(MRSN)的新颖网络。在MRSN中,演员-上下文关系编码器(ACRE)与演员-演员关系编码器(AARE)分别建模演员-上下文与演员-演员关系。随后关系支持编码器(RSE)计算两种关系间的支持并执行关系级交互。最后,关系共识模块(RCM)利用来自长时关系库(LRB)的长时关系增强两种关系并得出共识。我们的实验表明,分别建模关系并进行关系级交互能够在两个具有挑战性的视频数据集AVA与UCF101-24上取得并超越当前最优结果。
引用
@article{arxiv.2304.11975,
title = {MRSN: Multi-Relation Support Network for Video Action Detection},
author = {Yin-Dong Zheng and Guo Chen and Minglei Yuan and Tong Lu},
journal= {arXiv preprint arXiv:2304.11975},
year = {2023}
}
备注
6 pages