用于视频目标识别的时序 RoI Align

Tao Gong; Kai Chen; Xinjiang Wang; Qi Chu; Feng Zhu; Dahua Lin; Nenghai Yu; Huamin Feng

用于视频目标识别的时序 RoI Align

计算机视觉与模式识别 2021-09-14 v2

作者: Tao Gong , Kai Chen , Xinjiang Wang , Qi Chu , Feng Zhu , Dahua Lin , Nenghai Yu , Huamin Feng

摘要

在视频某些帧出现外观退化时，视频目标检测具有挑战性。因此，将同一视频其他帧的时间信息聚合到当前帧是自然的选择。然而，RoI Align 作为视频检测器最核心的步骤之一，仍仅从单帧特征图为候选框提取特征，使得提取的 RoI 特征缺乏来自视频的时间信息。本工作中，考虑到同一目标实例在视频各帧间特征高度相似，提出一种新颖的时序 RoI Align 算子，利用特征相似性为当前帧候选框从其他帧特征图提取特征。所提时序 RoI Align 算子能为候选框从整个视频提取时间信息。我们将其集成到单帧视频检测器及其他最先进视频检测器中，并开展定量实验证明所提时序 RoI Align 算子能持续且显著提升性能。此外，所提时序 RoI Align 也可应用于视频实例分割。代码见 https://github.com/open-mmlab/mmtracking

关键词

视频目标检测时序 RoI Align 特征聚合视频实例分割 RoI 特征时间信息

引用

@article{arxiv.2109.03495,
  title  = {Temporal RoI Align for Video Object Recognition},
  author = {Tao Gong and Kai Chen and Xinjiang Wang and Qi Chu and Feng Zhu and Dahua Lin and Nenghai Yu and Huamin Feng},
  journal= {arXiv preprint arXiv:2109.03495},
  year   = {2021}
}

备注

Accpeted by AAAI 2021

用于视频目标识别的时序 RoI Align

摘要

关键词

引用

备注

相关论文