一种用于全景视频显著性目标检测的空间-时间双模混合流网络
计算机视觉与模式识别
2023-10-16 v1 人工智能
摘要
全景视频中的显著性目标检测（SOD）仍处于初步探索阶段。将 2D 视频 SOD 方法间接应用于全景视频中显著性目标的检测存在诸多未解挑战，如检测精度低、模型复杂度高、泛化性能差。为克服这些障碍，我们设计了层间注意力（ILA）模块、层间权重（ILW）模块与双模注意力（BMA）模块。基于这些模块，我们提出了一种空间-时间双模混合流网络（STDMMF-Net），利用全景视频的空间流与相应光流进行 SOD。首先，ILA 模块计算连续帧全景视频相邻层级特征间的注意力，以提高从空间流中提取显著性目标特征的精度。随后，ILW 模块量化各层级特征中所含显著性目标信息，以提升混合流中各层级特征的融合效率。最后，BMA 模块提升了 STDMMF-Net 的检测精度。大量主观与客观实验结果证明，所提方法相较当前最优（SOTA）方法表现出更优的检测精度。此外，在模型推理所需内存、测试时间、复杂度与泛化性能方面，所提方法的综合表现更优。
引用
@article{arxiv.2310.09016,
title = {A Spatial-Temporal Dual-Mode Mixed Flow Network for Panoramic Video Salient Object Detection},
author = {Xiaolei Chen and Pengcheng Zhang and Zelong Du and Ishfaq Ahmad},
journal= {arXiv preprint arXiv:2310.09016},
year = {2023}
}