PSNet：用于视频显著性目标检测的并行对称网络
计算机视觉与模式识别
2022-10-13 v1
摘要
针对视频显著性目标检测（VSOD）任务，如何从不同外观模态与运动模态中挖掘信息一直是备受关注的问题。包含RGB外观流与光流运动流的双流结构已被广泛用作VSOD任务的典型流程，但现有方法通常仅利用运动特征单向引导外观特征，或自适应但盲目地融合双模态特征。然而，由于学习方案不全面且不具针对性，这些方法在多样场景下表现不佳。本文遵循更稳妥的建模思路，以更全面的方式深入探究外观模态与运动模态的重要性，并提出一种具有上下并行对称结构的VSOD网络，称为PSNet。设置两个以不同主导模态为主的并行分支，在聚集扩散增强（GDR）模块与跨模态精炼互补（CRC）模块协作下实现完整的视频显著性解码。最后，利用重要性感知融合（IPF）模块根据两并行分支在不同场景下的不同重要性融合其特征。在四个数据集基准上的实验表明，我们的方法取得了令人满意且具有竞争力的性能。
引用
@article{arxiv.2210.05912,
title = {PSNet: Parallel Symmetric Network for Video Salient Object Detection},
author = {Runmin Cong and Weiyu Song and Jianjun Lei and Guanghui Yue and Yao Zhao and Sam Kwong},
journal= {arXiv preprint arXiv:2210.05912},
year = {2022}
}
备注
Accepted by IEEE Transactions on Emerging Topics in Computational Intelligence 2022, 13 pages, 8 figures