探索丰富高效的空间时间交互用于实时视频显著目标检测
计算机视觉与模式识别
2021-04-21 v1 机器学习
摘要
当前主流方法主要从空间与时间两个独立分支来构建视频显著性。作为补充组件，时间分支的主要任务是间歇性地使空间分支聚焦于具有显著运动的区域。如此一来，尽管整体视频显著性质量严重依赖于空间分支，但时间分支的性能仍然重要。因此，提升整体视频显著性的关键因素在于如何高效地进一步提升这些分支的性能。本文提出一种新颖的时空网络，以完全交互的方式实现此类提升。我们将一个轻量级时间模型集成到空间分支中，以粗略定位与可信显著运动相关的空间显著区域。同时，空间分支本身能够以多尺度方式递归地细化时间模型。通过这种方式，空间与时间分支能够相互交互，实现性能的相互提升。我们的方法易于实现且有效，以 50 FPS 的实时速度实现高质量的视频显著性检测。
引用
@article{arxiv.2008.02973,
title = {Exploring Rich and Efficient Spatial Temporal Interactions for Real Time Video Salient Object Detection},
author = {Chenglizhao Chen and Guotao Wang and Chong Peng and Dingwen Zhang and Yuming Fang and Hong Qin},
journal= {arXiv preprint arXiv:2008.02973},
year = {2021}
}