用于视频显著性检测的时空特征金字塔
计算机视觉与模式识别
2021-09-15 v2
摘要
多层次特征对显著性检测十分重要。更好地组合并利用带有时间信息的多层次特征可大幅提升视频显著性模型的精度。为充分结合多层次特征并使其服务于视频显著性模型，我们提出一种用于视频显著性检测的 3D 全卷积编解码器架构，其联合尺度、空间和时间信息进行视频显著性建模。编码器从输入的连续视频帧中提取多尺度时空特征，进而通过时空卷积与自顶向下特征整合构建时空特征金字塔。解码器对不同尺度的时空特征进行分层解码，最终由多视频帧的整合生成显著性图。我们的模型简洁而有效，且可实时运行。我们进行了充分的实验，结果表明该精心设计的结构能显著提升视频显著性检测精度。在三个纯视觉视频显著性基准和六个音视频显著性基准上的实验结果证明，我们的方法优于现有的最先进方法。
引用
@article{arxiv.2105.04213,
title = {Temporal-Spatial Feature Pyramid for Video Saliency Detection},
author = {Qinyao Chang and Shiping Zhu},
journal= {arXiv preprint arXiv:2105.04213},
year = {2021}
}