一种适配图像显著性深度模型至视频数据的即插即用方案
计算机视觉与模式识别
2020-08-21 v1 机器学习
图像与视频处理
摘要
随着深度学习技术的快速发展，仅由空间信息训练的图像显著性深度模型偶尔能达到与由空间和时间信息共同训练的模型相媲美的视频数据检测性能。然而，由于对时间信息的考量较少，图像显著性深度模型在由时间信息主导的视频序列中可能变得脆弱。因此，最近的视频显著性检测方法采用了以空间深度模型开头、后接精心设计的时序深度模型的网络架构。然而，此类方法容易遭遇单流学习方法带来的性能瓶颈，故整体检测性能很大程度上由空间深度模型决定。与当前主流方法形成鲜明对比，本文提出一种新颖的即插即用方案，利用新感知并编码的时间信息对预训练的图像显著性深度模型进行弱重训练以用于视频数据。因此，重训练后的图像显著性深度模型将能够保持时间显著性感知，实现大幅改进的检测性能。此外，我们的方法简单而有效，可适配任何现成的预训练图像显著性深度模型以获得高质量视频显著性检测。另外，我们方法的数据与源代码均公开可用。
引用
@article{arxiv.2008.09103,
title = {A Plug-and-play Scheme to Adapt Image Saliency Deep Model for Video Data},
author = {Yunxiao Li and Shuai Li and Chenglizhao Chen and Aimin Hao and Hong Qin},
journal= {arXiv preprint arXiv:2008.09103},
year = {2020}
}
备注
12 pages, 10 figures, and, this paper is currently in peer review in IEEE TCSVT