通过时空知识蒸馏的快速视频显著目标检测
计算机视觉与模式识别
2021-03-18 v2
摘要
随着深度学习框架在视频显著目标检测中的广泛运用，近期方法的精度取得了惊人进展。这些方法主要采用基于光流或循环神经网络(RNN)的时序模块来学习鲁棒的时空特征。这些模块有效但显著增加了相应深度模型的计算负担。本文为简化网络并保持精度，通过时空知识蒸馏提出了一种专为视频显著目标检测定制的轻量网络。具体而言，在空间方面，我们结合显著引导特征嵌入结构与空间知识蒸馏以精炼空间特征。在时间方面，我们提出一种时间知识蒸馏策略，使网络能够通过帧间特征编码并从相邻帧蒸馏信息来学习鲁棒的时间特征。在常用视频数据集(如 DAVIS、DAVSOD、SegTrack-V2)上的实验证明我们的方法取得了具竞争力的性能。此外，在不使用复杂时序模块的情况下，所提网络以每帧 0.01s 的速度获得高效率。
引用
@article{arxiv.2010.10027,
title = {Fast Video Salient Object Detection via Spatiotemporal Knowledge Distillation},
author = {Yi Tang and Yuanman Li and Wenbin Zou},
journal= {arXiv preprint arXiv:2010.10027},
year = {2021}
}