利用时间性进行半监督视频分割
计算机视觉与模式识别
2019-08-30 v1 机器学习
图像与视频处理
摘要
近年来，监督图像分割取得了显著进展。尽管时间维度信息量丰富，视频分割的研究仍较少。语义标签（例如在当前帧中无法准确检测的标签）可通过融合先前帧的信息来推断。然而，视频分割由于需要处理的数据量巨大，且更关键的是为每帧获取真实标注的成本高昂而具有挑战性。在本文中，我们利用视频的连续帧来解决标注稀缺问题，其中仅有一帧被标注。我们提出了一种深度的、端到端可训练模型，该模型利用时间信息以使用易于获取的未标注数据。我们的网络架构依赖于两个组件的新颖互联：一个全卷积网络用于建模空间信息，以及时间单元被部署在卷积网络的中间层级以随时间传播信息。本工作的主要贡献是对网络中时间信号的引导。我们表明，仅在编码器与解码器之间放置时间模块是次优的（基线）。我们在 CityScapes 数据集上的大量实验表明，所得模型能够利用未标注的时间帧，并显著优于逐帧图像分割与基线方法。
引用
@article{arxiv.1908.11309,
title = {Exploiting Temporality for Semi-Supervised Video Segmentation},
author = {Radu Sibechi and Olaf Booij and Nora Baka and Peter Bloem},
journal= {arXiv preprint arXiv:1908.11309},
year = {2019}
}
备注
Accepted as workshop paper at ICCV 2019