语义实例遇见显著目标：视频语义显著实例分割研究
计算机视觉与模式识别
2018-11-26 v3
摘要
对于机器人导航和自动驾驶汽车而言，仅关注场景中显著的语义实例比观察整个场景中的所有物体更具优势。本文将视频中显著区域的研究推进到将其分解为具有语义意义的组成部分，即语义显著实例。我们为视频语义显著实例分割(VSSIS)这一新任务提供了基线，即语义实例-显著目标(SISO)框架。SISO框架简单而高效，它利用了两种不同分割任务(即语义实例分割和显著目标分割)的优势，最终将其融合得到结果。在SISO中，我们引入了一种顺序融合方法，通过查看语义实例与显著区域间的重叠像素，逐一获得非重叠实例。我们还引入了循环实例传播以细化实例的形状与语义含义，以及身份跟踪以在整个视频中保持实例的身份与语义含义。实验结果证明了我们SISO基线的有效性，其可处理视频中的遮挡。此外，为应对VSSIS任务，我们通过为显著实例标签分配语义真值来扩充DAVIS-2017基准数据集，得到语义显著实例视频(SESIV)数据集。我们的SESIV数据集包含84个高质量视频序列，具有逐像素的每帧真值标签。
引用
@article{arxiv.1807.01452,
title = {Semantic Instance Meets Salient Object: Study on Video Semantic Salient Instance Segmentation},
author = {Trung-Nghia Le and Akihiro Sugimoto},
journal= {arXiv preprint arXiv:1807.01452},
year = {2018}
}
备注
accepted in WACV 2019