UnOVOST：无监督离线视频对象分割与跟踪
计算机视觉与模式识别
2020-01-16 v1
摘要
我们研究无监督视频对象分割（UVOS），即自动为视频序列中显著对象生成精确像素掩码并随时间一致地跟踪这些对象、而无需任何关于应跟踪哪些对象的输入的任务。针对该任务，我们提出 UnOVOST（Unsupervised Offline Video Object Segmentation and Tracking，无监督离线视频对象分割与跟踪）这一简单且通用的算法，能够跟踪并分割多种对象。该算法分多个阶段构建轨迹：首先将分割块分组为时空一致的短轨迹段（tracklet），再基于视觉相似性将这些轨迹段合并为长期一致的对象轨迹。为此，我们引入一种新颖的基于轨迹段的森林路径割数据关联算法，先构建轨迹假设的决策森林，再将此森林割为构成长期一致对象轨迹的路径。在 DAVIS 2017 无监督数据集上评估我们的方法时，我们取得了最先进的性能，在 val、test-dev 与 test-challenge 基准上的平均 J&F 分数分别为 67.9%、58% 与 56.4%，并在 DAVIS 2019 无监督视频对象分割挑战赛中获得第一名。即便未给定任何关于应跟踪与分割哪些对象的输入，UnOVOST 甚至能与许多半监督视频对象分割算法竞争。
引用
@article{arxiv.2001.05425,
title = {UnOVOST: Unsupervised Offline Video Object Segmentation and Tracking},
author = {Jonathon Luiten and Idil Esen Zulfikar and Bastian Leibe},
journal= {arXiv preprint arXiv:2001.05425},
year = {2020}
}
备注
Accepted for publication at WACV 2020