面向视频目标分割的时空图优化
计算机视觉与模式识别
2019-08-06 v2
摘要
我们解决了视频中前景目标发现与分割这一具有挑战性的任务。我们提出了一种高效的解决方案，适用于无监督与有监督两种场景，该方案基于视频序列的时空图表示。我们通过图节点与视频像素之间的一一对应关系来确保细粒度的表示。我们利用场景元素在运动与外观上的时空一致性，将该任务表述为一个谱聚类问题。属于感兴趣主目标的图节点应形成一个强聚类，因为它们通过长程光流链相连，且沿这些链具有相似的运动与外观特征。一方面，优化问题旨在基于跨越空间与时间运动结构最大化分割聚类得分。另一方面，分割应与节点特征保持一致。我们的方法导出了一种图表述，其中分割解成为新颖的特征-运动矩阵的主特征向量。虽然实际矩阵并未被显式计算，但所提算法在少量迭代步内高效地计算出捕获视频中主目标分割的主特征向量。所提算法 GO-VOS 产生全局最优解，因此不依赖于初始化。在实践中，GO-VOS 在现有文献中使用的三个具有挑战性的数据集 DAVIS、SegTrack 和 YouTube-Objects 上取得了最先进的结果。
引用
@article{arxiv.1907.03326,
title = {Spacetime Graph Optimization for Video Object Segmentation},
author = {Emanuela Haller and Adina Magda Florea and Marius Leordeanu},
journal= {arXiv preprint arXiv:1907.03326},
year = {2019}
}