深度学习与时空谱聚类在视频无监督分割中的迭代知识交换
计算机视觉与模式识别
2020-12-15 v1
摘要
我们提出一种用于视频中无监督物体分割的双系统，其将具有互补特性的两个模块结合在一起：一个在视频中发现物体的时空图，以及一个学习强大物体特征的深度网络。该系统使用迭代知识交换策略。图上新颖的谱时空聚类过程产生无监督分割掩码，作为伪标签传递给网络。网络学习在单帧中分割出图在视频中发现的物体，并将强大的图像级特征回传给图，以改进其下一轮迭代中的节点级特征。知识被交换若干轮直至收敛。该图每个视频像素对应一个节点，但物体发现速度很快。它使用一种新颖的幂迭代算法，将主时空簇计算为特殊特征-运动矩阵的主特征向量，而无需实际计算该矩阵。充分的实验分析验证了我们的理论主张并证明了循环知识交换的有效性。我们还在有监督场景下进行了实验，融入了经人类监督预训练的特征。我们在四个具有挑战性的数据集 DAVIS、SegTrack、YouTube-Objects 和 DAVSOD 上达到了无监督与有监督场景的最先进（SOTA）水平。
引用
@article{arxiv.2012.07123,
title = {Iterative Knowledge Exchange Between Deep Learning and Space-Time Spectral Clustering for Unsupervised Segmentation in Videos},
author = {Emanuela Haller and Adina Magda Florea and Marius Leordeanu},
journal= {arXiv preprint arXiv:2012.07123},
year = {2020}
}