学习一种快速的 3D 谱方法用于时空物体分割与跟踪
计算机视觉与模式识别
2022-12-16 v1
摘要
我们将视频物体分割视为时空中的谱图聚类，每个像素为一个图节点，边构成局部时空邻域。我们主张该视频图中最强的簇代表显著物体。我们首先引入一种基于 3D 滤波的新颖高效方法，用于近似谱解（即图邻接矩阵的主特征向量），而无需显式构建矩阵。这一关键特性使我们可以在 GPU 上实现快速并行，比计算特征向量的经典方法快几个数量级。我们采用谱时空聚类方法（在视频语义分割文献中独树一帜）的动机在于，此类聚类致力于保持物体随时间的一致性，我们使用我们新颖的分割一致性度量进行评估。进一步，我们展示了如何高效地跨多个输入特征通道学习该解。最后，我们将方法的公式推广到分割任务之外，进入物体跟踪领域。在大量实验中，我们展示了对顶级方法以及组合它们的强大集成方法的显著改进，在跟踪和分割的多个基准上均达到最先进水平（state-of-the-art）。
引用
@article{arxiv.2212.08058,
title = {Learning a Fast 3D Spectral Approach to Object Segmentation and Tracking over Space and Time},
author = {Elena Burceanu and Marius Leordeanu},
journal= {arXiv preprint arXiv:2212.08058},
year = {2022}
}