一种用于时空谱目标分割的 3D 卷积方法

我们将视频中的目标分割表述为时空中的图划分问题，其中节点为像素，其关系构成局部邻域。我们主张该像素级图中最强的簇代表显著目标分割。我们使用一种新颖且快速的 3D 滤波技术来计算主簇，该技术求得谱聚类解，即图邻接矩阵的主特征向量，而无需显式构建矩阵——显式构建将是难以处理的。我们的方法基于用于求矩阵主特征向量的幂迭代法，我们证明这等价于在时空特征体中执行一组特定的 3D 卷积。这使我们能够避免创建矩阵，并在 GPU 上实现快速并行计算。我们表明，我们的方法比直接在邻接矩阵上应用的经典幂迭代快得多。与其他工作不同，我们的方法致力于在像素层面保持目标在时空中的一致性。为此，它需要帧层面强大的逐像素特征。这使其非常适合融入骨干网络或其他方法的输出，并在无监督情况下快速改进其解。在实验中，我们在 DAVIS-2016 数据集上，使用同一组超参数，在无监督和半监督任务中均获得对当前最优方法的持续改进。我们还在知名的 SegTrackv2 数据集上取得了顶尖结果。