从点轨迹学习分割

我们考虑仅基于视频中物体的运动且无其他形式监督的物体分割问题。先前的工作通常利用共同命运原则来解决这一问题，即属于同一物体的点的运动是强相关的。然而，大多数作者仅考虑了来自光流的瞬时运动。在本工作中，我们提出了一种使用长期点轨迹作为监督信号以补充光流来训练分割网络的方法。关键难点在于，长期运动与瞬时运动不同，难以建模——任何参数化近似都不太可能捕捉长时间内的复杂运动模式。相反，我们从子空间聚类方法中汲取灵感，提出了一种损失函数，旨在将轨迹分组为低秩矩阵，其中物体点的运动可以被近似解释为其他点轨迹的线性组合。我们的方法在基于运动的分割上优于现有技术，这表明了长期运动的效用以及我们公式的有效性。