通过预测可能运动模式的无监督多目标分割
计算机视觉与模式识别
2022-10-24 v1 人工智能
机器学习
摘要
我们提出一种无需人工监督即可学习分割多图像目标的新方法。该方法可从静态图像中提取目标，但使用视频进行监督。尽管先前工作已考虑利用运动进行分割，但一个关键见解是：虽然运动可用于识别目标，但并非所有目标都必然处于运动中：缺乏运动并不意味着没有目标。因此，我们的模型学习预测可能包含刚性运动目标特征运动模式的图像区域。它不预测具体运动（这无法从静态图像中明确得出），而是预测可能运动的分布，其中包含目标完全不运动的可能性。我们证明了该方法相对于其确定性对应方法的优势，并在模拟和真实世界基准上展示了最先进的（SOTA）无监督目标分割性能，超越了甚至在测试时也使用运动的方法。由于我们的方法适用于多种分割场景的网络架构，我们将其应用于现有的基于图像重建的模型，显示出显著改进。项目页面与代码：https://www.robots.ox.ac.uk/~vgg/research/ppmp。
引用
@article{arxiv.2210.12148,
title = {Unsupervised Multi-object Segmentation by Predicting Probable Motion Patterns},
author = {Laurynas Karazija and Subhabrata Choudhury and Iro Laina and Christian Rupprecht and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2210.12148},
year = {2022}
}