基于共同命运原则的无监督物体学习
计算机视觉与模式识别
2023-05-16 v2 机器学习
机器学习
摘要
从无标签视频中学习生成式物体模型是一个长期存在的问题,并且是因果场景建模所必需的。我们将此问题分解为三个更简单的子任务,并为每个子任务提供候选解决方案。受格式塔心理学共同命运原则的启发,我们首先通过无监督运动分割提取(含噪)运动物体掩码。其次,分别在背景与运动物体的掩码上训练生成式模型。第三,将背景与前景模型结合于一个条件式“死叶”场景模型中,以采样新的场景配置,其中遮挡与深度分层自然产生。为评估各个阶段,我们引入了介于复杂真实场景与简单物体的常见以物体为中心基准之间的 Fishbowl 数据集。我们展示了我们的方法允许学习能够泛化到输入视频中未见遮挡之外的生成式模型,并以模块化方式表示场景,通过允许例如训练集中未出现的物体数量或密度,可采样出训练分布之外的合理场景。
引用
@article{arxiv.2110.06562,
title = {Unsupervised Object Learning via Common Fate},
author = {Matthias Tangemann and Steffen Schneider and Julius von Kügelgen and Francesco Locatello and Peter Gehler and Thomas Brox and Matthias Kümmerer and Matthias Bethge and Bernhard Schölkopf},
journal= {arXiv preprint arXiv:2110.06562},
year = {2023}
}
备注
Published at CLeaR 2023