混合且未知模型数量的 3D 刚体运动分割

许多真实世界的视频序列无法方便地归类为一般或退化；在这种情况下，在视频序列的运动分割上强加基本矩阵或单应矩阵模型的错误二分法会导致困难。即使面对一般场景运动，作为运动分割模型的基本矩阵方法仍存在若干缺陷，本文对此进行了讨论。基本矩阵方法的全部潜力只有在我们从更简单的单应模型中明智地获取信息后才能实现。基于这些考虑，我们提出了一种多模型谱聚类框架，将多个模型（单应矩阵和基本矩阵）协同结合。我们表明，通过这种方式性能可得到显著提升。对于一般运动分割任务，独立运动物体的数量通常事先未知，需要根据观测进行估计。这被称为模型选择，本质上仍是一个开放的研究问题。在本工作中，我们提出了一组平衡数据保真度与模型复杂度的模型选择准则。我们在现有运动分割数据集上进行了包含分割与模型选择任务的广泛测试，在所有任务上均达到了最先进的性能；我们还提出了一个改编自 KITTI 基准的更真实且更具挑战性的数据集，包含传统数据集中未见的强透视和强前向平移等真实世界效应。