基于运动单目相机的运动分割
计算机视觉与模式识别
2023-09-26 v1
摘要
在存在未知相机运动、不同类型物体运动以及复杂场景结构的情况下，从运动单目相机中识别并分割运动物体是困难的。为应对这些挑战，我们利用两类流行的单目运动分割方法——基于点轨迹的方法和基于光流的方法，通过在物体层面协同融合这两种高度互补的运动线索。通过这种方式，我们能够一次性地对不同场景结构中的各种复杂物体运动进行建模，这是现有方法所未实现的。我们首先借助近期在物体识别、分割与跟踪方面的基石模型，为视频中每个公共物体获取特定的点轨迹和光流掩码。然后，利用对极几何和光流提供的运动信息，构建两个鲁棒的亲和矩阵，表示整个视频中物体两两之间的运动亲和性。最后，采用协同正则化多视图谱聚类来融合这两个亲和矩阵并得到最终聚类。我们的方法在包含复杂运动与场景结构的 KT3DMoSeg 数据集上取得了最先进的性能。能够识别运动物体使得我们在使用视觉 SLAM 或 SFM 进行建图时可将它们移除。
引用
@article{arxiv.2309.13772,
title = {Motion Segmentation from a Moving Monocular Camera},
author = {Yuxiang Huang and John Zelek},
journal= {arXiv preprint arXiv:2309.13772},
year = {2023}
}
备注
Accepted by IROS 2023 Workshop on Robotic Perception And Mapping: Frontier Vision and Learning Techniques