基于移动本车的无事件运动物体分割
计算机视觉与模式识别
2024-09-26 v3 机器人学
摘要
动态场景中的运动物体分割（MOS）是自动驾驶中一个重要、具挑战但研究不足的话题，尤其对于由移动本车获取的序列。多数分割方法利用从光流图获得的运动线索。然而，由于这些方法常基于由连续 RGB 帧预计算的光流，忽视了帧间事件发生的时间考量，从而限制了其辨别相对静止但确在运动物体的能力。为应对这些局限，我们提出利用事件相机以获得更好的视频理解，其提供丰富运动线索而不依赖光流。为推动该领域研究，我们首先引入一个名为 DSEC-MOS 的新型大规模数据集，用于移动本车的运动物体分割，其为同类首个。为基准测试，我们选取多种主流方法并在我们的数据集上严格评估。随后，我们设计了 EmoFormer，一种能够利用事件数据的新型网络。为此，我们将事件时间先验与空间语义图融合，以从静态背景中区分真实运动物体，并在我们关注物体周围增加另一层密集监督。我们提出的网络仅依赖事件数据训练，但推理时不需要事件输入，使其在效率上可直接与仅帧方法比较，并更广泛应用于诸多用例。详尽对比凸显了我们的方法相较所有其他方法显著的性能提升。源代码与数据集公开于：https://github.com/ZZY-Zhou/DSEC-MOS。
引用
@article{arxiv.2305.00126,
title = {Event-Free Moving Object Segmentation from Moving Ego Vehicle},
author = {Zhuyun Zhou and Zongwei Wu and Danda Pani Paudel and Rémi Boutteau and Fan Yang and Luc Van Gool and Radu Timofte and Dominique Ginhac},
journal= {arXiv preprint arXiv:2305.00126},
year = {2024}
}