基于跨模态一致性的实例分割
计算机视觉与模式识别
2022-10-18 v1
摘要
分割物体实例是机器感知中的一项关键任务，在机器人与自动驾驶中具有安全关键型应用。我们引入一种新颖的实例分割方法，联合利用来自多传感器模态（如相机与 LiDAR）的测量。我们的方法学习为每个像素或点预测嵌入，从而产生场景的稠密分割。具体而言，我们的技术对场景中跨传感器模态和时域的点应用对比学习。我们证明该表述鼓励模型学习对视角变化不变且跨传感器模态一致的嵌入。我们进一步证明嵌入随物体在场中移动而在时间上保持稳定。这不仅提供稳定的实例掩码，还能为下游任务（如目标跟踪）提供有价值信号。我们在 Cityscapes 和 KITTI-360 数据集上评估了我们的方法。我们进一步进行了若干消融研究，展示了在对比损失中应用额外输入所带来的益处。
引用
@article{arxiv.2210.08113,
title = {Instance Segmentation with Cross-Modal Consistency},
author = {Alex Zihao Zhu and Vincent Casser and Reza Mahjourian and Henrik Kretzschmar and Sören Pirk},
journal= {arXiv preprint arXiv:2210.08113},
year = {2022}
}
备注
8 pages, 9 figures, 5 tables. Presented at IROS 2022