MARVIS：运动与几何感知的真实与虚拟图像分割
计算机视觉与模式识别
2025-04-16 v2 机器人学
摘要
水面附近的自主导航、3D 重建和目标识别等任务在海洋机器人应用中至关重要。然而，由于动态干扰（例如随机空气-水界面的光反射和折射、不规则液体流动及类似因素），会出现挑战，这可能导致感知和导航系统的潜在故障。传统计算机视觉算法难以区分真实与虚拟图像区域，使任务显著复杂化。虚拟图像区域是通过光线的重定向（通常通过反射或折射）形成的表观表示，在没有实际物理位置的情况下产生物体存在的错觉。本工作提出了一种针对真实与虚拟图像区域分割的新方法，利用合成图像结合领域不变信息、运动熵核以及对极几何一致性。如果领域发生变化，我们的分割网络无需重新训练。我们通过在两个不同领域（模拟和真实世界）部署相同的分割网络来证明这一点。通过创建模拟水面复杂性的逼真合成图像，我们为网络（MARVIS）提供了细粒度的训练数据，以有效区分真实与虚拟图像。通过运动与几何感知的设计选择以及全面的实验分析，我们在未见过的真实世界领域实现了 SOTA 的真实-虚拟图像分割性能，IoU 超过 78%，F1-Score 超过 86%，同时确保了较小的计算开销。MARVIS 在单个 GPU（CPU 核心）上提供超过 43 FPS（8 FPS）的推理速率。我们的代码和数据集可在 https://github.com/jiayi-wu-umd/MARVIS 获取。
引用
@article{arxiv.2403.09850,
title = {MARVIS: Motion & Geometry Aware Real and Virtual Image Segmentation},
author = {Jiayi Wu and Xiaomin Lin and Shahriar Negahdaripour and Cornelia Fermüller and Yiannis Aloimonos},
journal= {arXiv preprint arXiv:2403.09850},
year = {2025}
}