多模态多任务（3MT）道路分割
机器人学
2023-08-24 v1 计算机视觉与模式识别
摘要
由于能感知场景的不同方面，多模态系统比单模态系统在道路检测中能产生更可靠的结果。我们专注于使用原始传感器输入，而非像许多SOTA工作通常所做的那样，采用需要高预处理成本（如表面法线或稠密深度预测）的架构。通过使用原始传感器输入，我们旨在利用低成本模型，将预处理与模型计算成本均最小化。本研究提出了一种通过多任务学习架构集成多传感器数据、具成本效益且高精度的道路分割方案。提出了一种融合架构，其中RGB与LiDAR深度图像构成网络输入。本研究的另一贡献是使用IMU/GNSS（惯性测量单元/全球导航卫星系统）惯性导航系统，其数据与LiDAR-相机同步采集并标定，以计算聚合的稠密LiDAR深度图像。在KITTI数据集上的实验表明，所提方法提供了快速且高性能的解决方案。我们也在无原始LiDAR数据的Cityscapes上展示了方法性能。针对全分辨率与半分辨率图像所得的分割结果均与现有方法具竞争力。因此，我们得出结论：我们的方法不仅依赖于原始LiDAR数据，也可用于不同传感器模态。所有实验中的推理时间对实时实验而言都非常可观。
引用
@article{arxiv.2308.11983,
title = {Multi-Modal Multi-Task (3MT) Road Segmentation},
author = {Erkan Milli and Özgür Erkent and Asım Egemen Yılmaz},
journal= {arXiv preprint arXiv:2308.11983},
year = {2023}
}