无人机上的实时多模态语义融合
计算机视觉与模式识别
2021-08-17 v1 机器人学
摘要
配备多种互补传感器的无人机（UAVs）在快速自主或遥控语义场景分析（例如灾害勘察）方面具有巨大潜力。本文中，我们提出了一种用于多传感器模态实时语义推理与融合的无人机系统。LiDAR扫描与RGB图像的语义分割，以及RGB与热成像图像上的目标检测，使用轻量CNN架构与嵌入式推理加速器在无人机机载计算机上在线运行。我们采用后期融合方法，其中来自多模态的语义信息增强3D点云与图像分割掩码，同时生成以分配中心为参照的语义地图。我们的系统以9Hz提供增强的语义图像与点云。我们在城市环境的真实世界实验中评估了该集成系统。
引用
@article{arxiv.2108.06608,
title = {Real-Time Multi-Modal Semantic Fusion on Unmanned Aerial Vehicles},
author = {Simon Bultmann and Jan Quenzel and Sven Behnke},
journal= {arXiv preprint arXiv:2108.06608},
year = {2021}
}
备注
Accepted for: 10th European Conference on Mobile Robots (ECMR), Bonn, Germany, September 2021