中文

Achelous:基于单目相机与 4D 毫米波雷达融合的快速水面全景感知统一框架

计算机视觉与模式识别 2023-07-17 v1 机器人学

摘要

当前不同任务的感知模型在无人水面艇(USV)上通常以模块化形式存在,在边缘设备上并行推理极慢,导致感知结果与 USV 位置之间的异步,并引发自主导航的错误决策。相较于无人地面车辆(UGV),USV 的鲁棒感知发展相对缓慢。此外,当前多数多任务感知模型参数量巨大、推理慢且不可扩展。为此,我们提出 Achelous,一种基于单目相机与 4D 毫米波雷达融合的低成本、快速水面感知统一全景感知框架。Achelous 可同时执行五项任务:视觉目标检测与分割、可行驶区域分割、水线分割以及雷达点云分割。此外,Achelous 系列模型参数量少于约 500 万,在 NVIDIA Jetson AGX Xavier 上达到约 18 FPS,比 HybridNets 快 11 FPS,并在我们收集的数据集上以约 5 mAP50-95_{\text{50-95}} 和 0.7 mIoU 优于 YOLOX-Tiny 和 Segformer-B0,尤其在恶劣天气、暗光环境和相机失效情形下。据我们所知,Achelous 是首个结合视觉级与点云级任务的水面感知综合全景感知框架。为促进智能交通社区发展,我们在 \url{https://github.com/GuanRunwei/Achelous} 发布代码。

关键词

引用

@article{arxiv.2307.07102,
  title  = {Achelous: A Fast Unified Water-surface Panoptic Perception Framework based on Fusion of Monocular Camera and 4D mmWave Radar},
  author = {Runwei Guan and Shanliang Yao and Xiaohui Zhu and Ka Lok Man and Eng Gee Lim and Jeremy Smith and Yong Yue and Yutao Yue},
  journal= {arXiv preprint arXiv:2307.07102},
  year   = {2023}
}

备注

Accepted by ITSC 2023