Achelous++：基于视觉-雷达融合与异构模态剪枝、面向边缘设备的功耗导向水面全景感知框架
计算机视觉与模式识别
2023-12-15 v1 计算工程、金融与科学
机器人学
摘要
城市水面鲁棒感知是水环境智能监控以及无人船自主导航与作业的基础，尤其是在水路安全的背景下。值得注意的是，当前的多传感器融合与多任务学习模型消耗大量功耗，并严重依赖高功耗 GPU 进行推理。这导致了碳排放的增加，与当前对环境保护和追求可持续低碳城市环境的重视背道而驰。鉴于这些考虑，本文专注于通过融合视觉与 4D 雷达数据来实现低功耗、轻量级的多任务全景感知，这被视为一种很有前景的低成本感知方法。我们提出了一个名为 Achelous++ 的框架，以促进多任务水面全景感知模型的开发与综合评估。Achelous++ 能够以高速和低功耗同时执行五项感知任务，包括目标检测、目标语义分割、可行驶区域分割、水线分割以及雷达点云语义分割。此外，为了满足开发者在低性能设备上定制模型以进行实时推理的需求，提出了一种名为异构感知 SynFlow（HA-SynFlow）的新型多模态剪枝策略。除此之外，Achelous++ 还支持在初始化时进行具有不同层级稀疏度的随机剪枝，例如 Uniform 和 Erdos-Renyi-Kernel（ERK）。总体而言，我们的 Achelous++ 框架在 WaterScenes 基准上取得了 SOTA 性能，与其他单任务和多任务模型相比，在准确性和功耗效率方面均表现出色。我们在 https://github.com/GuanRunwei/Achelous 发布并维护代码。
引用
@article{arxiv.2312.08851,
title = {Achelous++: Power-Oriented Water-Surface Panoptic Perception Framework on Edge Devices based on Vision-Radar Fusion and Pruning of Heterogeneous Modalities},
author = {Runwei Guan and Haocheng Zhao and Shanliang Yao and Ka Lok Man and Xiaohui Zhu and Limin Yu and Yong Yue and Jeremy Smith and Eng Gee Lim and Weiping Ding and Yutao Yue},
journal= {arXiv preprint arXiv:2312.08851},
year = {2023}
}
备注
18 pages, 9 figures