BlabberSeg：基于 CLIPSeg 的实时嵌入式开词表 aerial 分割
机器人学
2024-10-18 v1
摘要
实时航空图像分割在无人机的环境感知中发挥着重要作用。我们引入 BlabberSeg，一个基于 CLIPSeg 构建的优化视觉语言模型，用于无人机对航空图像进行 onboard、实时处理。BlabberSeg 通过重用提示和模型特征提高了 CLIPSeg 的效率，降低计算开销，同时实现了实时开词表航空分割。我们在使用视觉伺服和开词表分割的 Dynamic Open-Vocabulary Enhanced SafE-Landing with Intelligence（DOVESEI）框架中验证了 BlabberSeg。与原始 CLIPSeg（1.81Hz）相比，BlabberSeg 在 NVIDIA Jetson Orin AGX（64GB）上实现了 927.41% 的速度提升（16.78Hz），实现了与 CLIPSeg 几乎不牺牲准确性（2.1% 的正确分割区域比例）相匹配的实时航空分割。BlabberSeg 的源代码已公开提供。
引用
@article{arxiv.2410.12979,
title = {BlabberSeg: Real-Time Embedded Open-Vocabulary Aerial Segmentation},
author = {Haechan Mark Bong and Ricardo de Azambuja and Giovanni Beltrame},
journal= {arXiv preprint arXiv:2410.12979},
year = {2024}
}