基于异构 UAV-USV 系统的自主海事港口巡检 LLM-VLM 融合框架
机器人学
2026-01-21 v1 计算机视觉与模式识别
摘要
海事港口巡检在确保复杂海事环境中的安全、法规合规性和运营效率方面发挥着关键作用。然而，现有的巡检方法通常依赖人工操作和传统计算机视觉技术，缺乏可扩展性和情境理解能力。本研究引入了一种新型综合工程框架，该框架利用大语言模型（LLM）与视觉语言模型（VLM）之间的协同作用，通过协作的空中与水面机器人平台实现自主海事港口巡检。所提框架用 LLM 驱动的符号规划取代了传统的状态机任务规划器，并通过基于 VLM 的语义巡检改进了感知流水线，从而实现情境感知与自适应监控。LLM 模块将自然语言任务指令转化为带有依赖图的可执行符号规划，这些依赖图对操作约束进行编码并确保 UAV-USV 的安全协同。同时，VLM 模块执行实时语义巡检和合规性评估，生成具有情境推理的结构化报告。该框架通过扩展的 MBZIRC 海事模拟器进行了验证，该模拟器具备真实的港口基础设施，并进一步通过真实世界的机器人巡检试验进行了评估。轻量级的机载设计确保了其对资源受限的海事平台的适用性，推动了智能自主巡检系统的发展。项目资源（代码和视频）可在此处找到：https://github.com/Muhayyuddin/llm-vlm-fusion-port-inspection
引用
@article{arxiv.2601.13096,
title = {LLM-VLM Fusion Framework for Autonomous Maritime Port Inspection using a Heterogeneous UAV-USV System},
author = {Muhayy Ud Din and Waseem Akram and Ahsan B. Bakht and Irfan Hussain},
journal= {arXiv preprint arXiv:2601.13096},
year = {2026}
}
备注
submitted in AEJ