基于大模型对话的人工智能主动感知与异常检测
计算机视觉与模式识别
2025-01-28 v1 人工智能
摘要
自动航空监测是一项重要任务，旨在gather信息，这些信息可能难以被人类轻松访问。同时，这项任务往往需要从较大距离或以前未遇见的场景中识别异常现象。在本文中，我们提出一种新框架，利用大语言模型（LLM）的先进能力，主动收集信息并对新场景进行异常检测。为此，我们提出一种基于 LLM 的模型对话方法，其中两个深度学习模型进行对话，以主动控制无人机以提高感知和异常检测精度。在我们构建的高保真仿真环境中，LLM被提供一组预定义的自然语言运动命令，这些命令被映射为可执行的代码函数。此外，我们部署一个多模态视觉问答（VQA）模型，负责视觉问答和图像描述。通过让两个模型进行对话，LLM会提出探索性问题，同时驾驶无人机进入场景的不同部分，从而实现了主动感知的新方法。通过利用 LLM 的推理能力，我们输出对场景的详细描述，超越现有的静态感知方法。在信息收集之外，我们的方法也用于异常检测。我们的实验结果表明，该方法在警示潜在危险方面效果显著。
引用
@article{arxiv.2501.16300,
title = {Large Models in Dialogue for Active Perception and Anomaly Detection},
author = {Tzoulio Chamiti and Nikolaos Passalis and Anastasios Tefas},
journal= {arXiv preprint arXiv:2501.16300},
year = {2025}
}
备注
Accepted to International Conference of Pattern Recognition (ICPR 2024)