视觉语言模型作为空间领域的操作代理
人工智能
2025-01-15 v1 空间物理
摘要
本文探讨了视觉语言模型（VLM）作为空间领域操作代理的应用，重点关注软件和硬件操作范式。基于大语言模型（LLM）及其多模态扩展的进展，我们研究了VLM如何增强太空任务中的自主控制与决策。在软件层面，我们在Kerbal Space Program Differential Games（KSPDG）仿真环境中部署VLM，使代理能够解读图形用户界面的视觉截图以执行复杂的轨道机动。在硬件层面，我们将VLM与配备摄像头的机器人系统集成，以检查和诊断物理空间物体（如卫星）。我们的结果表明，VLM能够有效处理视觉和文本数据以生成符合上下文的动作，在仿真任务中与传统方法和非多模态LLM相竞争，并在实际应用中展现出前景。
引用
@article{arxiv.2501.07802,
title = {Visual Language Models as Operator Agents in the Space Domain},
author = {Alejandro Carrasco and Marco Nedungadi and Enrico M. Zucchelli and Amit Jain and Victor Rodriguez-Fernandez and Richard Linares},
journal= {arXiv preprint arXiv:2501.07802},
year = {2025}
}
备注
Updated version of the paper presented in 2025 AIAA SciTech. https://arc.aiaa.org/doi/10.2514/6.2025-1543