SARO：基于视觉语言模型的空间感知机器人系统用于地形跨越
机器人学
2025-03-18 v3
摘要
视觉语言模型(VLM)在various robotics tasks中取得了显著的成功，但目前鲜有研究将这些基础模型应用于通过三维环境中四足机器人的导航。在本工作中，我们引入SARO(Space Aware Robot System for Terrain Crossing)，一种创新的系统由高层推理模块、闭环子任务执行模块和低层控制策略组成。它使机器人能够跨越3D地形并到达目标位置。对于高层推理与执行，我们提出了一种新型算法系统，利用VLM，设计了任务分解和闭环子任务执行机制。对于低层运动控制，我们采用概率退火选择(PAS)方法通过强化学习有效训练控制策略。大量实验表明，我们的整个系统能够准确且稳健地跨越多个3D地形，其泛化能力确保了在多样化的室内外场景和地形中的应用。项目页面: https://saro-vlm.github.io/
引用
@article{arxiv.2407.16412,
title = {SARO: Space-Aware Robot System for Terrain Crossing via Vision-Language Model},
author = {Shaoting Zhu and Derun Li and Linzhan Mou and Yong Liu and Ningyi Xu and Hang Zhao},
journal= {arXiv preprint arXiv:2407.16412},
year = {2025}
}
备注
12 pages, 9 figures