面向机器人实时故障处理的统一框架：结合视觉语言模型、响应规划器与行为树
机器人学
2025-03-24 v2 人工智能
摘要
机器人系统常因意外障碍、传感器错误或环境变化而面临执行故障。传统的故障恢复方法依赖预定义策略或人工干预，适应性较差。本文提出一种统一的故障恢复框架，结合视觉语言模型(VLMs)、响应规划器和行为树(BTs)，实现实时故障处理。该框架包括执行前验证，检查潜在故障；以及执行中的响应式故障处理，通过验证现有 BT 条件、添加缺失前置条件，必要时生成新技能来检测并纠正故障。该框架利用场景图进行结构化环境感知，利用执行历史进行持续监控，实现情境感知和自适应故障处理。我们在真实世界实验中使用 ABB YuMi 机器人完成 peg 插入、物体分类和抽屉放置等任务，并在 AI2-THOR 模拟器中进行测试。与仅使用执行前和响应式方法相比，我们的方法在任务成功率和适应性方面取得更好的表现。消融研究表明，VLMs 基于推理、结构化场景表示和执行历史跟踪对于机器人有效故障恢复至关重要。
引用
@article{arxiv.2503.15202,
title = {A Unified Framework for Real-Time Failure Handling in Robotics Using Vision-Language Models, Reactive Planner and Behavior Trees},
author = {Faseeh Ahmad and Hashim Ismail and Jonathan Styrud and Maj Stenmark and Volker Krueger},
journal= {arXiv preprint arXiv:2503.15202},
year = {2025}
}