基于多模态推理的实时超分布失效预防
机器人学
2025-09-26 v2 人工智能
摘要
虽然基础模型在超分布（OOD）场景中提高了机器人安全性，但如何有效地利用其通用知识进行实时、动态可行的响应仍是一个关键问题。我们提出 FORTRESS，一个联合推理与规划框架，用于生成语义上安全的后备策略，以防止安全关键的 OOD 失效。在正式运行的低频率下，FORTRESS 使用多模态基础模型预测可能的失效模式并识别安全的后备集合。当运行时监控触发后备响应时，FORTRESS 会快速合成计划以实现后备目标，同时推断并规避语义上不安全的区域。通过将开放世界、多模态推理与动态感知规划相结合，我们消除了对硬编码后备方案和人类安全干预的需求。FORTRESS 在合成基准和真实世界 ANYmal 机器人数据上在安全分类准确率上优于对慢速推理模型的即时提问，并且在仿真和四旋翼机硬件上进一步提高了系统安全性和规划成功率。网站可在 https://milanganai.github.io/fortress 查找。
引用
@article{arxiv.2505.10547,
title = {Real-Time Out-of-Distribution Failure Prevention via Multi-Modal Reasoning},
author = {Milan Ganai and Rohan Sinha and Christopher Agia and Daniel Morton and Luigi Di Lillo and Marco Pavone},
journal= {arXiv preprint arXiv:2505.10547},
year = {2025}
}
备注
Conference on Robot Learning (CoRL) 2025 (Oral)