代码即监控：基于约束感知的反应式和主动机器人故障检测的可视化编程
机器人学
2025-03-24 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
自动检测和预防开集故障在闭环机器人系统中至关重要。近期研究往往难以同时在故障发生后进行反应式识别和主动预防可预见故障。为此，我们提出了代码即监控（Code-as-Monitor, CaM）方法，利用视觉语言模型（VLM）实现开集反应式和主动故障检测。本方法的核心在于将两类任务形式化为统一的时空约束满足问题，并使用VLM生成的代码进行实时监控。为提升监控的准确性和效率，我们进一步引入约束元素，将与约束相关的实体或其部件抽象为紧凑的几何元素。该方法具有更好的普适性，简化了跟踪过程，并通过将这些元素作为视觉提示符，实现了约束感知的可视化编程。实验表明，在严重干扰下的CaM相较于基线方法，在三个模拟器和实际环境中，成功率提高了28.7%，执行时间缩短了31.8%。此外，CaM可以与开环控制策略集成，形成闭环系统，实现在杂乱场景和动态环境中进行长期任务。
引用
@article{arxiv.2412.04455,
title = {Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection},
author = {Enshen Zhou and Qi Su and Cheng Chi and Zhizheng Zhang and Zhongyuan Wang and Tiejun Huang and Lu Sheng and He Wang},
journal= {arXiv preprint arXiv:2412.04455},
year = {2025}
}
备注
Accepted by CVPR 2025. Project page: https://zhoues.github.io/Code-as-Monitor/