TIMID：基于时间依赖性误差检测的机器人执行视频
机器人学
2026-03-11 v1
摘要
随着机器人系统执行越来越困难的任务序列，失败方式也随之增加。视频异常检测（VAD）框架通常专注于单一的、低层次的运动学或动作失败，难以识别更复杂的时序或空间任务违规，因为它们不一定表现为低层次的执行错误。为此，本文的主要贡献是一种新的VAD架构，TIMID，能够检测高层次任务执行中的时间依赖性错误。该架构接收视频、任务提示及潜在错误提示作为输入，返回视频中是否存在错误的帧级预测。通过采用VAD公式，模型可使用弱监督训练，只需每个视频一个标签。此外，为缓解错误执行数据稀缺问题，本文引入了一个包含受控时序错误和真实执行情况的多机器人模拟数据集，用于零样本仿真到现实的评估。我们的实验表明，现有的视觉语言模型缺乏针对该任务所需的显式时序推理能力，而我们的框架成功检测了不同类型的时序错误。项目：https://ropertunizar.github.io/TIMID/
引用
@article{arxiv.2603.09782,
title = {TIMID: Time-Dependent Mistake Detection in Videos of Robot Executions},
author = {Nerea Gallego and Fernando Salanova and Claudio Mannarano and Cristian Mahulea and Eduardo Montijano},
journal= {arXiv preprint arXiv:2603.09782},
year = {2026}
}
备注
8 pages, 5 figures , IROS submission