ConditionNET：学习前置条件与效果以进行执行监控

将机器人引入日常场景需要能够监控任务执行的算法。本文提出 ConditionNET，一种以完全数据驱动的方式学习动作前置条件与效果的方法。我们开发了一个高效的视觉-语言模型，并在训练过程中引入额外的优化目标，以优化一致的特征表示。ConditionNET 显式地建模了动作、前置条件和效果之间的依赖关系，从而提升了性能。我们在两个机器人数据集上评估了我们的模型，其中一个是我们为本文收集的，包含 406 次成功和 138 次失败的遥操作演示，演示中 Franka Emika Panda 机器人执行诸如倒水和清洁台面等任务。实验表明，ConditionNET 在异常检测和阶段预测任务上均优于所有基线方法。此外，我们在真实机器人上实现了一个动作监控系统，以证明所学前置条件和效果的实际适用性。我们的结果凸显了 ConditionNET 在增强机器人在真实世界环境中的可靠性和适应性方面的潜力。数据可在项目网站上获取：https://dsliwowski1.github.io/ConditionNET_page。