通过隐式触觉校准确保视觉引导机器人操作中的力安全

在动态环境中，机器人在操作具有特定属性（如门）的物体时经常会遇到受限的运动轨迹。因此，施加适当的力对于防止损坏机器人和物体至关重要。然而，当前的视觉引导机器人状态生成方法在这方面往往表现不佳，因为它们缺乏触觉感知的整合。为了解决这个问题，本文引入了一种新颖的状态扩散框架，称为 SafeDiff。它从当前机器人状态和视觉上下文观察中生成前瞻状态序列，同时结合实时触觉反馈来细化该序列。据我们所知，这是首个专门关注确保机器人操作中力安全的研究。它显著增强了状态规划的合理性，并且基于这种细化规划通过逆动力学推导出安全动作轨迹。在实践中，与以往将视觉和触觉数据连接以生成未来机器人状态序列的方法不同，我们的方法采用触觉数据作为校准信号，在状态空间内隐式调整机器人的状态。此外，我们开发了一个名为 SafeDoorManip50k 的大规模仿真数据集，提供了广泛的多模态数据来训练和评估所提出的方法。大量实验表明，我们的视觉-触觉模型在仿真和真实世界环境中都显著减轻了开门过程中有害力的风险。