从仿真中学习预测抓取质量：建立数字孪生以生成抓取稳定性指标的模拟数据

稳健的抓取是任何工业装配过程中工件成功操控与接合的关键。抓取的稳定性取决于物体以及夹爪本身的几何与物理属性。当前最先进的算法通常能预测抓取是否会失败。然而，它们无法预测被抓物体开始打滑时所受的力，这一点至关重要，因为物体可能受到外力作用，例如与另一物体接合时。本研究项目旨在基于触觉传感器数据开发一种基于 AI 的抓取指标方法，以捕获夹爪与物体间的物理交互。因此，应在操控物体前预测物体在开始打滑前可施加的最大力。抓取初始阶段由 GelSight 触觉传感器获得的物体与夹爪颚之间接触表面的 RGB 图像应作为抓取指标的训练输入。为生成此类数据集，我们利用 UR 5 机器人设计了一个拉动实验。在真实环境中执行这些实验以填充数据集十分耗时，因为需考虑不同物体类别、几何形状、材料属性和表面纹理以增强预测算法的鲁棒性。因此，我们开发了实验装置的仿真模型，以加快并自动化数据生成过程。本文介绍了该数字孪生的设计及合成数据的准确性。最先进的图像比较算法表明，接触表面的模拟 RGB 图像与实验数据相匹配。此外，针对不同物体类别和抓取场景可复现最大拉力。结果表明，合成生成的数据可进一步用于训练神经抓取指标网络。