基于双臂机械臂的 Transformer 驱动视觉伺服布料纹理匹配

本文提出一种方法，用于使用双臂机械臂和灰度相机将一块布料对准并放置在另一块布料之上，以实现其表面纹理的精确匹配。我们提出了一种新型控制方案，将 Transformer 驱动的视觉伺服与双臂阻抗控制相结合。该方法使系统能够同时控制布料的姿态并将其放置在底部布料上，同时施加张力以保持布料平整。我们的基于 Transformer 的网络包含预训练的 backbone，并引入了一种新型差异提取注意力模块 (DEAM)，显著提高了姿态差异预测的准确度。该网络完全基于使用渲染软件生成的合成图像进行训练，使其能够在无需针对特定布料纹理进行先验训练的情况下实现零样本部署到实际场景。实际实验结果表明，所提出的系统能够准确地对不同纹理的布料进行对准。