基于 RGB-D 语义分割的衣物抓取与展开

衣物抓取与展开是机器人辅助穿衣的核心步骤。大多数现有工作利用衣物深度图像训练基于深度学习的模型以识别合适的抓取点。这些方法常使用物理引擎合成深度图像，以降低真实标注数据收集成本。然而，合成与真实图像之间的天然域差距常导致这些方法在真实数据上性能不佳。此外，这些方案在抓取点被衣物自身遮挡的场景中往往表现困难。为应对上述挑战，我们提出了一种用于语义分割的新型双向分形交叉融合网络（BiFCNet），可识别可抓取区域从而为抓取提供更多可能性。我们不仅使用深度图像，还将具有丰富颜色特征的 RGB 图像作为网络输入，其中分形交叉融合（FCF）模块基于分形几何考虑全局复杂特征来融合 RGB 与深度数据。为降低真实数据收集成本，我们进一步提出一种基于对抗策略的数据增强方法，其中颜色和几何变换同时处理 RGB 与深度数据并保持标签对应关系。最后，我们从语义分割的角度提出了一套衣物抓取与展开流程，通过加入基于衣物平整度度量的从分割区域选择抓取点的策略，同时考虑抓取方向。我们在公开数据集 NYUDv2 上评估了 BiFCNet，取得了与当前最先进模型相当的性能。我们还将模型部署在 Baxter 机器人上，作为消融研究的一部分进行了大量抓取与展开实验，成功率达 84%。