无真实监督的抓取导向细粒度布料分割

从单张深度图像中自动检测可抓取区域是布料操作的关键环节。布料形变的巨大差异性促使当前大多数方法聚焦于识别特定抓取点而非语义部件，因为局部区域的外观和深度变化比大区域更小且更易建模。然而，诸如布料折叠或辅助穿衣等任务需要识别更大的片段，例如比点携带更多信息量的语义边缘。因此，本文的第一个目标是解决仅使用深度图像的变形布料细粒度区域检测问题。作为概念验证，我们针对 T 恤实现了一种方法，并定义了多达 6 个范围各异的语义区域，包括领口、袖口和下摆的边缘，以及顶部和底部抓取点。我们引入了一种基于 U-net 的网络来分割并标注这些部件。我们工作的第二个贡献涉及训练所提网络所需的监督程度。虽然大多数方法通过结合真实与合成标注来学习检测抓取点，但在本工作中我们挑战合成数据的局限性，提出了一种完全不使用真实标注的多层域适应（DA）策略。我们在带有细粒度标注的真实 T 恤深度图像上对我们的方法进行了充分评估。我们表明，仅使用合成数据和所提 DA 训练我们的网络，可取得与在真实数据上训练的模型相竞争的结果。