BiFold：基于语言引导的双臂衣物折叠

由于衣物不可避免的自遮挡、复杂的动力学，以及服装在材质、几何形状和纹理上的差异，衣物折叠是一项复杂的任务。在本工作中，我们学习以文本指令为条件的折叠动作。将高层次的抽象指令转化为精确的机器人动作，需要复杂的语言理解和操作能力。为此，我们利用预训练的视觉-语言模型，并将其重新用于预测操作动作。我们的模型 BiFold 能够考虑上下文，并在现有的语言条件折叠基准上达到了 SOTA 性能。为了解决双臂折叠标注数据缺乏的问题，我们引入了一个新数据集，包含自动解析的动作和语言对齐的指令，从而更好地学习文本条件操作。BiFold 在我们的数据集上取得了最佳性能，并展现了对新指令、新服装和新环境的强泛化能力。