基于稠密视觉对应关系的统一 garment 操作框架

garment 操作（如展开、折叠和挂衣）是未来机器人完成家庭助手任务的关键任务，但由于 garment 配置、几何形状和变形的多样性，这一任务极具挑战性。尽管能够操控特定任务中相似形状的 garment，先前的工作大多需为不同任务设计不同的策略，无法泛化到几何形状多样的 garment，且通常高度依赖人工标注数据。本文我们利用该属性：特定类别的 garment 具有相似结构，然后在无监督方式下学习该类别下具有不同变形的 garment 之间的拓扑稠密（点级）视觉对应关系。该拓扑对应关系可轻松适应用于指导各种下游任务的功能对应，以仅需一次或少量演示的方式实现。我们在 3 种不同类别的 garment 上进行实验，这些实验在 3 个代表性任务的多样场景中进行，使用一个或多个机械臂，经过一个或多个步骤，输入平整或杂乱的 garment，展示了我们提出方法的有效性。项目页面: https://warshallrho.github.io/unigarmentmanip。