基于双角色策略的分解物体操控

物体操控关注在不同类型的物体上对相似部件执行任务的学习，可分为approaching阶段和manipulation阶段。然而，先前方法往往忽视了这一任务特征，依赖单一策略直接学习物体操控的整个过程。为此，我们提出一种新型双角色策略（DAP），显式考虑不同阶段并利用异构视觉先验提升每个阶段。具体而言，我们引入基于功能性的角色以定位操控任务中的功能部件，从而改善approaching过程。随后，我们提出基于运动流的角色以捕捉组件的运动，以促进manipulation过程。最后，我们引入决策者以确定DAP的当前阶段并选择相应的角色。此外，现有物体操控数据集包含的物体较少且缺乏支持训练的视觉先验。为此，我们构建了模拟数据集——Dual-Prior Object Manipulation Dataset——将两种视觉先验结合起来，包括七个任务，其中包括两个具有挑战性的长期、多阶段任务。在我们的数据集、RoboTwin基准和真实场景下的实验结果表明，本方法在平均情况下分别比SOTA方法提高5.55%、14.7%和10.4%。