基于流匹配的信任度机器人操作

我们提出了一个面向协助式机器人操作的框架，关注两个基本挑战：其一是在日常生活场景中高效地适配大规模模型以执行下游场景信任度理解任务，尤其是在需要收集涉及人类的多任务数据，这需要付出巨大的努力；其二是在信任度指导下有效地学习机器人动作轨迹。我们通过采用参数高效的提示调优方法，将可学习的文本提示附加到冻结的视觉模型上，以实现多任务场景下的操作信任度预测。随后，我们提出一种受信任度指导的监督式流匹配方法来学习机器人动作轨迹。流匹配将机器人视觉运动策略表示为从随机随机点到期望机器人动作轨迹的条件性过程。最后，我们引入了一个覆盖日常生活活动中10项任务的真实世界数据集来测试该框架。我们的广泛评估表明，所提出的提示调优方法在学习操作信任度方面表现出竞争力，甚至在某些情况下优于其他微调协议，同时满足参数效率。使用流匹配学习多任务机器人动作轨迹，在多个机器人操作基准测试中均表现出一致优于其他行为克隆方法的优势。这包括更稳定的训练和评估，以及显著更快的推理速度，同时保持与扩散策略相当的泛化性能，其中流匹配在大多数情况下略胜于扩散策略。该框架无缝地将信任度学习与机器人操作的动作生成与流匹配统一。