基于参数化符号抽象图的单次视频模仿

从单个演示视频中学习操控动态和可变形物体在可扩展性方面具有巨大潜力。先前的方法主要侧重于重放物体关系或执行器轨迹。前者通常难以跨不同任务泛化，而后者则存在数据效率低下的问题。此外，两种方法在捕捉不可见的物理属性（如力）方面都面临挑战。在本文中，我们提出通过参数化符号抽象图（PSAG）来解释视频演示，其中节点表示物体，边表示物体之间的关系。我们进一步通过模拟来约束几何约束，以估计非几何的、视觉上不可感知的属性。然后将增强后的PSAG应用于真实机器人实验。我们的方法已在多种任务中得到验证，例如切牛油果、切蔬菜、倒液体、揉面团和切披萨。我们展示了该方法成功泛化到具有不同视觉和物理属性的新颖物体上。