基于局部图神经网络学习视觉可变形物体重排
机器人学
2023-10-17 v1 人工智能
摘要
目标条件的可变形物体重排(如拉直绳索和折叠布料)是最常见的可变形操作任务之一,其中机器人仅利用视觉观测将可变形物体重排为指定的目标构型。这些任务通常面临两个主要挑战:可变形构型空间的高维性,以及可变形动力学固有的复杂性、非线性和不确定性。为应对这些挑战,我们提出了一种新颖的表示策略,能用一组关键点及其交互高效地建模可变形物体状态。我们进一步提出局部图神经网络(local-graph neural network, GNN),一种轻量的局部GNN,通过构建和更新两个动态图来联合建模可变形重排动力学并推断最优操作动作(如抓取和放置)。我们开展了仿真和真实实验,证明所提出的动态图表示在建模可变形重排动力学方面具有优越的表达能力。我们的方法在多种可变形重排任务上(平均96.3%)达到了比SOTA方法更高的成功率。此外,我们的方法轻量得多,推理时间比SOTA方法缩短60%。我们还展示了我们的方法在多任务学习场景中表现良好,并且仅通过微调一个关键点检测器就能迁移到真实应用,平均成功率达95%。
引用
@article{arxiv.2310.10307,
title = {Learning visual-based deformable object rearrangement with local graph neural networks},
author = {Yuhong Deng and Xueqian Wang and Lipeng chen},
journal= {arXiv preprint arXiv:2310.10307},
year = {2023}
}