面向可变形物体视觉操作的潜在图动力学学习
机器人学
2022-03-08 v2 机器学习
摘要
操纵绳索、衣物等可变形物体是机器人领域长期存在的挑战，因其自由度大、非线性动力学复杂且在视觉感知中存在自遮挡。关键难点在于寻求一种合适的表示：既要足够丰富以刻画物体形状与操作动力学，又要足够简洁以能从视觉观测中可靠估计。本工作旨在学习用于可变形物体操作的潜在图动力学（G-DOOM）。G-DOOM 将可变形物体近似为一组稀疏的交互关键点，这些关键点通过无监督学习从图像中自动提取。它学习一个图神经网络，抽象地刻画关键点的几何结构与交互动力学。为处理物体自遮挡，G-DOOM 使用循环神经网络随时间跟踪关键点，并使其交互依赖于历史信息。我们随后在高保真模拟器中通过对比学习训练所得循环图动力学模型。对于操作规划，G-DOOM 通过在每个关键点施加模型预测控制，对其学习的动力学模型进行显式推理。G-DOOM 在一组具有挑战性的绳索与布料操作任务上的初步实验表明，相较于最先进方法具有优异性能。尽管在模拟器中训练，G-DOOM 可直接迁移至真实机器人完成绳索与布料操作。
引用
@article{arxiv.2104.12149,
title = {Learning Latent Graph Dynamics for Visual Manipulation of Deformable Objects},
author = {Xiao Ma and David Hsu and Wee Sun Lee},
journal= {arXiv preprint arXiv:2104.12149},
year = {2022}
}
备注
ICRA 2022 camera ready