通过潜空间路线图实现物体操控的视觉动作规划
机器人学
2022-07-01 v4 机器学习
摘要
我们提出了一个用于高维状态空间中复杂操控任务（侧重于可变形物体操控）的视觉动作规划框架。我们提出了一种用于任务规划的潜空间路线图（Latent Space Roadmap, LSR），这是一种基于图的结构，可在低维潜空间中全局捕捉系统动力学。我们的框架由三部分组成：（1）映射模块（Mapping Module, MM），将图像形式给出的观测映射至结构化潜空间以提取相应状态，并从潜状态生成观测；（2）LSR，其构建并连接包含相似状态的簇，以寻找由 MM 提取的起始与目标状态之间的潜规划；（3）动作提议模块，用相应动作补充 LSR 找到的潜规划。我们在模拟的箱子堆叠与绳索/箱子操控任务，以及真实机器人执行的折叠任务上对我们的框架进行了深入研究。
引用
@article{arxiv.2103.02554,
title = {Enabling Visual Action Planning for Object Manipulation through Latent Space Roadmap},
author = {Martina Lippi and Petra Poklukar and Michael C. Welle and Anastasia Varava and Hang Yin and Alessandro Marino and Danica Kragic},
journal= {arXiv preprint arXiv:2103.02554},
year = {2022}
}