基于 3D 占据和学习的弹性塑性物体操控方法
机器人学
2025-05-26 v2 人工智能
摘要
弹性塑性物体的操控仍是一个重大挑战，主要due于严重的自遮挡、表征困难以及复杂的动力学。本 work 提出一种新框架，用于弹性塑性物体操控，采用准静态假设处理运动，利用 3D 占据表示物体，训练基于 3D 占据的学习动力学模型，以及引入学习基于预测的控制算法以有效解决这些挑战。我们构建了一个新的数据收集平台，用于收集完整的空间信息，并提出了生成 3D 占据数据集的 pipeline。为推断操控过程中的 3D 占据，训练了一个以多个 RGB 图像为监督的占据预测网络。我们设计了一个集成 3D 卷积神经网络 (CNN) 和图神经网络 (GNN) 的深度神经网络，用于预测推断的 3D 占据结果所导致的复杂变形。引入一种学习基于预测的控制算法用于规划机器人动作，同时设计了一种基于形状的动作初始化模块，旨在提高规划器的效率。本文提出的框架能够成功地将弹性塑性物体塑造成给定的目标形状，并已在仿真和实际环境中进行了 various 实验验证。
引用
@article{arxiv.2505.16249,
title = {Manipulating Elasto-Plastic Objects With 3D Occupancy and Learning-Based Predictive Control},
author = {Zhen Zhang and Xiangyu Chu and Yunxi Tang and Lulu Zhao and Jing Huang and Zhongliang Jiang and K. W. Samuel Au},
journal= {arXiv preprint arXiv:2505.16249},
year = {2025}
}
备注
8 Pages, 13 figures, accepted for publication in IEEE Robotics and Automation Letters (RA-L)