DeformerNet：学习对三维可变形物体的双手操作
机器人学
2024-02-20 v3 人工智能
机器学习
摘要
从家庭护理到仓储履约再到手术辅助等领域，都要求机器人可靠地操控三维可变形物体的形状。弹性三维可变形物体的解析模型需要大量参数来描述决定物体形状时可能存在的无限自由度。以往进行三维形状控制的尝试依赖于手工设计特征来表示物体形状，且需要训练针对特定物体的控制模型。我们通过使用新颖的 DeformerNet 神经网络架构克服了这些问题，该架构作用于被操作物体的部分视角点云与目标形状点云，学习物体形状的低维表示。这种形状嵌入使机器人能够学习一个视觉伺服控制器，计算所需的机器人末端执行器动作，迭代地将物体变形至目标形状。我们在仿真与实体机器人上均证明，DeformerNet 能可靠地泛化至训练时未见的物体形状与材料刚度，包括离体鸡肌肉组织。关键在于，利用 DeformerNet，机器人成功完成了三项手术子任务：牵开（将组织移开以暴露其下方部位）、组织包裹（如主动脉支架置入术中的子任务）以及连接两段管状组织（吻合术中的子任务）。
引用
@article{arxiv.2305.04449,
title = {DeformerNet: Learning Bimanual Manipulation of 3D Deformable Objects},
author = {Bao Thach and Brian Y. Cho and Shing-Hei Ho and Tucker Hermans and Alan Kuntz},
journal= {arXiv preprint arXiv:2305.04449},
year = {2024}
}
备注
Submitted to IEEE Transactions on Robotics (T-RO). 20 pages, 27 figures. arXiv admin note: text overlap with arXiv:2110.04685