仅基于RGB的桌面场景重建用于机械臂无碰撞控制
机器人学
2023-03-13 v2 计算机视觉与模式识别
摘要
我们提出了一种仅使用世界 RGB 视图实现机械臂无碰撞控制的系统。桌面场景的感知输入由 RGB 相机（无深度）的多个图像提供，该相机可为手持或安装于机械臂末端执行器上。采用类 NeRF 过程重建场景的三维几何，并由此计算欧几里得全符号距离函数（ESDF）。随后使用模型预测控制算法控制机械臂到达期望位姿，同时避开 ESDF 中的障碍物。我们展示了在实验室采集并标注的真实数据集上的结果。
引用
@article{arxiv.2210.11668,
title = {RGB-Only Reconstruction of Tabletop Scenes for Collision-Free Manipulator Control},
author = {Zhenggang Tang and Balakumar Sundaralingam and Jonathan Tremblay and Bowen Wen and Ye Yuan and Stephen Tyree and Charles Loop and Alexander Schwing and Stan Birchfield},
journal= {arXiv preprint arXiv:2210.11668},
year = {2023}
}
备注
ICRA 2023. Project page at https://ngp-mpc.github.io/