通过 6D 物体位姿定位与跟踪的视觉引导模型预测机器人控制
机器人学
2023-11-10 v1
摘要
本工作的目标是利用安装于机器人上的相机，针对动态运动物体的 6D 位姿执行操作任务。示例包括保持机械臂相对于物体的恒定相对 6D 位姿、抓取动态运动物体，或与人类协同操作该物体。快速而准确的 6D 位姿估计对于在此类情形下实现平滑稳定的机器人控制至关重要。本工作的贡献有三方面。首先，我们提出一种新的视觉感知模块，异步结合基于学习的精确 6D 物体位姿定位器与基于模型的高速率 6D 位姿跟踪器。其成果是从输入视频流中以最高 120 Hz 给出低延迟、准确且时间一致的 6D 物体位姿估计。其次，我们开发了一种视觉引导机械臂控制器，将新视觉感知模块与基于力矩的模型预测控制算法相结合。以对应频率异步融合视觉与机器人本体感知信号，实现了稳定鲁棒的 6D 物体位姿引导机械臂控制。第三，我们在一个具挑战性的 6D 位姿估计基准上实验验证了所提方法，并在真实的 7 自由度 Franka Emika Panda 机器人上展示了针对动态运动物体的 6D 物体位姿引导控制。
引用
@article{arxiv.2311.05344,
title = {Visually Guided Model Predictive Robot Control via 6D Object Pose Localization and Tracking},
author = {Mederic Fourmy and Vojtech Priban and Jan Kristof Behrens and Nicolas Mansard and Josef Sivic and Vladimir Petrik},
journal= {arXiv preprint arXiv:2311.05344},
year = {2023}
}