面向运动目标的混合多相机视觉伺服

视觉伺服是机器人学中一项广为人知的任务。然而，当组合多个视觉源以精确引导机器人或出现遮挡时，仍存在挑战。本文提出一种利用混合多相机输入数据的新颖视觉伺服方法，用于在部分遮挡存在的情况下精确引导机械臂到达动态运动目标点。该方法使用四个RGBD传感器作为眼在手外（EtoH）视觉输入，以及一支臂载立体相机作为眼在手上（EinH）。一个主监督任务根据机器人与目标间距离选择使用EtoH或EinH。主监督还选择最佳感知目标的EtoH相机子集。当使用EinH传感器时，若目标被遮挡或离开传感器视锥，主监督切换回EtoH传感器重新跟踪物体。利用该自适应视觉输入数据，机器人随后由迭代规划器控制，该规划器使用位置、姿态与关节配置估计轨迹。由于目标动态，该轨迹每时间步更新。实验在四种不同情境中展示良好性能：跟踪球、瞄准靶心、引导吸管至嘴部以及向运动中的手递送物品。实验涵盖简单情境（如球从所有相机大多可见）与更复杂情境（如嘴部从部分传感器被部分遮挡）。