基于神经形态摄像机的眼在手视觉伺服

机器人视觉在从工厂自动化到服务机器人应用中发挥着重要作用。然而，传统基于帧的相机由于其低采样率和实时图像处理中的冗余数据，对连续视觉反馈造成了限制，尤其是在高速任务情况下。事件相机提供了类人视觉能力，例如以高时间分辨率（$1\mu s$）、低延迟和宽动态范围异步观察动态变化。本文提出一种使用事件相机和切换控制策略的视觉伺服方法，以探索、到达并抓取从而完成操作任务。我们设计了三层主动事件表面来直接处理来自相对运动的事件流。采用纯基于事件的方法提取角点特征，利用热图鲁棒定位并生成用于跟踪与对齐的虚拟特征。基于视觉反馈，控制机器人运动使时间上即将出现的事件特征在时空空间中收敛到期望事件。控制器根据操作序列切换策略以建立稳定抓取。该基于事件的视觉伺服（EVBS）方法在眼在手配置下使用商用机器人机械臂进行了实验验证。实验证明了EBVS方法在无需重新调参的情况下跟踪并抓取不同形状物体的有效性。