基于微动眼球的事件相机用于机器人

神经形态视觉传感器或事件相机使得极低反应时间的视觉感知成为可能，为高动态机器人应用开辟了新途径。然而，这些事件相机的输出取决于运动和纹理，事件相机无法捕捉与相机运动方向平行的物体边缘。这一问题具有固有的感知衰减特性，因而在算法层面具有解决挑战。人类视觉通过小的不可控眼动——最突出者称为微动眼球（microsaccades）——来处理感知衰减。通过在固定时持续轻微移动眼球，微动眼球可显著维持纹理的稳定性和持久性。受微动眼球启发，我们设计了一种能够同时维持低反应时间和稳定纹理的基于事件的感知系统。该设计将旋转楔形棱镜安装在事件相机的光圈前方，以重新定向光线并触发事件。旋转楔形棱镜的几何光学允许算法性地补偿额外的旋转运动，从而实现纹理外观的稳定和独立于外部运动的高信息输出。该硬件设备和软件解决方案集成到一个系统中，我们将其称为Artificial MIcrosaccade-enhanced EVent camera（AMI-EV）。基准比较验证了AMI-EV记录在标准相机和事件相机均无法交付的场景中的优异数据质量。各种真实世界实验表明，该系统有潜力促进机器人感知，适用于低层和高层视觉任务。