神经形态时空光流：实现超高速视觉感知，超越人类能力

光流算法受生物视觉系统机制的启发，计算视觉场景中的空间运动向量，这对于使机器人在复杂动态环境中取得佳绩至关重要。然而，当前光流算法尽管在基准数据集上达到人类水平的任务性能，仍受不可接受的延迟约束（每次推理约为0.6秒，仅为人类处理速度的4倍）在实际部署中。本文引入一种神经形态光流方法，通过在突触晶体管阵列中直接编码时间信息来解决延迟瓶颈，以辅助空间运动分析。与传统仅考虑空间的光流方法相比，我们的时空神经形态光流在运动信息上实现时空一致性，仅需1-2毫秒即可利用来自二维浮栅突触晶体管中嵌入时间信息的时间运动线索迅速识别感兴趣区域。因此，可对视觉输入进行选择性滤波，以实现更快的速度计算和多种任务执行。在硬件层面，由于二维范德鲁赫异构结构中不同功能层之间的原子尖锐界面，突触晶体管具有高频响应（约100μs）、稳健的非易失性（>10000秒）和优异的耐久性（>8000循环），从而实现稳健的视觉处理。在软件基准测试中，我们的系统以400%的加速优势超越最先进的算法，常常在保持或提升准确性的同时实现人类水平的性能，利用嵌入时间信息提供的时序先验。