面向移动机器人躲避的全异步神经形态感知
机器人学
2024-12-24 v2
摘要
稀疏和异步的感知与处理在自然生物体中可实现超低延迟和高效能感知。事件相机（neuromorphic vision sensors）旨是模拟这些特征。然而，充分利用稀疏和异步事件流仍具有挑战。受成熟标准相机算法的影响，现有大多数基于事件的算法仍依赖于“事件组”处理范式（如事件帧、3D 体素）来处理事件流。该范式遇到的问题包括特征丢失、事件堆叠和高计算负担，偏离了事件相机的原意用途。为此，我们提出一种全异步神经形态范式，将事件相机、脉冲网络与神经形态处理器（Intel Loihi）集成。该范式能够忠实地按事件到达顺序异步处理每个事件，模拟生物大脑的脉冲驱动信号处理。我们详细比较了所提范式与现有“事件组”处理范式在真实移动机器人躲避任务上的表现。实验结果表明，我们的方法在不同时间窗口和光照条件下均优于基于帧的方法。此外，我们的方法在嵌入式 Loihi 处理器上的每次推理能耗仅为基于 NVIDIA Jetson Orin NX 的事件脉冲张量方法的 4.30%，在相同神经形态处理器上的事件帧方法的 1.64%。据我们所知，这是首次在真实移动机器人上实现用于解决序列任务的全异步神经形态范式。
引用
@article{arxiv.2410.10601,
title = {Fully Asynchronous Neuromorphic Perception for Mobile Robot Dodging with Loihi Chips},
author = {Junjie Jiang and Delei Kong and Chenming Hu and Zheng Fang},
journal= {arXiv preprint arXiv:2410.10601},
year = {2024}
}