ColibriUAV：一种基于事件与帧相机、超快且高能效的神经形态边缘处理无人机平台
计算机视觉与模式识别
2023-05-31 v1 人工智能
硬件体系结构
系统与控制
系统与控制
摘要
对动态视觉传感器（DVS）驱动的无人机（UAV）的兴趣正在上升，尤其是受生物启发事件传感器的微秒级反应时间，与RGB相机相比，其提升了感知任务的鲁棒性并降低了延迟。本工作提出ColibriUAV，一种兼具帧式与事件式相机接口以实现高效感知与近传感器处理的无人机平台。该平台围绕Kraken设计，这是一种新型低功耗RISC-V片上系统，带有两个分别面向脉冲神经网络和深度三值神经网络的硬件加速器。Kraken能高效处理来自DVS相机的事件数据与来自RGB相机的帧数据。Kraken的一个关键特性是其与DVS相机集成的专用接口。本文对神经形态与基于事件的无人机子系统端到端延迟和功耗效率进行基准测试，展示了最先进的事件数据性能：每秒7200帧事件吞吐量、10.7 \si{\milli\watt}功耗，比广泛使用的通过USB接口的数据读取方法快6.6倍以上且功耗低百倍。整体感知与处理功耗低于50 mW，延迟达毫秒级，使该平台适用于低延迟自主纳米无人机。
引用
@article{arxiv.2305.18371,
title = {ColibriUAV: An Ultra-Fast, Energy-Efficient Neuromorphic Edge Processing UAV-Platform with Event-Based and Frame-Based Cameras},
author = {Sizhen Bian and Lukas Schulthess and Georg Rutishauser and Alfio Di Mauro and Luca Benini and Michele Magno},
journal= {arXiv preprint arXiv:2305.18371},
year = {2023}
}