ColibriES：基于毫瓦级 RISC-V 的嵌入式系统，利用神经形态与神经网络硬件加速器实现低延迟闭环控制应用
硬件体系结构
2023-02-17 v1
摘要
端到端基于事件的计算有潜力在延迟和能效方面突破边缘 AI 应用的极限。遗憾的是，基于事件的传感器（如 DVS 相机）与基于神经形态脉冲的处理器（如 Loihi）是以解耦方式设计的，从而错失了重要的精简机会。本文提出 ColibriES，这是首个具备专用事件传感器接口与完整处理流水线的神经形态硬件嵌入式系统平台。ColibriES 包含事件与帧接口及数据处理，旨在面向边缘场景实现高效、长寿命的嵌入式系统。ColibriES 基于 Kraken 片上系统，包含一个异构并行超低功耗（PULP）处理器、基于帧与基于事件的相机接口，以及两个分别用于计算基于事件的脉冲神经网络与基于帧的三值卷积神经网络的硬件加速器。本文以 ColibriES 上的手势识别为例，对事件数据处理性能进行了探索与精确评估，作为全系统评估的第一步。在我们的实验中，以 DVS Gesture 事件数据集作为闭环数据处理的示例，每次推理的芯片能耗为 7.7 \si{\milli\joule}、延迟为 164.5 \si{\milli\second}，展示了 ColibriES 在可穿戴设备与无人机等需要低延迟闭环控制的电池供电应用中的潜力。
引用
@article{arxiv.2302.07957,
title = {ColibriES: A Milliwatts RISC-V Based Embedded System Leveraging Neuromorphic and Neural Networks Hardware Accelerators for Low-Latency Closed-loop Control Applications},
author = {Georg Rutishauser and Robin Hunziker and Alfio Di Mauro and Sizhen Bian and Luca Benini and Michele Magno},
journal= {arXiv preprint arXiv:2302.07957},
year = {2023}
}