嵌入式 AI 的电路与系统：在 Kraken 盾牌上探索纳米级 UAV 的 uJ 级多模态感知

嵌入式人工智能（AI）需要将复杂的多模态模型推送到极端边缘，以完成如自动导航机器人和车辆等受时间约束的任务。在小型化设备上，例如纳米级无人机（UAV），面临能效和重量的严苛限制。本文我们探索了基于 Kraken 盾牌的纳米级 UAV 多模态 AI 感知。Kraken 盾牌是一块 7 克的多传感器（帧基和事件基成像器）板，基于 Kraken，一款 22 nm 工艺的 SoC，拥有多套加速引擎，可用于基于脉冲神经网络（SNN）和仪ernary 神经网络（TNN）的事件和帧基推理。Kraken 可在深度估计时实现 1.02k inf/s、18 $\mu$J/inf 的 SNN 实时推理，实现对象分类时可达 10k inf/s、6 $\mu$J/inf 的 TNN 实时推理，实现障碍规避时可达 221 frame/s、750 $\mu$J/inf 的实时推理。