基于神经形态听觉传感器与图神经网络的 FPGA 端到端关键词检测
机器学习
2026-05-12 v1
摘要
随着移动机器人与嵌入式智能的快速发展，边缘平台上对设备端高效数据处理的需求日益增长。一个极具前景的研究方向是采用受人类感官系统启发的神经形态传感器，此类传感器生成编码环境变化的稀疏事件数据。本工作首次在单一 FPGA 设备上实现了集成神经形态听觉传感器（NAS）与图神经网络（GNN）的端到端关键词检测系统，从而能够实时处理原始音频数据。所提架构摒弃了传统信号预处理，直接在事件驱动的音频流上进行操作。借助存内计算网络架构，该系统实现了低延迟与低功耗的高效推理。实验结果表明，在经神经形态传感器处理的 Google Speech Commands v2 数据集上，量化后准确率达 87.43%，端到端延迟低于 35 us，平均功耗为 1.12 W。处理后的数据集、软件模型与硬件模块可在 https://github.com/vision-agh/NAS-GNN-KWS 获取。
引用
@article{arxiv.2605.09570,
title = {End-to-End Keyword Spotting on FPGA Using Graph Neural Networks with a Neuromorphic Auditory Sensor},
author = {Wiktor Matykiewicz and Piotr Wzorek and Kamil Jeziorek and Tomás Muñoz and Antonio Rios-Navarro and Angel Jiménez-Fernández and Tomasz Kryjak},
journal= {arXiv preprint arXiv:2605.09570},
year = {2026}
}
备注
Accepted for the ARC 2026 conference