基于内部时钟的时空神经网络用于运动速度识别
计算机视觉与模式识别
2020-01-29 v1 神经与进化计算
图像与视频处理
摘要
本文提出了一种新颖的基于内部时钟的时空神经网络用于运动速度识别。所开发的系统包含一个脉冲序列编码器、一个具有内部时钟行为的脉冲神经网络（SNN）、一个模式变换模块和一个网络动态依赖可塑性（NDDP）学习模块。其核心原理是所开发的SNN会自动调谐其网络模式频率（内部时钟频率）以在速度域中识别人体运动。我们采用卡通和真实世界视频作为训练基准，结果表明我们的系统不仅能识别速度差异显著的运动（如跑、走、跳、徘徊（思考）和静止），也能识别速度差异细微的运动如跑和快走。推理准确率可达83.3%（卡通视频）和75%（真实世界视频）。同时，该系统在学习阶段仅需六个视频数据集，最多42次训练试验。硬件性能估计表明，训练时间为0.84-4.35秒，功耗为33.26-201毫瓦（基于ARM Cortex M4处理器）。因此，我们的系统在小数据集需求、快速学习和低功耗性能方面具有独特的学习优势，展现出在边缘或可扩展基于AI的应用中的巨大潜力。
引用
@article{arxiv.2001.10159,
title = {An Internal Clock Based Space-time Neural Network for Motion Speed Recognition},
author = {Junwen Luo and Jiaoyan Chen},
journal= {arXiv preprint arXiv:2001.10159},
year = {2020}
}
备注
To appear in Neuro-inspired Computational Elements Workshop (NICE 20). March 26-28,2020 Heidelberg, Germany, 8 pages