SiamSNN：面向高能效目标跟踪的孪生脉冲神经网络
计算机视觉与模式识别
2021-06-22 v3 神经与进化计算
摘要
近来，作为第三代神经网络的脉冲神经网络（SNNs）展现出卓越的能效计算能力，是有高能耗深度神经网络（DNNs）之潜力的替代方案。在图像分类与 MNIST/CIFAR 等较简单任务和小数据集上，SNNs 已取得与 DNNs 相竞争的结果，而针对复杂数据集上更具挑战性视觉任务的研究甚少。本文致力于将深度 SNNs 拓展至目标跟踪这一具有嵌入式应用与节能需求的高级视觉任务，并提出一种基于脉冲的孪生网络 SiamSNN。具体而言，我们提出一种优化的混合相似度估计方法以利用 SNNs 中的时间信息，并引入一种新颖的双状态编码方案来优化输出脉冲序列的时间分布以进一步提升性能。SiamSNN 是首个在视觉目标跟踪基准 OTB2013/2015、VOT2016/2018 与 GOT-10k 上实现短延迟与低精度损失的深度 SNN 跟踪器。此外，SiamSNN 在神经形态芯片 TrueNorth 上实现了显著的低能耗与实时性。
引用
@article{arxiv.2003.07584,
title = {SiamSNN: Siamese Spiking Neural Networks for Energy-Efficient Object Tracking},
author = {Yihao Luo and Min Xu and Caihong Yuan and Xiang Cao and Liangqi Zhang and Yan Xu and Tianjiang Wang and Qi Feng},
journal= {arXiv preprint arXiv:2003.07584},
year = {2021}
}
备注
Accepted by ICANN2021, 12 pages, 5figures