传感器内与神经形态计算：高效能计算机视觉所需的一切
计算机视觉与模式识别
2022-12-22 v1
摘要
由于高激活稀疏性以及使用累加（AC）而非昂贵的乘累加（MAC），神经形态脉冲神经网络（SNNs）已成为传统 DNNs 在若干计算机视觉（CV）应用中一种有前景的低功耗替代方案。然而，大多数现有 SNNs 需要多个时间步才能达到可接受的推理精度，阻碍了实时部署并增加了脉冲活动从而增加了能耗。近期工作提出直接编码，将模拟像素值直接送入 SNN 第一层以显著减少时间步数。尽管直接编码下第一层 MAC 的开销对于深层 SNNs 可忽略且 CV 处理使用 SNNs 是高效的，但图像传感器与下游处理间的数据传输消耗显著带宽并可能主导总能耗。为缓解此问题，我们提出了一种面向图像识别任务的 SNNs 传感器内计算软硬件协同设计框架。我们的方法将感知与处理间的带宽降低 12-96 倍，与传统 CV 处理相比总能耗降低 2.32 倍，在 ImageNet 上精度下降 3.8%。
引用
@article{arxiv.2212.10881,
title = {In-Sensor & Neuromorphic Computing are all you need for Energy Efficient Computer Vision},
author = {Gourav Datta and Zeyu Liu and Md Abdullah-Al Kaiser and Souvik Kundu and Joe Mathai and Zihan Yin and Ajey P. Jacob and Akhilesh R. Jaiswal and Peter A. Beerel},
journal= {arXiv preprint arXiv:2212.10881},
year = {2022}
}