区域遮蔽以加速神经器件上的视频处理
计算机视觉与模式识别
2025-03-24 v1 神经与进化计算
图像与视频处理
摘要
对资源受限设备上芯片边缘智能日益增长的需求，推动了减少深度学习模型能耗和延迟的 approach。脉冲神经网络（SNNs）因其利用基于事件处理降低能耗的潜力而受到特别关注。我们断言，尽管 sigma-delta 编码在 SNNs 中可利用跨视频帧的时间冗余性，但仍因处理无关事件而涉及大量冗余计算。在本文中，我们提出一种区域遮蔽策略，在 SNN 输入端识别感兴趣区域，从而消除因来自无关区域的事件而产生的计算和数据移动。我们的 approach 表明，在输入端进行区域遮蔽不仅显著降低网络的整体脉冲活动，还在吞吐量和延迟方面提供了显著改进。我们在 Loihi 2 上应用区域遮蔽进行视频目标检测，表明对约60%的输入区域进行遮蔽，可相对于基线 sigma-delta 网络，在能耗-延迟乘积上降低1.65倍，[email protected] 下降1.09%。
引用
@article{arxiv.2503.16775,
title = {Region Masking to Accelerate Video Processing on Neuromorphic Hardware},
author = {Sreetama Sarkar and Sumit Bam Shrestha and Yue Che and Leobardo Campos-Macias and Gourav Datta and Peter A. Beerel},
journal= {arXiv preprint arXiv:2503.16775},
year = {2025}
}