TRIP：面向事件驱动视觉的可训练区域兴趣预测用于硬件高效神经形态处理
计算机视觉与模式识别
2024-06-26 v1 图像与视频处理
摘要
神经形态处理器在高效处理事件相机的稀疏事件方面表现优异。然而，随着输入分辨率的增加，计算需求和硬件成本也显著增长。本文提出了可训练区域兴趣预测（TRIP），首个针对事件驱动视觉在神经形态处理器上实现硬件高效硬注意力框架。我们的 TRIP 框架主动产生低分辨率区域兴趣（ROI），实现高效且准确的分类。该框架利用稀疏事件固有的低信息密度，以减少 ROI 预测的开销。我们为 TRIP 引入了大量硬件感知优化，并在 SENECA 神经形态处理器上实现了硬件优化算法。我们利用多个事件驱动分类数据集进行评估。我们的方案在所有数据集上实现了最先进的准确率，并产生合理的区域兴趣，包括不同位置和大小。在 DvsGesture 数据集上，我们的方案比当前最佳方案少计算 46 倍，同时实现更高准确率。此外，TRIP 在 SENECA 神经形态处理器上相对于常规方案实现了超过 2 倍的延迟和能耗改进。
引用
@article{arxiv.2406.17483,
title = {TRIP: Trainable Region-of-Interest Prediction for Hardware-Efficient Neuromorphic Processing on Event-based Vision},
author = {Cina Arjmand and Yingfu Xu and Kevin Shidqi and Alexandra F. Dobrita and Kanishkan Vadivel and Paul Detterer and Manolis Sifalakis and Amirreza Yousefzadeh and Guangzhi Tang},
journal= {arXiv preprint arXiv:2406.17483},
year = {2024}
}
备注
Accepted in ICONS 2024