用于低延迟事件处理的层次化神经记忆网络
计算机视觉与模式识别
2023-05-30 v1
摘要
本文提出了一种用于基于事件的密集预测任务的低延迟神经网络架构。传统架构以固定速率对全部场景内容进行编码，而不考虑其时间特性。相反，所提出的网络根据其运动速度在适当的时间尺度上对内容进行编码。我们通过构建以不同速率运行的堆叠潜在记忆体来实现时间层次结构。给定低延迟事件流，多级记忆体通过将信息从快速记忆模块传播到慢速记忆模块，逐步提取从动态到静态的场景内容。该架构不仅减少了传统架构的冗余，还利用了长期依赖关系。此外，基于注意力的事件表示将稀疏事件流高效地编码到记忆单元中。我们在三个基于事件的密集预测任务上进行了广泛评估，所提方法在准确率和延迟上均优于现有方法，同时展示了有效的事件与图像融合能力。代码见 https://hamarh.github.io/hmnet/
引用
@article{arxiv.2305.17852,
title = {Hierarchical Neural Memory Network for Low Latency Event Processing},
author = {Ryuhei Hamaguchi and Yasutaka Furukawa and Masaki Onishi and Ken Sakurada},
journal= {arXiv preprint arXiv:2305.17852},
year = {2023}
}
备注
Accepted to CVPR 2023