利用帧-事件融合的高效事件相机语义分割：一种混合神经网络方法
计算机视觉与模式识别
2025-07-08 v1
摘要
事件相机因其高时间分辨率和其他有利特性，最近被引入图像语义分割领域。然而，现有的事件相机语义分割方法往往未能充分利用帧和事件提供的互补信息，导致训练策略复杂且计算成本增加。为了解决这些挑战，我们提出了一种高效的图像语义分割混合框架，包含一个用于事件处理的脉冲神经网络分支和一个用于帧处理的人工神经网络分支。具体来说，我们引入了三个专门模块来促进这两个分支之间的交互：自适应时间加权(ATW)注入器、事件驱动稀疏(EDS)注入器和通道选择融合(CSF)模块。ATW注入器将事件数据中的时间特征动态整合到帧特征中，通过利用关键的动态时间信息来提高分割精度。EDS注入器有效地将稀疏事件数据与丰富的帧特征结合起来，确保精确的时间和空间信息对齐。CSF模块选择性地融合这些特征以优化分割性能。实验结果表明，我们的框架不仅在DDD17-Seg、DSEC-Semantic和M3ED-Semantic数据集上达到了最先进的精度，而且显著降低了能耗，在DSEC-Semantic数据集上实现了65%的降低。
引用
@article{arxiv.2507.03765,
title = {Efficient Event-Based Semantic Segmentation via Exploiting Frame-Event Fusion: A Hybrid Neural Network Approach},
author = {Hebei Li and Yansong Peng and Jiahui Yuan and Peixi Wu and Jin Wang and Yueyi Zhang and Xiaoyan Sun},
journal= {arXiv preprint arXiv:2507.03765},
year = {2025}
}