HALSIE：同时利用图像与事件模态的混合型学习分割方法
计算机视觉与模式识别
2023-09-29 v4
摘要
事件相机通过检测逐像素强度变化来生成异步“事件流”。与常规相机相比，它们具有更高的时间分辨率和宽动态范围（HDR），因此在实时自主系统中获取准确语义地图方面具有巨大潜力。然而，现有的基于事件的分割实现性能欠佳，因为这些时间密集的事件仅测量视觉信号的变化分量，与帧相比限制了其编码密集空间上下文的能力。为解决此问题，我们提出了一种混合端到端学习框架 HALSIE，利用三个关键概念将推理成本较先前工作降低至多 同时保持相似性能：第一，一种简单高效的交叉域学习方案，从帧和事件中提取互补的时空嵌入。第二，一种专门设计的双编码器方案，带有脉冲神经网络（SNN）和人工神经网络（ANN）分支，以最小化延迟同时保留跨域特征聚合。第三，一种多尺度线索混合器，对融合嵌入的丰富表示进行建模。HALSIE 的这些特性使其成为一种非常轻量的架构，在 DDD-17、MVSEC 和 DSEC-Semantic 数据集上以至多 更高的参数效率和有利的推理成本（每周期 17.9mJ）实现了最先进的分割性能。我们的消融研究也为有效的设计选择带来了新的见解，可证明有益于其他视觉任务的研究。
引用
@article{arxiv.2211.10754,
title = {HALSIE: Hybrid Approach to Learning Segmentation by Simultaneously Exploiting Image and Event Modalities},
author = {Shristi Das Biswas and Adarsh Kosta and Chamika Liyanagedera and Marco Apolinario and Kaushik Roy},
journal= {arXiv preprint arXiv:2211.10754},
year = {2023}
}
备注
Accepted to IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2024