面向自动驾驶运动目标检测的 RGB-事件融合方法
计算机视觉与模式识别
2023-03-10 v2 机器人学
摘要
运动目标检测（MOD）是成功实现安全自动驾驶的一项关键视觉任务。尽管深度学习方法取得了看似合理的结果，现有大多数方法仅基于帧，在处理动态交通参与者时可能无法达到合理性能。传感器技术的最新进展，尤其是事件相机，可自然补充常规相机方法以更好地建模运动目标。然而，基于事件的工作常采用预定义时间窗口进行事件表示，并简单整合以从事件估计图像强度，忽略了可用异步事件中丰富的时序信息。因此，我们从新视角提出 RENet，一种新颖的 RGB-事件融合网络，联合利用两种互补模态以在自动驾驶挑战性场景下实现更鲁棒的 MOD。具体而言，我们首先设计时序多尺度聚合模块以充分利用来自 RGB 曝光时间以及更大间隔的事件帧。然后引入双向融合模块以注意力校准并融合多模态特征。为评估网络性能，我们从常用 DSEC 数据集中精心筛选并标注了一个子 MOD 数据集。大量实验表明，所提方法显著优于最先进的 RGB-事件融合替代方案。源代码与数据集公开于：https://github.com/ZZY-Zhou/RENet。
引用
@article{arxiv.2209.08323,
title = {RGB-Event Fusion for Moving Object Detection in Autonomous Driving},
author = {Zhuyun Zhou and Zongwei Wu and Rémi Boutteau and Fan Yang and Cédric Demonceaux and Dominique Ginhac},
journal= {arXiv preprint arXiv:2209.08323},
year = {2023}
}
备注
ICRA'23