InterFuserDVS:基于事件增强的传感器融合用于安全强化学习决策
计算机视觉与模式识别
2026-05-07 v1
摘要
自动驾驶系统在感知复杂环境方面严重依赖稳健的传感器融合。传统采用 RGB 相机和激光雷达的方案,在高动态范围场景或高速场景下因运动模糊和延迟问题常常难以应对。动态视觉传感器(DVS,即事件相机)通过捕获微秒级时间分辨率和高动态范围的异步亮度变化,提供了一种范式转变。本文提出了基于最新 InterFuser 模型的扩展架构,将 DVS 作为额外模态集成进以提升感知可靠性。我们引入一种新颖的基于 token 的融合策略,将累积事件帧融入 InterFuser 的基于 Transformer 的主干网络。该方法利用 RGB、LiDAR 和 DVS 数据的互补性。我们在 Car Learning to Act(CARLA)Leaderboard 框架上进行评估,结果表明引入 DVS 后,驾驶智能体的鲁棒性得到提升,实现了 77.2 分的竞争性驾驶得分和 100% 的优异路线完成率。结果表明,基于事件的视觉技术是提高恶劣光照和动态条件下安全性和性能的有前景的方向。
关键词
引用
@article{arxiv.2605.04355,
title = {InterFuserDVS: Event-Enhanced Sensor Fusion for Safe RL-Based Decision Making},
author = {Mustafa Sakhaia and Kaung Sithua and Min Khant Soe Okea and Maciej Wielgosza},
journal= {arXiv preprint arXiv:2605.04355},
year = {2026}
}