CoSEC:用于自动驾驶的同轴立体事件相机数据集

传统帧相机是自动驾驶场景感知的主流传感器,但在低光等不利条件下存在局限性。具有高动态范围的事件相机已被用于辅助帧相机进行多模态融合,这种融合严重依赖于各模态之间的像素级空间对齐。然而,现有的多模态数据集主要将事件相机和帧相机平行放置,并通过扭曲操作直接进行空间对齐。然而,这种平行策略对多模态融合效果不佳,因为较大的事件-帧基线距离会导致较大的视差,从而加剧空间错位。我们认为,减小基线距离可以减少对齐误差。在这项工作中,我们引入了混合同轴事件-帧设备来构建多模态系统,并提出了一个用于自动驾驶的同轴立体事件相机数据集 (CoSEC)。对于多模态系统,我们首先利用微控制器实现时间同步,然后对不同传感器进行空间校准,包括对同轴立体设备进行内部和相互校准。对于多模态数据集,我们通过滤波 LiDAR 点云,利用参考深度生成深度和光流标签,并在夜间条件下通过融合对齐的事件和帧数据进一步改进。借助同轴设备,所提出的数据集能够促进全天候的像素级多模态融合。此外,我们还进行了实验,证明所提出的数据集能够提高多模态融合的性能和泛化能力。