基于Rockchip RV1126的视频式交通灯识别用于自动驾驶

实时交通灯识别是自动驾驶在城市环境中安全和导航的基本要求。虽然现有方法依赖于来自 onboard 摄像机的单帧分析，但在遮挡和恶劣照明条件下难以应对复杂场景。我们提出了一种新颖的基于视频的端到端神经网络$ViTLR$，处理多个连续帧以实现稳健的交通灯检测和状态分类。该架构利用带有卷积自注意力模块的变压器式设计，针对Rockchip RV1126嵌入式平台进行了优化。在来自两个真实世界数据集上的广泛评估表明，$ViTLR$在RV1126 NPU上实现了超过25 FPS的实时处理能力，同时实现了最先进的性能。与现有单帧方法相比，$ViTLR$在时间稳定性、目标距离变化以及恶劣环境条件方面表现出优越的鲁棒性。我们已成功将$ViTLR$集成到使用HD地图的ego-lane交通灯识别系统中，用于自动驾驶应用。该完整实现，包括源代码和数据集，已公开提供，以便进一步研究。