CRASH: 基于上下文感知与时序注意力的碰撞识别与预警系统
计算机视觉与模式识别
2024-07-26 v1 机器人学
摘要
准确且及时地从摄像头 footage 中预测周围交通主体的事故, 对自动驾驶车辆(AVs)的安全性至关重要. 这一任务面临诸多挑战: 事故本质上不可预测, 遵循长尾分布, 交通场景动态复杂, 以及车载摄像头视野受限. 为此, 本研究引入一种新型事故预警框架, 称为 CRASH. 它无缝集成五个组件: 目标检测器、特征提取器、目标感知模块、上下文感知模块和多层融合. 具体而言, 我们开发目标感知模块, 通过计算交通主体之间的时空关系, 在复杂且模糊的环境中优先考虑高风险目标. 同时, 上下文感知模块也被设计用于将全局视觉信息从时域扩展到频域, 采用快速傅里叶变换(FFT), 并捕获潜在目标和更广阔的交通场景中的细粒度视觉特征. 为捕获更广泛的视觉线索, 我们进一步提出一种多层融合, 动态计算不同场景之间的时序依赖性, 并迭代更新不同视觉特征之间的相关性, 以实现准确且及时的事故预测. 在真实世界数据集--Dashcam Accident Dataset (DAD)、Car Crash Dataset (CCD) 和 AnAn Accident Detection (A3D) 数据集上进行评估, 本模型在 Average Precision (AP) 和 mean Time-To-Accident (mTTA) 等关键评估指标上超越了现有最佳基线. 重要的是, 在训练数据缺失或有限的挑战性驾驶场景中, 其鲁棒性和适应性尤为突出, 显示出在实际自动驾驶系统中应用的重大潜力.
引用
@article{arxiv.2407.17757,
title = {CRASH: Crash Recognition and Anticipation System Harnessing with Context-Aware and Temporal Focus Attentions},
author = {Haicheng Liao and Haoyu Sun and Huanming Shen and Chengyue Wang and Kahou Tam and Chunlin Tian and Li Li and Chengzhong Xu and Zhenning Li},
journal= {arXiv preprint arXiv:2407.17757},
year = {2024}
}