STDA：融合驾驶员注意力的时空双编码器网络用于安全关键场景下的驾驶行为预测
计算机视觉与模式识别
2024-08-06 v1 人工智能
机器学习
摘要
准确预测车辆行为对于自动驾驶至关重要但也颇具挑战性。大多数现有研究在常规场景下表现良好，但忽略了安全关键场景。在本研究中，开发了一种用于安全关键场景的时空双编码器网络，命名为 STDA。考虑到人类驾驶员在情境意识和风险理解方面的卓越能力，融入驾驶员注意力以促进快速识别关键区域，预期可提高性能和可解释性。STDA 包含四个部分：预测驾驶员注意力的注意力预测模块；用于融合驾驶员注意力与原始图像特征的融合模块；用于增强动态场景解释能力的时序编码器模块；以及用于预测行为的行为预测模块。实验数据用于训练和验证模型。结果表明，融入驾驶员注意力并采用时序编码器模块后，STDA 的 G-mean 从 0.659 提升至 0.719。此外，开展了大量实验，验证了所提出的模块具有稳健的泛化能力，可无缝集成到其他主流模型中。
引用
@article{arxiv.2408.01774,
title = {STDA: Spatio-Temporal Dual-Encoder Network Incorporating Driver Attention to Predict Driver Behaviors Under Safety-Critical Scenarios},
author = {Dongyang Xu and Yiran Luo and Tianle Lu and Qingfan Wang and Qing Zhou and Bingbing Nie},
journal= {arXiv preprint arXiv:2408.01774},
year = {2024}
}