桥接人类监督与黑箱驾驶辅助：基于视觉语言模型的车道保持辅助系统预测警报
机器人学
2025-05-20 v1 计算机视觉与模式识别
机器学习
摘要
车道保持辅助系统虽日益普及，却常因不可预测的现实世界故障而受限，这些故障大多归因于其黑箱性质，限制了驾驶员的预判与信任。为弥合自动化辅助与有效人类监督之间的鸿沟，本文提出了LKAlert，一种新型监控警报系统，利用视觉语言模型（VLM）在1-3秒的前瞻预测潜在LKA风险。LKAlert处理dash-cam视频与CAN数据，集成来自平行可解释模型的车道分割特征作为自动引导注意力。不同于传统二元分类器，LKAlert不仅发布预测警报，还生成简洁的自然语言解释，以提升驾驶员的 situational awareness（情境意识）与信任。为支持此类系统的开发与评估，我们引入OpenLKA-Alert，首个专为预测性与可解释LKA故障警报设计的基准数据集。其包含同步的多模态输入与人类编写的依据说明，覆盖标注的时间窗口。我们进一步贡献了一种通用的VLM基于黑箱行为预测方法论框架，结合替代特征引导与LoRA。该框架使VLM能够在不修改视觉骨干网络的情况下，对结构化视觉上下文进行推理，广泛适用于其他需要可解释监督的复杂系统。实证结果表明，系统以69.8%的准确率和58.6%的F1分数正确预测即将发生的LKA故障。该系统还能为驾驶员生成高质量文本解释（71.7 ROUGE-L），并以约2 Hz的运行速度，证明其适用于实时车内使用。我们的发现确立了LKAlert作为提升当前ADAS安全性与可用性的实用解决方案，并为将VLMs应用于人类中心监督黑箱自动化提供可扩展的范式。
引用
@article{arxiv.2505.11535,
title = {Bridging Human Oversight and Black-box Driver Assistance: Vision-Language Models for Predictive Alerting in Lane Keeping Assist Systems},
author = {Yuhang Wang and Hao Zhou},
journal= {arXiv preprint arXiv:2505.11535},
year = {2025}
}