BATON：自然驾驶中双向自动化转换观察的多模态基准
人机交互
2026-04-09 v1 计算机视觉与模式识别
多媒体
摘要
现有量产车辆上的驾驶自动化(DA)系统依赖人类驾驶员决定何时启用DA，同时要求他们保持持续注意并随时准备干预。这种设计需要大量的情境判断并施加显著的认知负荷，导致学习曲线陡峭、用户体验欠佳，以及因过度依赖和延迟接管而产生的安全风险。预测驾驶员何时将控制权交给DA以及何时收回，对于设计主动的、情境感知的HMI至关重要，然而现有数据集很少捕获多模态上下文，包括道路场景、驾驶员状态、车辆动力学和路线环境。为填补这一空白，我们引入了BATON，一个大规模自然驾驶数据集，捕获了127名驾驶员在真实世界中的DA使用情况，共计136.6小时驾驶数据。该数据集同步了前视视频、舱内视频、解码的CAN总线信号、基于雷达的前车交互以及GPS衍生的路线上下文，围绕每个控制转换形成闭环多模态记录。我们定义了三个基准任务：驾驶行为理解、接管预测和交还预测，并评估了涵盖序列模型、经典分类器和零样本VLM的基线。结果表明，仅视觉输入不足以进行可靠的转换预测：前视视频捕获道路上下文但不反映驾驶员状态，而舱内视频反映驾驶员准备状态但不反映外部场景。结合CAN和路线上下文信号显著优于仅视频设置，表明模态间具有很强的互补性。我们进一步发现，接管事件发展更渐进，受益于更长的预测视界，而交还事件更依赖于即时上下文线索，揭示了一种不对称性，对辅助驾驶系统中的HMI设计具有直接影响。
引用
@article{arxiv.2604.07263,
title = {BATON: A Multimodal Benchmark for Bidirectional Automation Transition Observation in Naturalistic Driving},
author = {Yuhang Wang and Yiyao Xu and Chaoyun Yang and Lingyao Li and Jingran Sun and Hao Zhou},
journal= {arXiv preprint arXiv:2604.07263},
year = {2026}
}