融合因果推断的时空感知用于自然驾驶行为识别
计算机视觉与模式识别
2025-03-07 v1
摘要
自然驾驶行为识别对于车载监控系统至关重要。然而，现实背景的复杂性为此任务带来了重大挑战，以往方法由于其有限的观察细微行为差异的能力以及有效学习视频中帧间特征的能力而难以实现实际应用。在本论文中，我们提出了一种新颖的时空感知(STP)架构，强调时间信息和关键对象之间的空间关系，并引入因果解码器进行行为识别和时间动作定位。无需多模态输入，STP 直接从 RGB 视频片段中提取时间和空间距离特征。随后，通过最大化所有可能分解顺序排列的期望似然，这些双特征被联合编码。通过在不同尺度上整合时间和空间特征，STP 能够感知具有挑战性场景中的细微行为变化。此外，我们引入了一个因果感知模块来探索视频帧特征之间的关系，显著提升了检测效率和性能。我们在两个公开可用的驾驶员分心检测基准上验证了我们方法的有效性。结果表明，我们的框架达到了最先进的性能。
引用
@article{arxiv.2503.04078,
title = {Spatial-Temporal Perception with Causal Inference for Naturalistic Driving Action Recognition},
author = {Qing Chang and Wei Dai and Zhihao Shuai and Limin Yu and Yutao Yue},
journal= {arXiv preprint arXiv:2503.04078},
year = {2025}
}