基于时序语境事件学习的行人跨越意图预测

通过准确预测行人跨越意图（PCI）来确保脆弱路用户的安全，在自动驾驶和辅助驾驶背景下发挥着关键作用。分析自车视角下的观察视频帧序列是大多数 PCI 预测方法中广泛使用的方式，用于预测跨越意图。然而，这些方法难以捕获与行人行为相关的关键事件 along the temporal dimension due to 视频帧的高冗余性，导致 PCI 预测性能次优。我们的研究通过引入一种新方法——\underline{T}emporal-\underline{c}ontextual Event \underline{L}earning（TCL）来解决这一挑战。TCL 由 Temporal Merging Module（TMM）组成，旨在通过将观察到的视频帧聚类为多个关键时序事件来管理冗余性。然后，采用 Contextual Attention Block（CAB）来适应性地聚合多个事件特征 along with visual and non-visual data。通过对关键事件上跨越时序特征提取和语境注意力的综合，TCL 可以为 PCI 预测学习表达丰富的表示。在三个广泛采用的数据集上进行了大量实验，包括 PIE、JAAD-beh 和 JAAD-all。结果表明，TCL 在 state-of-the-art 方法上显著超越。我们的代码可在 https://github.com/dadaguailhb/TCL 上访问。