学习多模态嵌入用于交通事故预测与因果估计

我们考虑利用与道路网络节点对齐的公路网络数据和卫星图像来分析交通事故模式。此前预测事故发生的相关工作主要依赖公路网络结构特征，而忽略了路面及其周围环境的物理和环境信息。在本工作中，我们构建了一个涵盖美国六个州的大规模多模态数据集，包含来自官方来源的九百万条交通事故记录，以及道路网络每个节点的一百万张高分辨率卫星图像。此外，每个节点都标注了该地区的天气统计数据和道路类型（如居民区 vs. 高速公路），每条边都标注了交通量信息（即年平均日交通量）。利用该数据集，我们全面评估了整合视觉和网络嵌入的多模态学习方法。我们的结果表明，整合两种数据模态提高了预测准确性，实现了平均 AUROC 为 $90.1\%$，比仅使用图结构的图神经网络模型提高了 $3.7\%$。借助改进的嵌入，我们使用匹配估计器进行了因果分析，以识别影响交通事故的关键因素。我们发现，在调整其他混杂因素后，降水增加使事故率上升 $24\%$，高速道路（如高速公路）使事故率上升 $22\%$，季节性模式使事故率上升 $29\%$。消融研究证实卫星图像特征对于实现准确预测至关重要。