ALCo-FM：面向事故预测的自适应长上下文基础模型
机器学习
2025-07-14 v1 人工智能
摘要
交通事故虽罕见但影响深远，需要长上下文多模态推理才能准确预测风险。本文引入 ALCo-FM，一个统一的自适应长上下文基础模型，通过计算波动性预评分来动态选择输入数据的上下文窗口，并通过浅层跨注意力对这些多模态数据进行编码和融合。紧随一个局部 GAT 层和基于 H3 六角网格的 BigBird 风格稀疏全局 transformer，搭配蒙特卡罗 dropout 提供置信区间，该模型在大规模城市风险预测中实现卓越、经过良好校准的预测。模型在来自15个美国城市的数据上训练，采用类别加权损失以抵消标签不平衡，随后在少量数据上对留出城市进行微调。ALCo-FM 实现了0.94的准确率、0.92的F1分数和0.04的 ECE，超越了20多项最先进的基线方法。代码和数据集可在 https://github.com/PinakiPrasad12/ALCo-FM 查阅。
引用
@article{arxiv.2507.08153,
title = {ALCo-FM: Adaptive Long-Context Foundation Model for Accident Prediction},
author = {Pinaki Prasad Guha Neogi and Ahmad Mohammadshirazi and Rajiv Ramnath},
journal= {arXiv preprint arXiv:2507.08153},
year = {2025}
}