冻结 LLM 作为具地图感时空推理器的车辆轨迹预测
计算机视觉与模式识别
2026-05-01 v3
摘要
大语言模型（LLM）最近展示出强大的推理能力，吸引了越来越多的研究关注在自动驾驶领域。然而，仅通过理解动态交通主体与静态道路基础设施，才能安全地将 LLM 应用于 AD 的感知与预测中。为此，本研究引入了一个框架来评估 LLM 理解动态交通主体行为和道路网络拓扑结构的能力。该框架利用冻结的 LLM 作为推理引擎，采用流量编码器提取观察到的交通主体轨迹的空间层次场景特征，同时使用轻量级卷积神经网络（CNN）对局部高清（HD）地图进行编码。为评估 LLM 的内在推理能力，这些提取的场景特征随后通过再编程适配器转换为 LLM 兼容的标记。通过将预测任务交给 LLM，框架应用更简单的线性解码器来输出未来轨迹。该框架实现了对多模态信息，尤其是地图语义对轨迹预测准确性影响的定量分析，并允许将冻结的 LLM 与最小化的适应性地集成，从而展示了在 diverse LLM 架构之间具有强大的通用性，并提供了一个统一的模型评估平台。
引用
@article{arxiv.2604.21479,
title = {Frozen LLMs as Map-Aware Spatio-Temporal Reasoners for Vehicle Trajectory Prediction},
author = {Yanjiao Liu and Jiawei Liu and Xun Gong and Zifei Nie},
journal= {arXiv preprint arXiv:2604.21479},
year = {2026}
}
备注
Accepted for publication at IEEE Intelligent Vehicles Symposium 2026