UrbanMind：基于多面时空大语言模型的城市动态预测
机器学习
2025-05-23 v3
摘要
理解和预测城市动态对于管理交通系统、优化城市规划和提升公共服务至关重要。虽然基于神经网络的方法已取得成功，但它们通常依赖于特定任务的架构和大量数据，限制了其在多样化城市场景中的泛化能力。与此同时，大语言模型（LLMs）提供了强大的推理和泛化能力，但它们在时空城市动态中的应用仍未得到充分探索。现有的基于LLM的方法难以有效整合多面时空数据，并且无法解决训练和测试数据之间的分布偏移，限制了它们在现实世界应用中的预测可靠性。为了弥合这一差距，我们提出了UrbanMind，一个用于多面城市动态预测的新型时空LLM框架，该框架确保了精确的预测和鲁棒的泛化能力。UrbanMind的核心是引入了Muffin-MAE，一个多面融合掩码自编码器，它采用专门的掩码策略来捕捉复杂的时空依赖关系以及多面城市动态之间的相互关联。此外，我们设计了一种语义感知的提示和微调策略，将时空上下文细节编码到提示中，增强了LLM对时空模式进行推理的能力。为了进一步提高泛化能力，我们引入了一种带有测试数据重构器的测试时适应机制，使UrbanMind能够通过重构LLM生成的嵌入来动态适应未见过的测试数据。在多个城市的真实世界城市数据集上进行的大量实验表明，UrbanMind始终优于最先进的基线模型，即使在零样本设置下也能实现高精度和鲁棒的泛化能力。
引用
@article{arxiv.2505.11654,
title = {UrbanMind: Urban Dynamics Prediction with Multifaceted Spatial-Temporal Large Language Models},
author = {Yuhang Liu and Yingxue Zhang and Xin Zhang and Ling Tian and Yanhua Li and Jun Luo},
journal= {arXiv preprint arXiv:2505.11654},
year = {2025}
}
备注
KDD 2025 accepted