扩散 Transformer 作为开放世界时空基础模型

城市环境的特征在于由多样化的人类活动和交互产生的复杂时空动态。有效地对这些动态进行建模对于理解和优化城市系统至关重要。在这项工作中，我们介绍了 UrbanDiT，一个用于开放世界城市时空学习的基础模型，它成功地将扩散 Transformer 在该领域进行了扩展。UrbanDiT 开创了一个统一模型，该模型整合了多样化的数据源和类型，同时学习了不同城市和场景间的通用时空模式。这使得该模型能够统一多数据和多任务学习，并有效支持广泛的时空应用。其关键创新在于精心设计的提示学习框架，该框架自适应地生成数据驱动和特定于任务的提示，引导模型在各种城市应用中提供卓越的性能。UrbanDiT 具有三个优势：1) 它将基于网格和基于图的多样化数据类型统一为序列格式；2) 借助于特定任务的提示，它支持广泛的任务，包括双向时空预测、时间插值、空间外推和时空插补；3) 它能有效地泛化到开放世界场景，其强大的零样本能力超越了几乎所有带有训练数据的基线。UrbanDiT 为城市时空领域的基础模型树立了新的基准。代码和数据集已在 https://github.com/tsinghua-fib-lab/UrbanDiT 公开。