城市类比学习：通过掩码扩散桥接预训练与推理用于城市轮廓预测
机器学习
2025-08-06 v1
摘要
城市轮廓预测旨在预测未知地区的城市轮廓，对经济和社会 census具有关键作用。现有方法通常遵循两阶段范式：首先学习城市区域的表示；其次通过线性探测执行下游预测，这源自BERT时代。受GPT风格模型发展的启发，近期研究表明，新型自监督预训练方案可为模型赋予直接适用于下游任务的能力，从而消除特定任务微调的需求。这主要是因为GPT通过下一词预测统一了预训练和推理的形式。然而，城市数据具有与语言截然不同的结构，这使得设计统一两者的单阶段模型提出了挑战。本文提出城市类比学习（Urban In-Context Learning），一种通过城市区域的掩码自动编码过程统一预训练和推理的框架。为捕捉城市轮廓的分布，我们引入城市掩码扩散变换器（Urban Masked Diffusion Transformer），使每个区域的预测可表示为分布而非确定性值。此外，为稳定扩散训练，我们提出了城市表示对齐机制（Urban Representation Alignment Mechanism），对模型的中间特征进行正则化，通过与经典城市轮廓方法对齐来实现。广泛的实验在两个城市的三个指标上表明，我们的单阶段方法始终优于最先进的两阶段方法。消融研究和案例研究进一步验证了每个提议模块的有效性，特别是扩散建模的使用。
引用
@article{arxiv.2508.03042,
title = {Urban In-Context Learning: Bridging Pretraining and Inference through Masked Diffusion for Urban Profiling},
author = {Ruixing Zhang and Bo Wang and Tongyu Zhu and Leilei Sun and Weifeng Lv},
journal= {arXiv preprint arXiv:2508.03042},
year = {2025}
}