MoveGPT：基于空间感知专家混合的移动基础模型扩展
人工智能
2025-11-25 v3
摘要
语言基础模型的成功激发了一波面向人类移动的通用模型。然而，现有方法因两个根本性局限而难以有效扩展：无法使用有意义的基本单元表示运动，以及无法捕捉大规模数据中呈现的多样化模式。本文开发了 MoveGPT，这是一个大规模基础模型，专为克服上述障碍而设计。MoveGPT 基于两个关键创新：(1) 统一位置编码器将地理上不相连的位置映射到共享语义空间，从而实现全球规模的预训练；(2) 空间感知专家混合 Transformer，开发专门的专家高效捕捉多样化的移动模式。在千亿级数据集上预训练后，MoveGPT 在广泛的下游任务上建立了新的状态突破，平均性能提升最高可达 35%。它还显示出对未见城市的强大泛化能力。关键的是，我们的工作为人类移动中的规模能力提供了实证证据，验证了通往日益强大的该领域基础模型的清晰路径。
引用
@article{arxiv.2505.18670,
title = {MoveGPT: Scaling Mobility Foundation Models with Spatially-Aware Mixture of Experts},
author = {Chonghua Han and Yuan Yuan and Jingtao Ding and Jie Feng and Fanjin Meng and Yong Li},
journal= {arXiv preprint arXiv:2505.18670},
year = {2025}
}