CityGPT：赋能大型语言模型城市空间认知

大型语言模型 (LLM) 凭借强大的语言生成和推理能力，已在诸多领域取得显著成就，如数学和代码生成。然而，它们在处理城市环境中的现实地理空间任务时常常力不足。这一局限源于训练期间缺乏物理世界知识和相关数据。为此，我们提出了 \textit{CityGPT}，一个系统化的框架，旨在通过整合城市规模的'世界模型'来增强 LLM 对城市空间的理解，并提高其解决相关城市任务的能力。首先，我们构建了多样化的指令微调数据集 \textit{CityInstruction}，用于将城市知识注入 LLM 并有效提升其空间推理能力。结合 \textit{CityInstruction} 和开源通用指令数据，我们引入一种新颖且易用的自加权微调方法 (\textit{SWFT}) 来训练各种 LLM（包括 ChatGLM3-6B、Llama3-8B 和 Qwen2.5-7B），以增强其城市空间能力，同时不损害甚至提升其通用能力。最后，为了验证我们方法的有效性，我们开发了全面的基于文本的空间基准 \textit{CityEval}，用于评估 LLM 在广泛城市情景和地理空间任务中的性能。广泛的评估结果表明，使用 \textit{SWFT} 方法训练的较小规模 LLM 在 \textit{CityEval} 评估下，可以与专有 LLM 一样拥有竞争力，甚至在某些方面表现更优。