通过语义位置分词增强大型语言模型在移动性分析中的表现
计算与语言
2025-06-16 v1 人工智能
摘要
基于服务的广泛采用导致海量移动数据生成，为在城市环境中建模用户运动动态提供了重要机会。近期研究聚焦于适配大型语言模型（LLM）用于移动分析。然而，现有方法面临两个主要局限：位置语义表征不足（即离散ID）以及LLM中移动信号建模不足（即单一模板化指令微调）。为此，我们提出QT-Mob框架，通过位置分词模块学习紧凑且语义丰富的token来表示位置，保留上下文信息且兼容LLM。进而，QT-Mob融入一系列互补微调目标，将学习到的token与LLM内部表征对齐，提升模型对序列运动模式和位置语义的理解。该框架不仅提升LLM解读移动数据能力，更为各种移动分析任务提供更通用的可迁移方法。在三个真实数据集上的实验表明，QT-Mob在下一位置预测和移动恢复任务中均显著优于现有深度学习和LLM基方法。
引用
@article{arxiv.2506.11109,
title = {Enhancing Large Language Models for Mobility Analytics with Semantic Location Tokenization},
author = {Yile Chen and Yicheng Tao and Yue Jiang and Shuai Liu and Han Yu and Gao Cong},
journal= {arXiv preprint arXiv:2506.11109},
year = {2025}
}
备注
Accepted by KDD'25