基于大语言模型的高效时序词元化用于移动性预测
计算与语言
2025-10-01 v1 机器学习
摘要
我们引入了 RHYTHM（Reasoning with Hierarchical Temporal Tokenization for Human Mobility，基于层次时序词元化的人类移动推理），这是一个利用大语言模型（LLM）作为时空预测器和轨迹推理器的框架。RHYTHM 将轨迹划分为以层次注意力编码为离散词元的日级片段，同时捕获日级和周级依赖关系，并大幅缩短序列长度。词元表示通过冻结的 LLM 与预计算的提示嵌入进行丰富，增强了模型捕获相互依赖关系的能力，且无需大量计算开销。通过冻结 LLM 主干，RHYTHM 实现了显著的计算效率。在三个真实世界数据集上的评估表明，与现有方法相比，准确率提高了 2.4%，周末提高了 5.0%，训练时间减少了 24.6%。
引用
@article{arxiv.2507.14017,
title = {Efficient Temporal Tokenization for Mobility Prediction with Large Language Models},
author = {Haoyu He and Haozheng Luo and Yan Chen and Qi R. Wang},
journal= {arXiv preprint arXiv:2507.14017},
year = {2025}
}