迈向轨迹智能的基础模型
机器学习
2023-12-04 v1 计算机与社会
社会与信息网络
摘要
我们展示了使用真实世界用户签到数据训练大型轨迹模型的结果。我们的方法遵循预训练与微调范式，其中基模型通过掩码轨迹建模进行预训练，然后通过微调适配各种下游任务。为解决噪声数据和大规模空间词表带来的挑战，我们提出了一种新颖的空间分词模块。我们的实证分析利用了由超过600万用户生成的超过20亿次签到的综合数据集。通过在3个下游任务上微调，我们证明了我们的基模型有效学习了原始数据中有价值的底层模式，使其可应用于有意义的轨迹智能任务。尽管存在某些局限，我们相信该工作代表了实现轨迹智能基础模型的重要一步。
引用
@article{arxiv.2312.00076,
title = {Towards A Foundation Model For Trajectory Intelligence},
author = {Alameen Najjar},
journal= {arXiv preprint arXiv:2312.00076},
year = {2023}
}
备注
Accepted to the 2023 IEEE International Conference on Data Mining Workshops (ICDMW)