预训练Transformer揭示人类移动性数据中的有意义模式

我们通过实验证明，在国家级未标记人类移动性数据上预训练的Transformer，通过微调能够学习到对目标地理及其相应移动模式有深入理解的嵌入。利用自适应框架，我们评估了预训练嵌入在封装与人类移动性直接和间接相关的广泛概念方面的性能。这包括基本概念，如地理位置和距离，并扩展到更复杂的结构，如行政分区和土地覆盖。我们广泛的实证分析显示，预训练带来了显著的性能提升，在树冠覆盖回归等任务中高达38%。我们将这一结果归因于预训练能够揭示原始数据中隐藏的有意义模式，这些模式有助于建模相关的高级概念。预训练嵌入成为区域和轨迹的稳健表示，可能对广泛的下游应用有价值。