GPT-ST：时空图神经网络的生成式预训练
机器学习
2023-11-09 v1 人工智能
计算机与社会
摘要
近年来，为应对交通管理与出行规划日益增长的需求，时空预测技术快速发展。尽管先进的端到端模型在提升预测性能上取得显著成功，其集成与扩展仍面临重大挑战。本工作旨在引入一个时空预训练框架来应对这些挑战，该框架可无缝集成下游基线并提升其性能。框架基于两项关键设计：（i）我们提出时空掩码自编码器作为预训练模型以学习时空依赖。该模型融入定制的参数学习器与层次空间模式编码网络。这些模块专门设计用于捕获时空定制表示以及簇内与簇间区域语义关系，而现有方法常忽视这些。（ii）我们引入自适应掩码策略作为预训练机制的一部分。该策略引导掩码自编码器学习鲁棒的时空表示，并以由易到难的训练方式促进从簇内到簇间不同关系的建模。在代表性基准上的大量实验证明了我们所提方法的有效性。我们已在 https://github.com/HKUDS/GPT-ST 公开模型实现。
引用
@article{arxiv.2311.04245,
title = {GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks},
author = {Zhonghang Li and Lianghao Xia and Yong Xu and Chao Huang},
journal= {arXiv preprint arXiv:2311.04245},
year = {2023}
}
备注
This paper has been accepted by NeurIPS 2023