GATGPT：一种融合图注意力网络与预训练大语言模型的时空插补模型
机器学习
2023-11-27 v1 机器学习
摘要
时空数据分析正日益应用于交通、医疗和气象等多个领域。在现实环境中，由于传感器故障和数据传输错误等问题，此类数据常包含缺失元素。时空插补的目标是通过理解观测到的多变量时间序列中固有的空间和时间关系来估计这些缺失值。传统上，时空插补依赖于为此目的设计的特定复杂架构，其适用性和计算复杂度均存在局限。相比之下，我们的方法将预训练大语言模型（LLM）引入时空插补，提出了一种开创性框架GATGPT。该框架将图注意力机制与LLM相融合。我们保持大部分LLM参数不变，以利用现有知识学习时间模式，同时针对各类应用微调上层。图注意力组件增强了LLM理解空间关系的能力。通过在三个不同真实世界数据集上的测试，我们的创新方法取得了与既有深度学习基准相当的结果。
引用
@article{arxiv.2311.14332,
title = {GATGPT: A Pre-trained Large Language Model with Graph Attention Network for Spatiotemporal Imputation},
author = {Yakun Chen and Xianzhi Wang and Guandong Xu},
journal= {arXiv preprint arXiv:2311.14332},
year = {2023}
}