基于双维压缩的时空预测有效数据蒸馏

时空时间序列在实际应用中广泛使用，包括交通预测和天气预报。它们是一系列在广泛时间段和多个位置上的观测，自然表示为多维数据。在时空分析中，预测是核心任务，已开发出诸多深度学习方法来解决。然而，随着数据集规模和模型复杂度在实际中的持续增长，深度学习模型的训练日益浪费时间和资源。一个有前景的解决方案是数据蒸馏，即合成可有效替代原始数据以进行模型训练的紧凑数据集。虽然在各种领域包括时间序列分析中取得成功，但现有数据蒸馏方法仅压缩一个维度，使其不太适用于时空数据集，其中空间和时间维度共同贡献了大数据量。为此，我们提出STemDist，首个专为时空时间序列预测设计的数据蒸馏方法。我们的解决方案的关键思想是以平衡的方式压缩时间和空间维度，减少训练时间和内存。我们进一步通过在聚类层级上进行蒸馏而非在单个位置层级上进行蒸馏，以减少蒸馏成本，并通过基于子集的粗粒度蒸馏技术补充，以增强预测绩效。在五个真实世界数据集上，我们实证表明，与通用和时间序列数据蒸馏方法相比，由我们的STemDist方法蒸馏的数据集使模型训练（1）更快（最高可达6倍）（2）更具内存效率（最高可达8倍），（3）更有效（预测误差降低最高可达12%）。