PreMixer: 基于MLP的预训练增强MLP-Mixer用于大规模交通预测
机器学习
2024-12-19 v1 新兴技术
摘要
在城市计算中，对交通网络中来自多变量时间序列数据的精确且快速预测至关重要。该数据包含额外的空间上下文，如传感器布局和道路网络布局，并呈现出复杂的时序模式，这放大了交通管理、智能出行需求和城市规划中预测学习的挑战。因此，需要对更广泛的地理区域的交通流量进行预测，并实现更高的时序覆盖。然而，当前研究受限于模型固有的低效性以及模型复杂性使其不适用于大规模交通网络应用。本文提出了一种新框架，称为PreMixer，旨在弥合这一差距。它包含一个预测模型和一个预训练机制，两者都基于多层感知器（MLP）的原则。PreMixer全面考虑交通模式在不同时间窗口内的时序依赖性，同时处理空间动态。此外，我们集成了时空位置编码，以在不依赖于预定义图的情况下管理时空异质性。进一步地，我们创新的预训练模型使用简单的基于patch的MLP进行掩码时间序列建模，通过学习被划分为patch的长期历史数据来生成丰富的上下文表示。该方法由于学习效率的提高和数据处理灵活性，不会增加显著的时间消耗或计算资源需求。我们的框架在保持高计算效率的同时实现了与最新状态的相当性能，经大规模交通数据集的实验验证了这一点。
引用
@article{arxiv.2412.13607,
title = {PreMixer: MLP-Based Pre-training Enhanced MLP-Mixers for Large-scale Traffic Forecasting},
author = {Tongtong Zhang and Zhiyong Cui and Bingzhang Wang and Yilong Ren and Haiyang Yu and Pan Deng and Yinhai Wang},
journal= {arXiv preprint arXiv:2412.13607},
year = {2024}
}