TESTAM: 一种基于混合专家模型的时间增强时空注意力模型
机器学习
2024-03-06 v1 社会与信息网络
摘要
由于道路网络的复杂依赖性、道路类型的多样性以及事件引起的速度突变，准确的交通预测具有挑战性。近期工作主要关注基于自适应图嵌入或图注意力的动态空间建模，而对时间特征和原位建模考虑不足。本文提出了一种名为TESTAM的新型深度学习模型，该模型通过一个包含三个专家的混合专家模型分别对重复性和非重复性交通模式进行建模，这三个专家分别负责时间建模、基于静态图的时空建模以及基于动态图的动态时空依赖建模。通过引入不同的专家并合理路由，TESTAM能够更好地建模各种场景，包括空间孤立节点、高度相关节点以及重复性和非重复性事件。为了实现合理路由，我们将门控问题重新表述为一个带有伪标签的分类问题。在三个公共交通网络数据集METR-LA、PEMS-BAY和EXPY-TKY上的实验结果表明，TESTAM在重复性和非重复性交通的指示和建模方面取得了更好的效果。我们在https://github.com/HyunWookL/TESTAM发布了官方代码。
引用
@article{arxiv.2403.02600,
title = {TESTAM: A Time-Enhanced Spatio-Temporal Attention Model with Mixture of Experts},
author = {Hyunwook Lee and Sungahn Ko},
journal= {arXiv preprint arXiv:2403.02600},
year = {2024}
}
备注
19 pages, 7 figures, Accepted as poster to ICLR 2024. Code: https://github.com/HyunWookL/TESTAM