蝴蝶效应之变：利用群储层 Transformer 进行远见预测
机器学习
2024-06-17 v2 计算与语言
摘要
在混沌系统中，两个初始条件之间的微小差异会随时间呈指数级放大，导致截然不同的结果，即所谓的蝴蝶效应。因此，遥远的未来充满不确定性且难以预测。我们引入了群储层 Transformer (Group Reservoir Transformer)，通过克服混沌中的两个挑战来更准确、更稳健地预测长期事件：(1) 漫长的历史序列和 (2) 对初始条件的敏感性。我们将储层附加到 Transformer 上，以高效处理任意长度的历史记录，并通过扩展为一组储层来降低对初始化变化的敏感性。我们的架构在多变量时间序列中始终优于最先进模型，包括 TimeLLM、GPT2TS、PatchTST、DLinear、TimeNet 和基线 Transformer，在 ETTh、ETTm 和空气质量等多个领域的误差减少高达 -59\%。这表明，尽管通往未知未来的时间跨度很长，但蝴蝶学习的集成可以提高事件预测的充分性和确定性。
引用
@article{arxiv.2402.09573,
title = {Changes by Butterflies: Farsighted Forecasting with Group Reservoir Transformer},
author = {Md Kowsher and Abdul Rafae Khan and Jia Xu},
journal= {arXiv preprint arXiv:2402.09573},
year = {2024}
}