ReCycle: 基于残差循环Transformer的快速高效长时间序列预测
机器学习
2024-05-07 v1 人工智能
摘要
Transformer最近在长时间序列预测中通过提高各种用例的准确性而受到关注。遗憾的是，在追求更好预测性能的过程中，模型架构的开销变得沉重，导致模型的计算需求对于大多数实际应用来说不可行。为了弥合高方法复杂性与现实计算资源之间的差距，我们引入了残差循环Transformer，ReCycle。ReCycle利用主循环压缩来解决长时间序列中注意力机制的计算复杂度。通过从精细化的平滑平均技术中学习残差，ReCycle在各种应用用例中超越了最先进的准确性。由简单但稳健的平滑平均技术确保的可靠且可解释的回退行为进一步降低了用户接受的障碍。同时，我们的方法将运行时间和能耗降低了一个数量级以上，使得训练和推理在低性能、低功耗和边缘计算设备上变得可行。代码可在https://github.com/Helmholtz-AI-Energy/ReCycle获取。
引用
@article{arxiv.2405.03429,
title = {ReCycle: Fast and Efficient Long Time Series Forecasting with Residual Cyclic Transformers},
author = {Arvid Weyrauch and Thomas Steens and Oskar Taubert and Benedikt Hanke and Aslan Eqbal and Ewa Götz and Achim Streit and Markus Götz and Charlotte Debus},
journal= {arXiv preprint arXiv:2405.03429},
year = {2024}
}
备注
9 pages, 3 figures, to be published at IEEE CAI 2024, Associated code available at https://github.com/Helmholtz-AI-Energy/ReCycle