面向长期时间序列预测的解缠参数高效线性模型
量子物理
2025-09-26 v3 原子物理
光学
摘要
长期时间序列预测（LTSF）在多个领域至关重要，但像 Transformer 这样的复杂深度模型在处理长序列时容易产生过拟合。线性全连接模型已成为一种强大的替代方案，能够以更少的参数取得竞争成绩。然而，这些模型依赖单一的单一权重矩阵，导致二次参数冗余以及时频属性的缠绕。为此，我们提出了 DiPE-Linear（Disentangled Parameter-Efficient Linear），一种新型模型，将这种单一映射解缠为一系列专门的、参数高效的模块。DiPE-Linear 包含三个核心组件：静态频率注意力用于优先考虑关键频率，静态时间注意力聚焦于关键时间步，独立频率映射独立处理频率分量。此外，低秩权重共享策略进一步提高了对多变量数据的效率。这种解缠结构总体上将参数复杂度从二次降低到线性，将计算复杂度降低到准线性。在真实数据集上的实验表明，DiPE-Linear 以显著更少的参数实现了最先进的性能，为 LTSF 建立了一个新且高度高效的基准。我们的代码已公开：https://github.com/wintertee/DiPE-Linear/。
关键词
引用
@article{arxiv.2411.17256,
title = {Coherent control of photonic spin Hall effect in a Cavity},
author = {Muzamil Shah and Shahid Qamar and Muhammad Waseem},
journal= {arXiv preprint arXiv:2411.17256},
year = {2025}
}
备注
Five Figures