通过跨变量块嵌入增强通道独立时间序列预测
机器学习
2025-05-26 v3 人工智能
摘要
Transformer 由于其捕捉长期依赖关系的能力，最近在时间序列预测中受到广泛关注。然而，许多现有模型仅关注捕捉时间依赖关系，却忽略了变量之间复杂的关系。最近的模型尝试通过顺序或统一注意力机制显式建模跨时间和跨变量依赖，但它们在所有层面完全是通道依赖 (CD)，这可能使其易受过拟合。为此，我们提出了跨变量块嵌入 (CVPE)，一种轻量级 CD 模块，通过仅修改块嵌入过程，将跨变量上下文注入通道独立 (CI) 模型中。我们通过向基础块嵌入层添加可学习的位置编码和轻量级路由注意力块来实现此目标。我们将 CVPE 集成到一种多模态 CI 预测模型 Time-LLM 中，以演示其在捕捉跨变量依赖方面的有效性，并提升 CI 模型的性能。在七个真实数据集上的大量实验结果表明，我们的增强版 Time-LLM仅通过引入 CVPE 模块，便优于原始基线模型，无需其他更改。
引用
@article{arxiv.2505.12761,
title = {Enhancing Channel-Independent Time Series Forecasting via Cross-Variate Patch Embedding},
author = {Donghwa Shin and Edwin Zhang},
journal= {arXiv preprint arXiv:2505.12761},
year = {2025}
}
备注
Added link to code implementation in PDF abstract