通过逻辑启发的正则化增强时间序列预测
人工智能
2025-03-11 v1 机器学习
摘要
时间序列预测（TSF）在许多应用中发挥着至关重要的作用。基于 Transformer 的方法是 TSF 的主流技术之一。现有方法将所有 token 依赖关系同等对待。然而，我们发现 token 依赖关系的有效性在不同的预测场景中存在差异，现有方法忽略了这些差异，从而影响了其性能。这引发了两个问题：（1）什么是有效的 token 依赖关系？（2）如何学习有效的依赖关系？从逻辑视角出发，我们将基于 Transformer 的 TSF 方法与逻辑框架对齐，并将有效的 token 依赖关系定义为确保 token 作为原子公式的依赖关系（问题 1）。随后，我们将 Transformer 方法的训练过程与逻辑中获取原子公式的过程对齐，这启发我们设计了一种学习这些有效依赖关系的方法（问题 2）。具体而言，我们提出了注意力逻辑正则化（Attn-L-Reg），这是一种即插即用的方法，通过使注意力图稀疏化来引导模型使用更少但更有效的依赖关系，从而确保 token 作为原子公式并提升预测性能。大量实验和理论分析证实了 Attn-L-Reg 的有效性。
引用
@article{arxiv.2503.06867,
title = {Enhancing Time Series Forecasting via Logic-Inspired Regularization},
author = {Jianqi Zhang and Jingyao Wang and Xingchen Shen and Wenwen Qiang},
journal= {arXiv preprint arXiv:2503.06867},
year = {2025}
}