基于 SHAP 的 CNN-TFT 多头注意力权重解释用于时间序列预测
机器学习
2025-10-09 v1 人工智能
摘要
卷积神经网络 (CNN) 和 transformer 架构各有优势：CNN 擅长捕捉局部模式和平移不变性，而 transformer 能通过自注意力机制有效建模长程依赖。本文提出一种将卷积特征提取与时序融合 transformer (TFT) 主干网络集成，以增强多变量时间序列预测的混合架构。CNN 模块首先应用一级一维卷积层，从原始输入序列中提取显著的局部模式，减少噪声和维度。 resulting feature maps 然后输入 TFT，该模型应用多头注意力捕捉短期和长期依赖，并自适应地对相关协变量进行加权。我们在水电站自然流量时间序列数据集上评估了 CNN-TFT。实验结果表明，CNN-TFT 在所有已建立的深度学习模型中表现更好，平均绝对百分比误差可达 2.2%。通过提出的带多头注意力权重的 Shapley 增量解释 (SHAP-MHAW) 获得模型的可解释性。我们新颖的架构命名为 CNN-TFT-SHAP-MHAW，对需要高保真度、多变量时间序列预测的应用非常有前景，已在 https://github.com/SFStefenon/CNN-TFT-SHAP-MHAW 上提供供未来分析使用。
引用
@article{arxiv.2510.06840,
title = {CNN-TFT explained by SHAP with multi-head attention weights for time series forecasting},
author = {Stefano F. Stefenon and João P. Matos-Carvalho and Valderi R. Q. Leithardt and Kin-Choong Yow},
journal= {arXiv preprint arXiv:2510.06840},
year = {2025}
}