面向可解释基于 Transformer 时间序列预测的时间显著性检测
机器学习
2023-09-18 v3
摘要
尽管众多基于 Transformer 的模型取得了显著进展，长周期多步时间序列预测任务仍是一项持续挑战，尤其在可解释性方面。聚焦于广泛用于解释深度神经网络（DNN）的显著性图，我们的目标在于构建基于注意力的架构，使其能通过建立与适当注意力头的关联来自动编码显著性相关的时间模式。因此，本文提出时间显著性检测（TSD），一种建立在注意力机制之上并应用于多步时间序列预测的有效方法。我们提出的架构虽遵循通用的编码器-解码器结构，但编码器部分经历了显著重构，其中我们融入了一系列受 U-Net 风格架构启发的信息压缩与扩展块。TSD 方法通过浓缩多头来促进显著性模式的多分辨率分析，从而逐步提升对复杂时间序列数据的预测。实证评估表明，在多种远周期预测设定下，我们提出的方法在多个标准基准数据集上优于其他模型。初始 TSD 在多变量与单变量预测背景下相较若干模型分别实现了 31% 和 46% 的显著相对提升。我们相信本研究的全面探究将为未来研究工作提供有价值的见解与助益。
引用
@article{arxiv.2212.07771,
title = {Temporal Saliency Detection Towards Explainable Transformer-based Timeseries Forecasting},
author = {Nghia Duong-Trung and Duc-Manh Nguyen and Danh Le-Phuoc},
journal= {arXiv preprint arXiv:2212.07771},
year = {2023}
}
备注
Published at the International Workshop on Explainable and Interpretable Machine Learning (XI-ML), 26th European Conference on Artificial Intelligence (ECAI 2023)