通过Shapley-based预训练统一时间序列变换器中的预测与解释
机器学习
2025-01-28 v1
摘要
本文提出ShapTST框架，使时间序列变换器能够在单次前向传播中高效生成基于Shapley值的解释，同时进行预测。Shapley值广泛用于评估不同时间步和特征在测试样本中的贡献，通常通过反复推断并移除不同信息部分来生成。因此，每次需要模型解释时都需要高昂的推理时计算。相比之下，我们的框架通过一种新颖的基于Shapley的预训练设计，将解释与预测在训练阶段统一，消除了测试时计算，取而代之的是单次预训练。此外，这种专门的预训练通过使变换器模型更有效地加权不同特征和时间步，提高了预测性能，尤其是在对原始时间序列数据常见的数据噪声具有更好的鲁棒性。我们在八个公开数据集上进行了实验，结果表明，我们的方法在分类和回归任务上均取得了具竞争力的结果，同时提供的基于Shapley的解释与通过后处理计算得到的解释相似。我们的工作为安全关键应用中的时间序列分析提供了一种高效且可解释的解决方案。
引用
@article{arxiv.2501.15070,
title = {Unifying Prediction and Explanation in Time-Series Transformers via Shapley-based Pretraining},
author = {Qisen Cheng and Jinming Xing and Chang Xue and Xiaoran Yang},
journal= {arXiv preprint arXiv:2501.15070},
year = {2025}
}
备注
6 pages, Accepted to 21st IEEE CSPA 2025