揭示 Transformer 在时间序列建模中的图卷积本质：Fighter 框架
机器学习
2025-10-21 v1
摘要
Transformer 在时间序列建模中取得了显著成功，但其内部机制仍不为人知。本工作通过建立其在编码器中的根本等价于图卷积网络(GCN)来破译 Transformer 编码器。我们展示，在前向传播过程中，注意力分布矩阵作为动态邻接矩阵，其与后续变换的组合执行类似图卷积的计算。此外，我们证明在反向传播中，值和前馈投影的更新动力学类似于 GCN 参数的更新。基于这一统一的理论重解释，我们提出了\textbf{Fighter} (灵活图卷积 Transformer)，一种简化的体系结构，移除冗余的线性投影并纳入多跳图聚合。这种视角为时间依赖性在不同尺度上的显式且可解释的表示提供了可能，自然表示为图边。标准预测基准的实验表明，Fighter 在实现竞争性能的同时，提供了其预测更清晰的机制可解释性。
关键词
引用
@article{arxiv.2510.17106,
title = {Fighter: Unveiling the Graph Convolutional Nature of Transformers in Time Series Modeling},
author = {Chen Zhang and Weixin Bu and Wendong Xu and Runsheng Yu and Yik-Chung Wu and Ngai Wong},
journal= {arXiv preprint arXiv:2510.17106},
year = {2025}
}
备注
Preprint