超越注意力：利用涌现的可解释拓扑学习时空动态
机器学习
2025-06-03 v1 人工智能
社会与信息网络
摘要
时空预测在交通预测、能源需求建模和天气监测等应用中至关重要。尽管图注意力网络（GATs）常用于建模空间依赖关系，但它们依赖预定义的邻接结构和动态注意力分数，引入了归纳偏置和计算开销，可能掩盖可解释性。我们提出 InterGAT，作为 GAT 的一种简化替代方案，用完全可学习的对称节点交互矩阵替代掩码注意力，在不依赖固定图拓扑的情况下捕获潜在空间关系。我们的框架 InterGAT-GRU 结合了基于 GRU 的时间解码器，在预测精度上优于基线 GAT-GRU，在 SZ-Taxi 数据集上实现了至少 21% 的提升，在 Los-Loop 数据集上实现了 6% 的提升，涵盖所有预测范围（15 至 60 分钟）。此外，与 GAT-GRU 基线相比，我们观察到训练时间减少了 60-70%。关键在于，学习到的交互矩阵揭示了可解释的结构：它恢复了与社区结构对齐的稀疏、拓扑感知的注意力模式。谱分析和聚类分析表明，该模型同时捕获了局部和全局动态，为驱动预测的功能拓扑提供了洞察。这突显了在基于动态图的领域中，结构学习如何同时支持预测、计算效率和拓扑可解释性。
引用
@article{arxiv.2506.00770,
title = {Beyond Attention: Learning Spatio-Temporal Dynamics with Emergent Interpretable Topologies},
author = {Sai Vamsi Alisetti and Vikas Kalagi and Sanjukta Krishnagopal},
journal= {arXiv preprint arXiv:2506.00770},
year = {2025}
}
备注
13 pages, 10 figures, workshop