通过时空注意力网络探索基于梯度的时间序列解释
计算机视觉与模式识别
2024-05-29 v1 机器学习
摘要
在本文中，我们探讨了使用基于 Transformer 的时空注意力网络（STAN）进行基于梯度的时间序列解释的可行性。首先，我们利用数据的全局和局部视图以及时间序列数据上的弱监督标签（即活动的类型），训练 STAN 模型进行视频分类。随后，我们利用基于梯度的 XAI 技术（如显著性图）来识别时间序列数据中的显著帧。根据在四个医学相关活动数据集上的实验，STAN 模型展现了其识别视频中重要帧的潜力。
引用
@article{arxiv.2405.17444,
title = {Towards Gradient-based Time-Series Explanations through a SpatioTemporal Attention Network},
author = {Min Hun Lee},
journal= {arXiv preprint arXiv:2405.17444},
year = {2024}
}