块邻接矩阵中时空依赖的修补
机器学习
2024-09-02 v2 图像与视频处理
摘要
在数据沿空间和时间维度动态演变的应用领域中，图神经网络（GNN）常辅以序列建模架构（如 RNN 和 transformer）以有效建模时间变化。这些混合模型通常将空间和时间学习组件串行排列。仅使用 GNN 联合建模时空依赖的开创性工作是引入块邻接矩阵 \cite{1}，其通过不同时间步图的邻接矩阵对角拼接构建。该方法产生了一个包含完整时空数据的单一图；然而，不同时间步的图保持断开，将 GNN 的消息传递限制为仅空间连通节点。针对这一关键挑战，我们提出了一种新颖的端到端学习架构，专门设计用于修补时间依赖，从而得到连通良好的图。因此，我们提供了一种将时空数据作为图进行可学习表示的框架。我们的方法在 SurgVisDom 和 C2D2 等基准数据集上展现出优越性能，在准确率上超越现有最先进的图模型。我们的模型还实现了显著更低的计算复杂度，参数数量远少于依赖 CLIP 和 3D CNN 架构的方法。
引用
@article{arxiv.2310.02606,
title = {Mending of Spatio-Temporal Dependencies in Block Adjacency Matrix},
author = {Osama Ahmad and Omer Abdul Jalil and Usman Nazir and Murtaza Taj},
journal= {arXiv preprint arXiv:2310.02606},
year = {2024}
}
备注
Accepted at ICONIP 2024