中文

面向基于事件流识别的点-体素吸收图表示学习

计算机视觉与模式识别 2023-08-01 v2 神经与进化计算

摘要

采样点与体素方法通常用于将密集事件下采样为稀疏事件。此后,一种流行方式是利用图模型将稀疏点/体素视为节点,并采用图神经网络(GNNs)学习事件数据的表示。尽管可获得良好性能,其结果仍主要受限于两个问题:(1)现有事件GNN通常采用额外的最大(或平均)池化层将所有节点嵌入汇总为单一图级表示以表征整个事件数据,但该方法未能捕捉图节点的重要性,也无法充分感知节点表示;(2)现有方法通常仅采用稀疏点或体素图表示模型之一,因而缺乏对此两类表示模型互补性的考量。为解决这些问题,我们提出了一种新颖的双重点-体素吸收图表示学习用于事件流数据表示。具体而言,给定输入事件流,我们首先将其变换为稀疏事件云与体素网格,并分别为二者构建双吸收图模型。随后,我们为双吸收图表示与学习设计了一种新颖的吸收图卷积网络(AGCN)。所提AGCN的关键在于其能通过引入的吸收节点有效捕捉节点重要性,从而在汇总所有节点表示时充分感知节点表示。在多个基于事件的分类基准数据集上的大量实验充分验证了我们的框架的有效性。

关键词

引用

@article{arxiv.2306.05239,
  title  = {Point-Voxel Absorbing Graph Representation Learning for Event Stream based Recognition},
  author = {Bo Jiang and Chengguo Yuan and Xiao Wang and Zhimin Bao and Lin Zhu and Yonghong Tian and Jin Tang},
  journal= {arXiv preprint arXiv:2306.05239},
  year   = {2023}
}

备注

In Peer Review