基于质量感知的空间-立体融合方法用于事件流识别

现有的事件流基于模式识别模型通常将事件流表示为点云、体素或图像等，并设计各种深度神经网络来学习其特征。尽管在简单情况下可以取得相当好的结果，但模型性能可能受到单调的模态表达、次优融合和读出机制的限制。本文提出了一种新颖的双流框架，用于事件流基于分化融合的模式识别，称为EFV++。它同时建模两种常见的事件表示，即事件图像和事件体素。通过利用Transformer和图神经网络（GNN），可以分别学习空间和三维立体信息。我们认为，每种表示的特征仍包含高效特征和冗余特征，如果直接在没有区分的情况下融合它们，可能会得到次优解。因此，我们将每个特征分为三个层次，保留高质量特征、混合中等质量特征、并交换低质量特征。将增强后的双流特征与瓶颈特征一起输入到融合Transformer中。此外，我们引入一种新型的混合互动读出机制，以增强特征的多样性作为最终表示。广泛的实验表明，我们提出的框架在多个广泛使用的事件流基于分类数据集上实现了最先进的性能。具体而言，我们在Bullying10k数据集上取得了新的最先进性能，即$90.51\%$，超过第二名者$+2.21\%$。本论文的代码已发布于\url{https://github.com/Event-AHU/EFV_event_classification/tree/EFVpp}。