基于超图的事件相机多视角动作识别

基于视频数据的动作识别构成了具有广泛应用基石的技术。单视角动作识别因依赖单一视点而面临局限性。相比之下，多视角方法能从不同视点捕获互补信息以提高准确率。近年来，事件相机作为一种创新的仿生传感器出现，推动了基于事件的动作识别的发展。然而，现有工作主要关注单视角场景，在多视角事件数据利用方面留下了空白，特别是在信息缺失和语义失配等挑战上。为了填补这一空白，我们引入了 HyperMV，一个基于事件的多视角动作识别框架。HyperMV 将离散事件数据转化为类帧表示，并使用共享卷积网络提取视角相关特征。通过将片段作为顶点并使用基于规则和基于 KNN 的策略构建超边，建立了一个跨视角和时间特征捕获关系的多视角超图神经网络。此外还引入了顶点注意力超图传播以增强特征融合。为推动该领域的研究，我们提出了目前最大的基于事件的多视角动作数据集 $\text{THU}^{\text{MV-EACT}}\text{-50}$，包含来自 6 个视角的 50 种动作，规模是现有数据集的十倍以上。实验结果表明，HyperMV 在跨被试和跨视角场景中均显著优于基线方法，并在基于帧的多视角动作识别中超越了现有最优方法。