基于事件掩码自编码器的点动作识别：面向事件相机

动态视觉传感器 (DVS) 是一种受生物启发的设备，以异步事件形式捕获视觉信息，这些事件以高时间分辨率和低延迟编码像素强度变化。这些事件提供了丰富的运动线索，可用于各种计算机视觉任务，如动作识别。然而，大多数现有的基于 DVS 的动作识别方法在数据转换过程中丢失时间信息，或因传感器缺陷或环境因素导致噪声和离群点。为此，本文提出一种新型框架，用于保留和利用事件数据的时空结构进行动作识别。该框架由两个主要组件构成：1) 点事件掩码自编码器 (MAE)，通过从被掩码的原始事件相机点数据中重建事件块来学习事件块的紧凑且判别性表示；2) 改进的事件点块生成算法，利用事件数据内点模型和点级数据增强技术以提升事件点块的质量和多样性。我们的方法首次引入预训练方法处理事件相机原始点数据，并提出一种新颖的事件点块嵌入，以利用基于Transformer的模型处理事件相机。