基于平面拟合冗余编码的点云序列网络用于实时3D动作识别

从点云序列中识别人类动作由于其广泛的应用前景，已引起学术界和产业界的广泛关注。然而，现有大多数点云动作识别研究方法通常需要复杂的网络来提取帧内空间特征和帧间时间特征，导致计算量大量冗余，进而产生高延迟，难以用于实际应用。为此，我们提出了一种基于平面拟合冗余编码的点云序列网络，命名为PRENet。该方法的核心思想是利用平面拟合来消除序列中的空间冗余，同时对整个序列进行时间冗余编码，以最小化冗余计算。具体而言，我们的网络包含两个主要模块：平面拟合嵌入模块和时空一致性编码模块。平面拟合嵌入模块利用了连续点云帧在物理空间中具有独特几何特征的观察，使得可以复用空间编码数据进行时间流编码。时空一致性编码模块将时序冗余部分的时间结构与其对应的空间布局融合，从而提升识别精度。我们进行了大量实验以验证该网络的有效性。实验结果表明，我们的方法在几乎保持相同识别精度的同时，速度几乎是其他当前最先进方法的四倍。