将动态3D点云序列作为2D视频

动态3D点云序列是动态现实环境中最常见且最实用的表示模态之一。然而，其在空间和时间域上的非结构化特性给高效且有效的处理带来了重大挑战。现有的深度点云序列建模方法通过开发复杂的时空点邻域分组和特征聚合方案来模仿成熟的2D视频学习机制，这通常导致方法缺乏有效性、效率和表达能力。在本文中，我们提出了一种称为\textit{结构化点云视频}（SPCVs）的新型通用表示。直观上，利用3D几何形状本质上是2D流形这一事实，SPCV将点云序列重新组织为具有空间平滑性和时间一致性的2D视频，其中像素值对应于点的3D坐标。我们SPCV表示的结构化特性允许无缝适配成熟的2D图像/视频技术，从而实现对3D点云序列的高效且有效的处理与分析。为了实现这种重组，我们设计了一个几何正则化且由自重构和变形场学习目标驱动的自监督学习流水线。此外，我们为低级和高级3D点云序列处理与分析任务构建了基于SPCV的框架，包括动作识别、时间插值和压缩。大量实验证明了所提出的SPCV的通用性和优越性，它有望为非结构化3D点云序列的深度学习提供新的可能性。代码将发布于 https://github.com/ZENGYIMING-EAMON/SPCV。