PointNet4D：用于机器人应用中在线与离线感知的轻量级 4D 点云视频骨干网络

理解动态 4D 环境——即随时间演化的 3D 空间——对于机器人和交互式系统至关重要。这些应用要求系统能够在资源受限的情况下实时处理流式点云视频，同时在有需要时能够利用过去与当前的观察。然而，当前的 4D 骨干网络依赖大量时空卷积和 Transformer，往往计算密集且不适用于实时应用。我们提出 PointNet4D，一个为在线与离线场景优化的轻量级 4D 骨干网络。其核心是一种混合 Mamba-Transformer 时序融合模块，将 Mamba 的高效状态空间建模与 Transformer 的双向建模能力相结合。这使 PointNet4D 能够高效地处理不同部署场景下的可变长度在线序列。为增强时序理解，我们引入 4DMAP（frame-wise masked auto-regressive pretraining strategy），捕捉跨帧的运动线索。我们在 7 大数据集上的 9 项任务进行了广泛评估，结果在各个领域均取得一致性改进。我们进一步通过构建两个机器人应用系统（4D Diffusion Policy 和 4D Imitation Learning）来展示 PointNet4D 的实际用途，在 RoboTwin 和 HandoverSim 基准测试中实现了显著提升。