基于随机压缩回放的 3D 点云持续学习

当代深度神经网络在应用于视觉推理（例如在 3D 点云数据场景中）时取得了 SOTA 结果。点云是精确建模三维环境的重要数据类型，但有效处理此类数据极具挑战性。在大型、重参数化网络架构和持续流式数据的世界中，对能够在额外数据上进行训练的机器学习模型的需求日益增长。遗憾的是，当前可用的模型无法在不丢失过去知识的情况下充分利用额外数据进行训练。克服这一被称为灾难性遗忘的现象是持续学习的主要目标之一。深度神经网络的持续学习一直是一个活跃的研究领域，主要集中于 2D 计算机视觉、自然语言处理、强化学习和机器人技术。然而，在 3D 计算机视觉领域，几乎没有专门设计以利用点云结构的持续学习解决方案。本工作提出了一种能够在 3D 点云数据上进行持续学习的新型神经网络架构。我们利用点云结构特性来保存高度压缩的过去数据集。通过使用回放和重构作为学习过程的正则化方法，在两种持续学习设置下（即任务事先已知，以及在任务信息对模型未知的挑战性场景中），与现有解决方案相比，我们的方法在几个最流行的点云数据集上显著减少了灾难性遗忘。