借助三维里程计辅助的三维场景流无监督学习

场景流表示场景中每个点的三维运动，明确描述了各点移动的距离与方向。场景流估计被应用于自动驾驶、活动识别与虚拟现实等多个领域。由于为真实世界数据标注场景流真值具有挑战性，目前尚无提供大量带真值数据的真实世界数据集用于场景流估计。因此，许多工作使用合成数据预训练网络，并用真实世界 LiDAR 数据微调。与以往点云场景流的无监督学习不同，我们提出利用里程计信息辅助场景流的无监督学习，并使用真实世界 LiDAR 数据训练网络。有监督的里程计为场景流提供了更精确的共享代价体。此外，所提网络具有掩码加权形变层，以获得更精确的预测点云。形变操作指将估计的位姿变换或场景流作用于源点云以得到预测点云，是从粗到精细化场景流的关键。执行形变操作时，处于不同状态的点对位姿变换与场景流变换使用不同权重。我们将点的状态划分为静态、动态与遮挡，其中静态掩码用于区分静态与动态点，遮挡掩码用于区分遮挡点。掩码加权形变层意指在执行形变操作时将静态掩码与遮挡掩码作为权重。我们的设计在消融实验中证明有效。实验结果显示了里程计辅助的无监督学习方法在真实世界三维场景流中的良好前景。