基于局部刚性先验的自监督三维场景流估计与运动预测
计算机视觉与模式识别
2023-10-18 v1
摘要
本文研究点云上的自监督三维场景流估计与类别无关运动预测。真实场景可良好建模为刚性运动部件的集合，因此其场景流可表示为这些独立部件刚性运动的组合。基于该观察，我们提出通过分段刚性运动估计为自监督学习生成伪场景流标签，其中源点云被分解为局部区域且每个区域被视为刚体。通过将每个区域与其在目标点云中的潜在对应部分刚性对齐，我们得到区域特定的刚性变换以生成其伪流标签。为减轻潜在离群值对标签生成的影响，在求解每个区域的刚性配准时，我们交替执行三步：建立点对应、度量对应置信度、并基于对应及其置信度更新刚性变换。结果，置信对应将主导标签生成，并为生成的伪标签导出有效性掩码。通过使用伪标签及其有效性掩码进行监督，模型可以自监督方式训练。在 FlyingThings3D 与 KITTI 数据集上的大量实验表明，我们的方法在自监督场景流学习中达到新的最先进性能，无需任何真实场景流监督，甚至优于某些有监督对应方法。此外，我们的方法进一步扩展到类别无关运动预测，并在 nuScenes 数据集上显著超越先前最先进的自监督方法。
引用
@article{arxiv.2310.11284,
title = {Self-Supervised 3D Scene Flow Estimation and Motion Prediction using Local Rigidity Prior},
author = {Ruibo Li and Chi Zhang and Zhe Wang and Chunhua Shen and Guosheng Lin},
journal= {arXiv preprint arXiv:2310.11284},
year = {2023}
}
备注
An extension of our CVPR 2022 paper (RigidFlow: Self-Supervised Scene Flow Learning on Point Clouds by Local Rigidity Prior)