面向点云的无监督合成到真实场景流估计的形变与对应感知方法
计算机视觉与模式识别
2022-04-01 v1
摘要
点云场景流估计对于自动驾驶中的动态场景导航具有实际重要性。由于场景流标签难以获取，现有方法在合成数据上训练模型并将其迁移到真实场景。然而，现有合成数据集与真实场景之间的巨大差异导致模型迁移效果差。我们为此做出了两项主要贡献。首先，我们为GTA-V引擎开发了一个点云采集器和场景流标注器，可在无人工干预的情况下自动获取多样化的真实感训练样本。基于此，我们构建了一个大规模合成场景流数据集GTA-SF。其次，我们提出了一种基于均值教师(mean-teacher)的域自适应框架，利用目标域自生成的伪标签。该框架还显式地引入了形状形变正则化和表面对应细化，以解决域迁移中的失真与未对齐问题。通过大量实验，我们表明与最广泛使用的FT3D数据集相比，我们的GTA-SF数据集在三个真实数据集（即Waymo、Lyft和KITTI）上带来了一致的模型泛化能力提升。此外，我们的框架在六组源-目标数据集对上取得了优越的自适应性能，将平均域差距显著缩小了60%。数据和代码可在 https://github.com/leolyj/DCA-SRSFE 获取。
引用
@article{arxiv.2203.16895,
title = {Deformation and Correspondence Aware Unsupervised Synthetic-to-Real Scene Flow Estimation for Point Clouds},
author = {Zhao Jin and Yinjie Lei and Naveed Akhtar and Haifeng Li and Munawar Hayat},
journal= {arXiv preprint arXiv:2203.16895},
year = {2022}
}
备注
CVPR 2022