从合成到真实 LiDAR 点云语义分割的迁移学习
计算机视觉与模式识别
2021-12-03 v2
摘要
为缓解语义分割等各类计算机视觉任务中的数据标注限制，从合成数据到真实数据的知识迁移已被广泛研究。然而，由于缺少大规模合成数据集与有效的迁移方法，聚焦于 2D 图像的研究及其在 3D 点云分割中的对应研究远远落后。我们通过收集 SynLiDAR 来解决此问题，这是一个大规模合成 LiDAR 数据集，包含具有精确几何形状与全面语义类别的逐点标注点云。SynLiDAR 采集自具有丰富场景与布局的多个虚拟环境，包含超过 190 亿个点和 32 个语义类别。此外，我们设计了 PCT，一种新颖的点云翻译器，有效缩小合成与真实点云之间的差距。具体而言，我们将合成到真实的差距分解为外观分量与稀疏性分量并分别处理，大幅改进了点云翻译。我们在三种迁移学习设定下进行了大量实验，包括数据增强、半监督域自适应与无监督域自适应。大量实验表明，SynLiDAR 为研究 3D 迁移提供了高质量数据源，且所提出的 PCT 在三种设定下始终实现优异的点云翻译。SynLiDAR 项目主页：\url{https://github.com/xiaoaoran/SynLiDAR}
引用
@article{arxiv.2107.05399,
title = {Transfer Learning from Synthetic to Real LiDAR Point Cloud for Semantic Segmentation},
author = {Aoran Xiao and Jiaxing Huang and Dayan Guan and Fangneng Zhan and Shijian Lu},
journal= {arXiv preprint arXiv:2107.05399},
year = {2021}
}
备注
Accepted by AAAI 2022