学习适配SAM以分割跨域点云
计算机视觉与模式识别
2024-09-24 v4
摘要
三维分割任务中的无监督域适应(UDA)呈现出巨大挑战，主要源于点云数据的稀疏与无序特性。尤其对于激光雷达(LiDAR)点云，域差异在变化的采集场景、波动的天气条件以及所用LiDAR设备的多样性中变得显著。尽管以往的UDA方法常试图通过对齐源域与目标域特征来缩小差距，但由于巨大的域变化，该方法应用于三维分割时效果欠佳。受视觉基础模型SAM在图像分割领域展现出的卓越泛化能力启发，我们的方法利用SAM中嵌入的丰富通用知识统一不同三维域间的特征表示，并进一步解决三维域适应问题。具体而言，我们利用与点云对应的图像来促进知识迁移，并提出一种创新的混合特征增强方法，在场景与实例层面显著增强了三维特征空间与SAM特征空间之间的对齐。我们的方法在多个广受认可的数据集上进行了评估，并达到了当前最优(state-of-the-art, SOTA)性能。
引用
@article{arxiv.2310.08820,
title = {Learning to Adapt SAM for Segmenting Cross-domain Point Clouds},
author = {Xidong Peng and Runnan Chen and Feng Qiao and Lingdong Kong and Youquan Liu and Yujing Sun and Tai Wang and Xinge Zhu and Yuexin Ma},
journal= {arXiv preprint arXiv:2310.08820},
year = {2024}
}