针对具有显著域偏移的地理空间点云语义分割的测试时自适应
计算机视觉与模式识别
2024-07-09 v1
摘要
域自适应(DA)技术有助于深度学习模型在点云语义分割(PCSS)中泛化应对数据偏移。测试时自适应(TTA)允许在推理阶段直接将预训练模型自适应到无标签数据，无需访问源数据或额外训练，避免了隐私问题和大量计算资源需求。我们通过引入三种域偏移范式来解决地理空间PCSS的TTA问题：摄影测量到机载LiDAR、机载到移动LiDAR以及合成到移动激光扫描。我们提出了一种TTA方法，该方法使用每个测试批次逐步更新批归一化(BN)统计量。此外，一个自监督学习模块优化了可学习的BN仿射参数。信息最大化和可靠性约束的伪标签提高了预测置信度并提供了监督信号。实验结果表明，我们的方法将分类准确率提高了高达20% mIoU，优于其他方法。在推理阶段，从摄影测量(SensatUrban)到机载(Hessigheim 3D)的自适应中，我们的方法在无需重新训练或微调的情况下达到了59.46% mIoU和85.97% OA。
引用
@article{arxiv.2407.06043,
title = {Test-time adaptation for geospatial point cloud semantic segmentation with distinct domain shifts},
author = {Puzuo Wang and Wei Yao and Jie Shao and Zhiyi He},
journal= {arXiv preprint arXiv:2407.06043},
year = {2024}
}