密度引导译译器提升 3D 点云合成到真实无监督域自适应分割
计算机视觉与模式识别
2024-03-28 v1 人工智能
摘要
3D 合成到真实无监督域自适应分割对于标注新域至关重要。自训练是该任务的有竞争力的方法，但其性能受限于不同的传感器采样模式（即点密度的变化）和不完整的训练策略。在本工作中，我们提出了一种密度引导译译器 (DGT)，用于在域之间转换点密度，并将其集成到称为 DGT-ST 的两个阶段自训练管道中。首先，与现有工作同时在不稳定的对抗训练中进行数据生成和特征/输出对齐不同，我们采用非可学习的 DGT 在输入层面桥接域间差距。其次，为了为自训练提供良好的初始化模型，我们在阶段一提出了一种类别级对抗网络，利用原型防止负迁移。最后，凭借上述设计，提出一种基于源域一致性损失的域混合自训练方法，用于进一步缩小域间差距。在两个合成到真实分割任务 (SynLiDAR → semanticKITTI 和 SynLiDAR → semanticPOSS) 上的实验表明，DGT-ST 分别比最先进的方法提高了 9.4% 和 4.3% 的 mIoU。代码可在 \url{https://github.com/yuan-zm/DGT-ST} 获取。
引用
@article{arxiv.2403.18469,
title = {Density-guided Translator Boosts Synthetic-to-Real Unsupervised Domain Adaptive Segmentation of 3D Point Clouds},
author = {Zhimin Yuan and Wankang Zeng and Yanfei Su and Weiquan Liu and Ming Cheng and Yulan Guo and Cheng Wang},
journal= {arXiv preprint arXiv:2403.18469},
year = {2024}
}
备注
CVPR2024