Mx2M：域自适应三维语义分割中的掩码跨模态建模
计算机视觉与模式识别
2023-07-11 v1
摘要
现有的三维语义分割跨模态域自适应方法仅通过由跨模态特征匹配获得的2D-3D互补性来预测结果。然而，由于在目标域中缺乏监督，这种互补性并不总是可靠的。当域间隙较大时，结果并不理想。为解决缺乏监督的问题，我们将掩码建模引入该任务，并提出一种方法 Mx2M，其利用掩码跨模态建模来减小大的域间隙。我们的 Mx2M 包含两个组件。一是核心解决方案，跨模态移除与预测（xMRP），它使 Mx2M 适应各种场景并提供跨模态自监督。另一种是新式的跨模态特征匹配方式，动态跨模态滤波器（DxMF），确保整个方法动态使用更合适的2D-3D互补性。在三个域自适应场景（包括 Day/Night、USA/Singapore 和 A2D2/SemanticKITTI）上对 Mx2M 的评估在许多指标上相较先前方法带来了大幅改进。
引用
@article{arxiv.2307.04231,
title = {Mx2M: Masked Cross-Modality Modeling in Domain Adaptation for 3D Semantic Segmentation},
author = {Boxiang Zhang and Zunran Wang and Yonggen Ling and Yuanyuan Guan and Shenghao Zhang and Wenhui Li},
journal= {arXiv preprint arXiv:2307.04231},
year = {2023}
}