利用 2D 与 3D 网络的互补性应对 3D 语义分割中的域偏移
计算机视觉与模式识别
2023-04-07 v1
摘要
3D 语义分割是许多真实应用（如自动驾驶、机器人与混合现实）中的关键任务。然而，由于 3D 点云的非结构化、稀疏且无颜色特性所带来的歧义，该任务极具挑战。一种可能的解决方案是将 3D 信息与其他来自不同模态传感器（如 RGB 相机）的信息相结合。近期的多模态 3D 语义分割网络利用这些模态，依赖两个分支独立处理 2D 与 3D 信息，力求保持各模态的优势。在本工作中，我们首先解释这一设计选择为何有效，然后展示如何改进它以提升多模态语义分割对域偏移的鲁棒性。我们简单得出人意料的贡献在四个流行的多模态无监督域适应基准上取得了 SOTA 性能，并在域泛化场景中获得了更好的结果。
引用
@article{arxiv.2304.02991,
title = {Exploiting the Complementarity of 2D and 3D Networks to Address Domain-Shift in 3D Semantic Segmentation},
author = {Adriano Cardace and Pierluigi Zama Ramirez and Samuele Salti and Luigi Di Stefano},
journal= {arXiv preprint arXiv:2304.02991},
year = {2023}
}
备注
Accepted at the CVPR2023 Workshop on Autonomous Driving (WAD)